Python 複数のURLが記載されたCSVファイルから、順にURLを取得してタイトルなどをスクレイピングする方法
一つのページをスクレイピングして、タイトルなどを取得するコードがあります。
url = "https://xxxxxxxx"
html = urllib.request.urlopen(url)
soup = BeautifulSoup(html, "html.parser")
title = soup.find("h1").get_text()
print(title)
別に、URLが記載されたCSV(URLが1列に縦に並んでいます)があります。
この時、下記のurlの部分にCSVからURLを順に取得していけば良いのはわかるのですが、
url = "https:xxxxxx"
どのようなコードを書けば良いのかわからず困っております。
アドバイスを頂けませんでしょうか。
コードの全体は以下のようになっております。
from bs4 import BeautifulSoup
import urllib.request
from pathlib import Path
import csv
with open('check_URL.csv',encoding="utf-8") as csv_file :
a_test = []
for row in csv.reader(csv_file):
a_test.append(row[3])
del a_test[0]
## ここに何かのコードが必要?
url = "https://xxxxxxxx"
html = urllib.request.urlopen(url)
soup = BeautifulSoup(html, "html.parser")
title = soup.find("h1").get_text()
print(title)