Google検索結果のスクレイピングができない。
Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが
下記の疑問点が解決できないのでどなたか教えて下さい。
①下記エラーを修正する方法を知りたい。
a = str(list[i]).strip('')
IndexError: list index out of range
②titleとそのURLを取得する方法を知りたい。
〜参考にしたサイト〜
https://qiita.com/ShinKano/items/d4b95ed809bd80329880
〜コード〜
import requests
from bs4 import BeautifulSoup
with open('keys.csv') as csv_file:
with open('result.csv','w') as f:
for keys in csv_file:
result = requests.get('https://www.google.com/search?q={}/'.format(keys))
soup = BeautifulSoup(result.text, 'html.parser')
list = soup.findAll(True, {'class' : 'BNeawe vvjwJb AP7Wnd'})
for i in range(3):
a = str(list[i]).strip('<div class="BNeawe vvjwJb AP7Wnd">')
result_title = a.strip('</')
keyword = keys.rstrip("\n")
f.write('{0},{1}\n'.format(keyword, result_title))