SeleniumでWebページ上の「もっと見る」ボタン以降のテキスト情報をスクレイピングする
Seleniumを使い、ページのテキスト情報をスクレイピングで取得しようとしています。
ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、
「もっと見る」以前の情報しか取得されず困っています。
driver.get("https://r.nikkei.com/search?keyword=%E3%82%A4%E3%83%B3%E3%83%95%E3%83%AB%E3%82%A8%E3%83%B3%E3%82%B6") #「インフルエンザ」で検索
link_elems = driver.find_elements_by_class_name('search__result-footer')
for l in link_elems:
l.click()
text_elems = driver.find_elements_by_class_name('nui-card__head')
text = []
for t in text_elems:
text.append(t.text)