Python3でwebスクレイピングしたいのですが存在するURLが開けません。
python3でBeautifulSoupを使い、webスクレイピングしたいのですが、
urllib.error.HTTPError: HTTP Error 403: Forbidden
と言うエラーが出てしまいます。
これはスクレイパーによるアクセスがサイト側に拒否されているということでしょうか?
このエラーが出るということはこのサイトではスクレイピングできないということでしょうか?回避する方法はありますか?
以下がコードです。
def RichestSchool():
"""get 100 richest school names """
html = urlopen("http://www.thebestschools.org/features/richest-universities-endowments-generosity-research/")
bsObj = BeautifulSoup(html, "lxml")
for rich in bsObj.findAll("a", {"target":"_blank"}):
riches = rich.get_text()
print(riches)