在 PythonAnywhere 中返回空的美麗湯

Question

我有一個 bs4 應用程序，它會在這種情況下打印關於 igg-games.com 的最新帖子
代碼：

from bs4 import BeautifulSoup
import requests

def get_new():
    new = {}
    for i in BeautifulSoup(requests.get('https://igg-games.com/').text, features="html.parser").find_all('article'):
        elem = i.find('a', class_='uk-link-reset')
        new[elem.get_text()] = (elem.get('href'), ", ".join([x.get_text() for x in i.find_all('a', rel = 'category tag')]), i.find('time').get_text())
    return new
current = get_new()
new_item = list(current.items())[0]
print(f"Title: {new_item[0]}\nLink: {new_item[1][0]}\nCatagories: {new_item[1][1]}\nAdded: {new_item[1][2]}")

Output 在我的機器上：

Title: Beholder�s Lair Free Download
Link: https://igg-games.com/beholders-lair-free-download.html
Catagories: Action, Adventure
Added: January 7, 2021

我知道它有效。 但是，我的最終目標是將其變成 rss 提要條目。 所以我將它全部插入到一個高級 PythonAnywhere 容器中。 但是，我的 function get_new() 返回 {}。 有什么我需要做的事情我錯過了嗎？

Answer 1

在Dmytro O的幫助下解決了。

由於 PythonAnywhere 很可能作為客戶端被阻止，因此設置用戶代理允許我接收來自預期站點的響應。

#the fix
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.get(url, headers=headers)

當放在我的代碼中時

def get_new():
    new = {}
    for i in BeautifulSoup(requests.get('https://igg-games.com/', headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}).text, features="html.parser").find_all('article'):
        elem = i.find('a', class_='uk-link-reset')
        new[elem.get_text()] = (elem.get('href'), ", ".join([x.get_text() for x in i.find_all('a', rel = 'category tag')]), i.find('time').get_text())
    return new

這個方法是通過這個堆棧溢出帖子提供給我的： How to use Python requests to fake a browser visit aka and generate User Agent？