美麗的湯沒有返回我所期望的任何東西

Question

背景：跟隨一個 Udemy 教程，該教程正在解析來自 Bing 的一些信息。 它接受用戶輸入並將其用作搜索 Bing 的參數，返回它可以在第一頁上找到的所有href鏈接

代碼：

from bs4 import BeautifulSoup
import requests as re

search = input("Enter what you wanna search: \n")
params = {"q": search}
r = re.get("https://www.bing.com/search", params=params)

soup = BeautifulSoup(r.text, 'html.parser')

results = soup.find("ol",{"id":"b_results"})
links = results.findAll("li",{"class": "b_algo"})


for item in links:
    item_text = item.find("a").text
    item_href = item.href("a").attrs["href"]

    if item_text and item_href:
        print(item_text)
        print(item_href)

    else:
        print("Couldn't find 'a' or 'href'")

問題：它什么也不返回。 該代碼顯然對他有用。 我沒有收到任何錯誤，因為我檢查了id和class名稱，看看它們在制作視頻后是否在 bing 本身上發生了更改，但它們仍然相同

"ol",{"id":"b_results"}
"li",{"class": "b_algo"}

有任何想法嗎？ 我是 web 刮擦的完全菜鳥，但介於 Python 之間。

提前致謝！

Answer 1

您的代碼需要一些修改。

首先，您需要headers ，否則Bing （正確地）認為您是機器人並且它沒有返回HTML 。

然后，您需要檢查錨點是否不是None ，例如，在href中至少有http 。

例如：

from bs4 import BeautifulSoup
import requests


headers = {
    "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36",
}
page = requests.get("https://www.bing.com/search?", headers=headers, params={"q": "python"}).text
soup = BeautifulSoup(page, 'html.parser')

anchors = soup.find_all("a")
for anchor in anchors:
    if anchor is not None:
        try:
            if "http" in anchor["href"]:
                print(anchor.getText(), anchor["href"])
        except KeyError:
            continue

Output：

Welcome to Python.org https://www.python.org/
Diese Seite übersetzen http://www.microsofttranslator.com/bv.aspx?ref=SERP&br=ro&mkt=de-DE&dl=de&lp=EN_DE&a=https%3a%2f%2fwww.python.org%2f
Python Downloads https://www.python.org/downloads/
Windows https://www.python.org/downloads/windows/
Python for Beginners https://www.python.org/about/gettingstarted/
About https://www.python.org/about/
Documentation https://www.python.org/doc/
Community https://www.python.org/community/
Success Stories https://www.python.org/success-stories/
News https://www.python.org/blogs/
Python (Programmiersprache) – Wikipedia https://de.wikipedia.org/wiki/Python_%28Programmiersprache%29
Wikipedia https://de.wikipedia.org/wiki/Python_%28Programmiersprache%29
CC-BY-SA-Lizenz http://creativecommons.org/licenses/by-sa/3.0/
Python lernen - Python Kurs für Anfänger und Fortgeschrittene https://www.python-lernen.de/
Python 3.9.0 (64bit) für Windows - Download https://python.de.uptodown.com/windows
Python-Tutorial: Tutorial für Anfänger und Fortgeschrittene https://www.python-kurs.eu/kurs.php
Mehr zu python-kurs.eu anzeigen https://www.python-kurs.eu/kurs.php
Python (Programmiersprache) – Wikipedia https://de.wikipedia.org/wiki/Python_%28Programmiersprache%29
Python (Programmiersprache) - Wikipedia https://de.wikipedia.org/wiki/Python_%28Programmiersprache%29

順便問一下，這是什么課程，因為抓取搜索引擎並不容易？

Answer 2

你的腳本工作正常。 如果您仔細查看請求的答案（例如，將r.text保存到文件中），您會看到答案充滿了 javascript。

按照這個方法，你會看到身體里充滿了<script>應答器：

<!DOCTYPE html>
<body>
<script>(...)</script>
<script>(...)</script>
<script>(...)</script>
</body>
</html>

我建議嘗試其他網站，或使用 Selenium。 Udemy 真的要求嘗試刮 bing.com 嗎？

美麗的湯沒有返回我所期望的任何東西

問題描述

2 個解決方案

解決方案1
3 已采納 2020-12-05 15:21:30

解決方案2
-1 2020-12-05 15:20:38

美麗的湯沒有返回我所期望的任何東西

問題描述

2 個解決方案

解決方案1 3 已采納 2020-12-05 15:21:30

解決方案2 -1 2020-12-05 15:20:38

解決方案1
3 已采納 2020-12-05 15:21:30

解決方案2
-1 2020-12-05 15:20:38