为什么喝汤。 find_all() 只返回一个结果

Question

我正在抓取一些信息，下面是我的代码

from bs4 import BeautifulSoup
import requests

url = "https://www.privateproperty.com.ng/property-for-sale"
page = requests.get(url)

soup = BeautifulSoup(page.content, 'html.parser')
results = soup.find_all('div', class_="similar-listings-item sponsored-listing")

for result in results:
    Title = result.find('div', class_= "similar-listings-info").text.replace('\n','')
    location = result.find( class_= "listings-location").text.replace('\n','')
    Price = result.find('div', class_= "similar-listings-price").text.replace('\n','')
    

info = (Title, location, Price)
print(info)

为什么这条线

results = soup.find_all('div', class_="similar-listings-item sponsored-listing") 

只返回第一个元素？

Answer 1

为什么这条线

results = soup.find_all('div', class_="similar-listings-item sponsored-listing")

只返回第一个元素？

我得到2 个元素，但也许您只看到最后一个结果，因为info=...print(info)行在循环之后而不是循环内部。 缩进它们以打印循环内部的每个结果。

---

如果您的问题是您想要所有列表，您应该注意只有赞助列表具有sponsored-listing class。要获取所有列表，您可以尝试使用

results = soup.find_all('div', {'class': "similar-listings-item"}) ## OR
# results = soup.select('div.similar-listings-item')

_{[如果您只想要非赞助列表，请使用soup.select('div.similar-listings-item:not(.sponsored-listing)') 。 查看如何将.select与CSS 选择器一起使用以了解更多详细信息。]}

---

我想从（变量）中提取列表列表

哪个变量？ 如果你想要每个result的所有Title ， location ， Price的列表，在循环之前启动一个空列表 [如infoList ]，然后缩进info=...将其包含在列表中，最后将append info添加到infoList循环（但仍在循环中）。 就像是

infoList = []
for result in results:
    Title = result.find('div', class_= "similar-listings-info").text.replace('\n','')
    location = result.find( class_= "listings-location").text.replace('\n','')
    Price = result.find('div', class_= "similar-listings-price").text.replace('\n','')

    info = (Title, location, Price) # this is a tuple btw, so 
    # infoList.append(info) # --> list of tuples
    infoList.append([Title, location, Price]) # --> list of lists
    # print(info) # will print for every result
print(info) # will print ONLY the LAST result

---

顺便说一句，像那样链接.find和.text不是很安全。 如果.find没有找到任何东西，那么在尝试获取.text时将引发错误。 为了更加谨慎，您应该首先检查 find 是否返回了一些东西。

_{你可以使用我的selectForList function like infoList = [selectForList(result, ['div.similar-listings-info', 'p.listings-location', 'div.similar-listings-price']) for result in results]或者[因为你想删除\n并且如果你不想使用 CSS 选择器] 使用它的变体：}

def get_min_text(containerTag, elName, classAttr, defaultVal=None):
    el = containerTag.find(elName, class_=classAttr)
    if el is None: return defaultVal
    return ' '.join(el.get_text(' ').split()) # split+join minimizes whitespace

results = soup.find_all('div', {'class': "similar-listings-item"}) 
infoList = [[get_min_text(result, *c[:3]) for c in [
    ('div', 'similar-listings-info'), # Title
    ('p', 'listings-location'), # Location
    ('div', 'similar-listings-price') # Price
]] for result in results]