使用BeautifulSoup 4和Python进行HTML解析

Question

我正在尝试解析http://mobile.de的结果列表 。

首先我尝试使用HTMLParser类，但是我遇到了一个错误： HTMLParser.HTMLParseError: EOF in middle of construct 。

所以我尝试使用BeautifulSoup 4，这对于非有效的网站更好，但是我正在搜索的<div>是无法访问的，我不知道这是我的错还是网站的。

from bs4 import BeautifulSoup
    import urllib
    import socket

    searchurl = "http://suchen.mobile.de/auto/search.html?scopeId=C&isSearchRequest=true&sortOption.sortBy=price.consumerGrossEuro"
    f = urllib.urlopen(searchurl)
    html = f.read()
    soup = BeautifulSoup(html)

    for link in soup.find_all("div","listEntry "):
        print link

listEntry是带有汽车结果的<div> 。 但似乎他没有解析<form id="parkAndCompareVehicle" name="parkAndCompareVehicle" action=""> 。 我找不到汤料中的表格。

故障在哪里？

Answer 1

它应该是这样的：

for link in soup.findAll('div', {'class': 'listEntry '}):
    print link

属性在字典中指定 - findAll(self, name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)

==========

UPD。 对不起，似乎在bs4你也可以这样做。

至于错误，你要查找的表单不在结果中，因为它包含了listEntries，据我所见。

这有什么不对：

form = soup.find('form', id='parkAndCompareVehicle')
print len(form.find_all('div', 'listEntry '))