网页抓取中损坏的打印文字

Question

我在下面的代码中从该站点刮了一个赛狗比赛，并尝试附加这些字段。它运行得很好，但是结果文本中填充了一些奇数字符，包括字符串和整数。结果应该像这样，其中左侧是字段名称，右侧是字段数据...

'date''17/01/16',
'datetime''11:34',
'distance''470m',
'fin''1',
'grade''A6',
'greyhound''Cissies Chief',
'prizes''1st \£56, Others \£20  Race Total \£156',
'sp''4/1',
'timeDistance''29.17',
'timeSec''4.44',
'track''Belle Vue',
'trap'5',

但是实际结果看起来像这样

[{'date': u'17/01/16',
  'datetime': u'11:34\xa0|',
  'distance': u'470m\xa0|',
  'fin': u'1',
  'grade': u'A6\xa0|',
  'greyhound': u'Cissies Chief',
  'prizes': u'1st \xa356, Others \xa320  Race Total \xa3156',
  'sp': u'4/1',
  'timeDistance': u'29.17',
  'timeSec': u'4.44',
  'track': u'Belle Vue\xa0|',
  'trap': u'5'},

例如，A6的“成绩”字段以U开头，后跟一个\\ xa0，“奖品”文本完全由\\ xa356补充（应为£56），依此类推。 还有大量的花括号}。下面是我使用的代码。这可能与程序不转换字符串有关。有帮助的人。

from pprint import pprint
from urllib2 import urlopen

from bs4 import BeautifulSoup


html = urlopen('http://www.gbgb.org.uk/resultsRace.aspx?id=1837958')
soup = BeautifulSoup(html,'lxml')

rows = []
for header in soup.find_all("div", class_="resultsBlockHeader"):
    track = header.find("div", class_="track").get_text(strip=True)
    date = header.find("div", class_="date").get_text(strip=True)
    datetime = header.find("div", class_="datetime").get_text(strip=True)
    grade = header.find("div", class_="grade").get_text(strip=True)
    distance = header.find("div", class_="distance").get_text(strip=True)
    prizes = header.find("div", class_="prizes").get_text(strip=True)



    results = header.find_next_sibling("div",       class_="resultsBlock").find_all("ul", class_="line1")
    for result in results:
        fin = result.find("li", class_="fin").get_text(strip=True)
        greyhound = result.find("li",  class_="greyhound").get_text(strip=True)
        trap = result.find("li", class_="trap").get_text(strip=True)
        sp = result.find("li", class_="sp").get_text(strip=True)
        timeSec = result.find("li",  class_="timeSec").get_text(strip=True)
            timeDistance = result.find("li", class_="timeDistance").get_text(strip=True)


        rows.append({

            "track":track,
            "date":date,
            "datetime":datetime,
            "grade":grade,
            "distance":distance,
            "prizes":prizes,
            "fin":fin,
            "greyhound":greyhound,
            "trap":trap,
            "sp":sp,
            "timeSec":timeSec,
            "timeDistance":timeDistance,

                     })
pprint(rows)

Answer 1

它是类似于utf8的语言的编码-HTML的字符集。

它正在拾取一个字符集，您需要找出一个字符集并将其包括在内。

我不知道我希望对谁有帮助。

编辑它的Unicode

Answer 2

第一个字符是不间断no-break space字符（\\ xa0）。 它是非打印字符，例如以下之一： zero-width non-joiner word divider ， zero-width joiner word divider ， zero-width space和word divider 。

使用unicodedata库可以解决该问题。

关于第二个-它是一个井号（\\ xa3）。 它是latin-1字符集的一部分。

其他参考：

不间断空间的字符库

英镑符号的字符

Web抓取存在此类问题，因此请确保每个步骤的数据整洁。

您可以尝试使用以下代码：

from pprint import pprint
from urllib2 import urlopen
from bs4 import BeautifulSoup
import unicodedata


def unicode_normalize(s):
    return unicodedata.normalize('NFKD', s)

html = urlopen('http://www.gbgb.org.uk/resultsRace.aspx?id=1837958')
soup = BeautifulSoup(html, 'lxml')

rows = []
for header in soup.find_all("div", class_="resultsBlockHeader"):
    track = header.find("div", class_="track").get_text(strip=True)
    date = header.find("div", class_="date").get_text(strip=True)
    datetime = header.find("div", class_="datetime").get_text(strip=True)
    grade = header.find("div", class_="grade").get_text(strip=True)
    distance = header.find("div", class_="distance").get_text(strip=True)
    prizes = header.find("div", class_="prizes").get_text(strip=True)

    results = header.find_next_sibling("div", class_="resultsBlock").find_all("ul", class_="line1")
    for result in results:
        fin = result.find("li", class_="fin").get_text(strip=True)
        greyhound = result.find("li",  class_="greyhound").get_text(strip=True)
        trap = result.find("li", class_="trap").get_text(strip=True)
        sp = result.find("li", class_="sp").get_text(strip=True)
        timeSec = result.find("li",  class_="timeSec").get_text(strip=True)
        timeDistance = result.find("li", class_="timeDistance").get_text(strip=True)
        rows.append({
            "track": unicode_normalize(track),
            "date": date,
            "datetime": unicode_normalize(datetime),
            "grade": unicode_normalize(grade),
            "distance": unicode_normalize(distance),
            "prizes": unicode_normalize(prizes),
            "fin": fin,
            "greyhound": greyhound,
            "trap": trap,
            "sp": sp,
            "timeSec": timeSec,
            "timeDistance": timeDistance})
pprint(rows)