使用python在LXML中进行屏幕抓取-提取特定数据

Question

在过去的几个小时里，我一直在尝试编写一个程序，该程序完成了我认为非常简单的任务：

1. 程序要求用户输入（假设类型为“幸福”）
2. 程序使用以下格式查询网站thinkexist（“ http://thinkexist.com/search/searchQuotation.asp?search= USERINPUT ”）
3. 程序从网站返回第一报价。

我已经尝试过将Xpath与lxml一起使用，但是没有经验，每一个单独的构造都会返回一个空白数组。

报价的实际内容似乎包含在“ sqq”类中。

如果我通过Firebug导航站点，请单击“ DOM”选项卡，似乎引号位于textNode属性“ wholeText”或“ textContent”中-但我不知道如何以编程方式使用该知识。

有任何想法吗？

Answer 1

import lxml.html
import urllib

site = 'http://thinkexist.com/search/searchquotation.asp'

userInput = raw_input('Search for: ').strip()
url = site + '?' + urllib.urlencode({'search':userInput})

root = lxml.html.parse(url).getroot()
quotes = root.xpath('//a[@class="sqq"]')

print quotes[0].text_content()

...如果您输入“莎士比亚”，它将返回

In real life, unlike in Shakespeare, the sweetness
of the rose depends upon the name it bears.  Things
are not only what they are.  They are, in very important
respects, what they seem to be.

Answer 2

如果不需要通过XPath实现此功能，则可以使用BeautifilSoup库，如下所示（让myXml变量包含页面HTML源代码）：

soup = BeautifulSoup(myXml)
for a in soup.findAll(a,{'class' : 'sqq'}):
  # this is your quote
  print a.contents

无论如何，请阅读BS文档，它对于某些不需要XPath强大功能的抓取需求可能非常有用。

Answer 3

您可以打开html源代码以查找所需的确切类。 例如，要获取页面上遇到的第一个StackOverflow用户名，您可以执行以下操作：

#!/usr/bin/env python
from lxml import html

url = 'http://stackoverflow.com/questions/4710307'
tree = html.parse(url)
path = '//div[@class="user-details"]/a[@href]'
print tree.findtext(path)
# -> Parseltongue
# OR to print text including the text in children
a = tree.find(path)
print a.text_content()
# -> Parseltongue