如何让数据挖掘者在网页上进行特定搜索？

Question

我是Python的新手，正在尝试使用Pattern。 我的目标是从IndoWordnet查找后得到一个代码，该代码将给我输入单词的同义词。 语言必须是孟加拉语。 我已经有一个词表了。 但是我不确定在Pattern的帮助下我能否在网络上搜索输入。 我已经尝试遵循http://arunrocks.com/easy-practical-web-scraping-in-python/ 。 它没有太大帮助。 我想从一个已解析的网页开始，这就是我所做的。 这也给我们带来了绝对的联系。

from lxml.html import fromstring
from urllib2 import urlopen
def get_page(url) :
    html = urlopen(url).read()
    dom = fromstring(html)
    dom.make_links_absolute(url)
    return dom

dom = get_page('http://www.cfilt.iitb.ac.in/indowordnet/first?langno=3&queryword=%E0%A6%97%E0%A6%BE%E0%A6%A7%E0%A6%BE')

<Element html at 0x50b4840>

但是在那之后我陷入了困境，因为我不知道如何使用模式进行特定搜索。 请帮忙。

Answer 1

它比cos看起来要棘手得多，因为有一个AJAX请求可以获取要抓取的数据，因此分两步进行：

• 获取与您要查找的单词相对应的特殊sid值（它在id属性等于sid的label内）
• 向http://www.cfilt.iitb.ac.in/indowordnet/ajax/onto.jsp发出另一个请求，并传递您在第一步中http://www.cfilt.iitb.ac.in/indowordnet/ajax/onto.jsp的sid 。 例如，查看它查找sid=4827样子： http : sid=4827 ? sid=4827

这是代码。 它将打印所有的昆虫学标签：

from lxml.html import parse
from urllib2 import urlopen

SID_URL = 'http://www.cfilt.iitb.ac.in/indowordnet/ajax/onto.jsp?sid=%s'

url = 'http://www.cfilt.iitb.ac.in/indowordnet/first?langno=3&queryword=%E0%A6%97%E0%A6%BE%E0%A6%A7%E0%A6%BE'
tree = parse(urlopen(url))

sid = tree.find('.//label[@id="sid"]').text

tree = parse(urlopen(SID_URL % sid))
for record in tree.xpath('//ontorecord'):
    print record.find('onto_label').text

UPD （获取同义词）：

from lxml.html import parse
from urllib2 import urlopen

url = 'http://www.cfilt.iitb.ac.in/indowordnet/first?langno=3&queryword=%E0%A6%97%E0%A6%BE%E0%A6%A7%E0%A6%BE'
tree = parse(urlopen(url))

for label in tree.xpath('.//label[@id="words"]/a'):
    print label.text