[英]Which is the best programming language to write a web bot? [closed]
我想知道哪种编程语言提供了大量的库来编写Web机器人? 像抓取网页上的数据一样。 说我想为weather.yahoo.com网站获取天气。
对于AI桌面机器人,答案也一样吗?
以下是如何在Python中执行此操作:
from urllib2 import urlopen
from BeautifulSoup import BeautifulSoup
soup=BeautifulSoup(urlopen("http://weather.yahoo.com/").read())
for x in soup.find(attrs={"id":"myLocContainer"}).findAll("li"):
print x.a["title"], x.em.contents
打印:
芝加哥,伊利诺伊州,美国(Haze)的全面预测[u'35 ... 47°F']
完整预测伦敦,大伦敦,英格兰(小雨)[u'43 ... 45°F']
全面预测纽约,纽约,美国(部分多云)[u'42 ... 62°F']
美国加利福尼亚州旧金山(部分多云)[u'51 ... 70°F']的完整预测
我不知道它是否是最好的 ,但Python绝对是非常好的和简单的。
用于屏幕抓取和网络爬行的另一个好的python库是scrapy 。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.