使用Selenium下载文件的python

Question

伙计们，我需要编写一个使用硒的脚本来浏览网站上的页面并将每个页面下载到一个文件中。 这是我需要浏览的网站，我想下载所有10页的评论。 这是我的代码：

import urllib2,os,sys,time
from selenium import webdriver

browser=urllib2.build_opener()
browser.addheaders=[('User-agent', 'Mozilla/5.0')]



url='http://www.imdb.com/title/tt2948356/reviews?ref_=tt_urv'

driver = webdriver.Chrome('chromedriver.exe')
driver.get(url)

time.sleep(2)


if not os.path.exists('reviewPages'):os.mkdir('reviewPages')

response=browser.open(url)
myHTML=response.read()
fwriter=open('reviewPages/'+str(1)+'.html','w')
fwriter.write(myHTML)
fwriter.close()
print 'page 1 done'

page=2

while True:
    cssPath='#tn15content > table:nth-child(4) > tbody > tr > td:nth-child(2) > a:nth-child(11) > img'
    try:
        button=driver.find_element_by_css_selector(cssPath)
    except:
        error_type, error_obj, error_info = sys.exc_info()
        print 'STOPPING - COULD NOT FIND THE LINK TO PAGE: ', page
        print error_type, 'Line:', error_info.tb_lineno
        break

    button.click()
    time.sleep(2)

    response=browser.open(url)
    myHTML=response.read()
    fwriter=open('reviewPages/'+str(page)+'.html','w')
    fwriter.write(myHTML)
    fwriter.close()
    time.sleep(2)
    print 'page',page,'done'
    page+=1

但是该程序只是停止下载第一页。 有人可以帮忙吗？ 谢谢。

Answer 1

因此，一些原因导致了这一点。

首先，我认为这是导致您出现问题的原因：

table:nth-child(4)

当我访问该网站时，我认为您只需要：

table >

第二个错误是您的except消息中的break语句。 这表示，当我收到错误消息时，请停止循环。

所以发生了什么事，您尝试了一下，但由于CSS选择器不太正确而无法正常工作，并告诉您停止循环的异常。

Answer 2

代替这个非常复杂的CSS路径，请尝试使用更简单的xpath（'// a [child :: img [@alt =“ [Next]”]] / @ href'），它将返回与小三角形“ next”相关联的URL每个页面上的按钮。

或注意，每个页面有10条评论，而第2页至第10页的URL仅给出了起始评论号，即http://www.imdb.com/title/tt2948356/reviews?start=10 ，即第2页的URL 。只需计算下一页的URL，然后在不获取任何内容时停止。