使用python进行网页搜刮-如何与网页中的对象进行交互

Question

如何从网页扩展列表（+）并获取标题和时间？ 我是网络爬网的新手，请引导我。

driver = webdriver.Firefox()
driver.get("http://www.simplilearn.com/big-data-and-analytics/big-data-hadoop-architect-masters-program-training")
html = driver.page_source
soup = BeautifulSoup(html,"lxml")

Answer 1

使用硒，非常简单。 您只需要首先找到展开按钮的xpath。 以下是在给定页面上扩展“大数据和Hadoop开发人员”列的示例。

elem = driver.find_element_by_xpath('//*[@id="body_content"]/div[1]/div[7]/div[1]/div[1]/ul/li[1]/div[1]/span')
elem.click()