如何讓phantomjs顯示動態加載的網頁？

Question

當我訪問https://www.ncbi.nlm.nih.gov/pubmed/?term=cell 時，會出現“按年份划分的結果”、其下方的直方圖和“下載 CSV”。

但是當我使用以下腳本訪問相同的 URL 時，我看不到它們。 有人知道為什么嗎？

有沒有辦法使用命令行抓取工具獲取直方圖和“下載 CSV”？ 謝謝。

$ cat phjsget.py
#!/usr/bin/env python

import sys    
from selenium import webdriver
browser = webdriver.PhantomJS(service_log_path='/dev/null')
browser.get(sys.argv[1])
print browser.page_source.encode('utf-8')
browser.close()

$ ./phjsget.py https://www.ncbi.nlm.nih.gov/pubmed/?term=cell

Answer 1

在頁面加載了 Javascript 后，加載“按年份的結果”和“下載 CSV”。 wget 不會執行 Javascript。 您可以使用 PhantomJS 或 Selenium 之類的工具來模擬將執行 Javascript 的真實瀏覽器行為。