[英]Scraping javascript page with PyQt5 and QWebEngineView
我正在尝试将 javascripted 网页呈现为填充的 HTML 以进行抓取。 研究不同的解决方案(硒、对页面进行逆向工程等)使我采用了这种技术,但我无法让它发挥作用。 顺便说一句,我是 python 新手,基本上是在剪切/粘贴/实验阶段。 过去的安装和缩进问题,但我现在卡住了。
在下面的测试代码中,print(sample_html) 工作并返回目标页面的原始 html,但 print(render(sample_html)) 始终返回单词“None”。
有趣的是,如果您在 amazon.com 上运行它,他们会检测到它不是真正的浏览器,并返回带有有关自动访问警告的 html。 然而,其他测试页面提供了应该呈现的真实 html,除非它没有。
如何解决总是返回“无”的结果?
def render(source_html):
"""Fully render HTML, JavaScript and all."""
import sys
from PyQt5.QtWidgets import QApplication
from PyQt5.QtWebEngineWidgets import QWebEngineView
class Render(QWebEngineView):
def __init__(self, html):
self.html = None
self.app = QApplication(sys.argv)
QWebEngineView.__init__(self)
self.loadFinished.connect(self._loadFinished)
self.setHtml(html)
self.app.exec_()
def _loadFinished(self, result):
# This is an async call, you need to wait for this
# to be called before closing the app
self.page().toHtml(self.callable)
def callable(self, data):
self.html = data
# Data has been stored, it's safe to quit the app
self.app.quit()
return Render(source_html).html
import requests
#url = 'http://webscraping.com'
#url='http://www.amazon.com'
url='https://www.ncbi.nlm.nih.gov/nuccore/CP002059.1'
sample_html = requests.get(url).text
print(sample_html)
print(render(sample_html))
编辑:感谢已纳入代码的答复。 但是现在它返回一个错误并且脚本挂起,直到我杀死 python 启动器,然后导致段错误:
这是修改后的代码:
def render(source_url):
"""Fully render HTML, JavaScript and all."""
import sys
from PyQt5.QtWidgets import QApplication
from PyQt5.QtCore import QUrl
from PyQt5.QtWebEngineWidgets import QWebEngineView
class Render(QWebEngineView):
def __init__(self, url):
self.html = None
self.app = QApplication(sys.argv)
QWebEngineView.__init__(self)
self.loadFinished.connect(self._loadFinished)
# self.setHtml(html)
self.load(QUrl(url))
self.app.exec_()
def _loadFinished(self, result):
# This is an async call, you need to wait for this
# to be called before closing the app
self.page().toHtml(self._callable)
def _callable(self, data):
self.html = data
# Data has been stored, it's safe to quit the app
self.app.quit()
return Render(source_url).html
# url = 'http://webscraping.com'
# url='http://www.amazon.com'
url = "https://www.ncbi.nlm.nih.gov/nuccore/CP002059.1"
print(render(url))
这会引发这些错误:
$ python3 -tt fees-pkg-v2.py
Traceback (most recent call last):
File "fees-pkg-v2.py", line 30, in _callable
self.html = data
AttributeError: 'method' object has no attribute 'html'
None (hangs here until force-quit python launcher)
Segmentation fault: 11
$
我已经开始阅读 python 类以完全理解我在做什么(总是一件好事)。 我在想我的环境中的某些问题可能是问题(OSX Yosemite、Python 3.4.3、Qt5.4.1、sip-4.16.6)。 还有其他建议吗?
问题是环境。 我已经手动安装了 Python 3.4.3、Qt5.4.1 和 sip-4.16.6,一定是搞砸了。 安装 Anaconda 后,脚本开始工作。 再次感谢。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.