在Chrome无头模式下使用Python中的Selenium实现Scrapyng AngularJS

Question

我想从由angularjs制作的网页中抓取信息。

我的问题是，如果我以“ --headless”模式抓取页面，则不会收到目标元素。 没有“无头”，一切都会正常。 有人可以解释或指出链接与“ --headless”有什么区别吗？

我红色http://allselenium.info/wait-for-elements-python-selenium-webdriver/ 。 还有什么可能呢？

谢谢您的提示。

编辑：它也无法在无头模式下使用等待条件

Answer 1

经过研究，这是一个对我有用的解决方案，请阅读：

https://github.com/GoogleChrome/puppeteer/issues/665

https://intoli.com/blog/making-chrome-headless-undetectable/

检测到无头请求，因此必须设置隐藏无头模式的参数：

options.add_argument('--headless')
options.add_argument('--lang=de-DE')
options.add_argument('--user-agent="Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36"')

options.add_argument("window-size=1920x1080")