繁体   English   中英

如何加载URL并跟踪所有请求的资源?

[英]How to load URL and track all requested resources?

我正在尝试识别包含特定标签的页面,但是此标签包含在Google跟踪代码管理器中,因此在页面源或DOM(从我所看到的)中不可用。

但是,我可以在Chrome开发工具的“网络”标签上看到与该标签相关的请求。

我想知道是否有一种方法可以在python中加载页面并跟踪加载页面时发出的所有请求,以便我可以解析此列表以获取我拥有的标识符。

不知道这样做是否明显,但是我似乎在请求模块或urllib3中都找不到任何相关的内容。

编辑-更多信息:

我专门尝试识别AdWords转化标签。 我知道这是通过https://www.google.com/ads/conversion/xxxxxxxxxx/请求的形式。 对于大多数站点,代码在页面源中可见,有时仅在DOM中可见。 我已经将请求模块用于前者,并将phantomjs用于后者。 但是,在使用Google跟踪代码管理器的网站上,该网站似乎都没有。

但是,我可以在网络标签上的Chrome开发工具中看到此请求,因此希望有一种方法可以直接在python中复制此请求?

在尝试在PhantomJS中使用OnResourceRequested感到痛苦之后,我改为使用以下内容:

    chromedriver = "/path/to/chromedriver"
    os.environ["webdriver.chrome.driver"] = chromedriver
    self.driver = webdriver.Chrome(chromedriver)

    self.driver.get(link)

    time.sleep(5)
    timings = self.driver.execute_script("return window.performance.getEntries();")
        for item in timings:
            print item[u'name']

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM