<span>Beautiful Soup 找不到標簽</span>內的元素

Question

我曾嘗試使用 Beautiful Soup 和 Python 從網站抓取數據。

當我檢查網站本身時，我看到以下內容：

"<span id="test"> 567 </span>"

但是當我使用美麗的湯時，我看到的是：

"<span id="test"></span>"

就好像出於安全和保護目的，該號碼已被隱藏，但我如何從解析中獲取此信息？ 我認為它是一個動態的 JS 元素，但我不確定以及如何訪問它。

Answer 1

這是實現它的示例代碼：

import scrapy
from selenium import webdriver
from bs4 import BeautifulSoup as bs

class SomeSpider(scrapy.Spider):
    name = "some"
    allowed_domains = ["yourdomain.com"]

    def __init__(self, *a, **kw):
        super(SomeSpider, self).__init__(*a, **kw)
        self.start_urls = ['http://www.yoururl.com',]
        firefox_profile = webdriver.FirefoxProfile()
        self.driver = webdriver.Firefox(firefox_profile=firefox_profile) 


   def parse(self, response):
       self.driver.get(response.url)
       page = TextResponse(response.url, body=self.driver.page_source, encoding='utf-8')  

      #HERE whatever you want do do eg. text = page.xpath('//span[@id="test"]').extract_first()