![](/img/trans.png)
[英]Extracting Javascript Variable Object Data in Python and Beautiful Soup Web Scraping
[英]Web Scraping of Javascript table (with grid and list views) using Python - Beautiful Soup
我正在嘗試從該網站的 json 表中解析數據。
url - https://boxes.mysubscriptionaddiction.com/subscription_boxes_for/food 。
我主要需要列出的所有食品訂閱框的名稱、評級和描述。 我在這里面臨一些挑戰。 一是表格有 2 個視圖 - 網格和列表視圖。 我們如何指定我們在代碼中引用的表視圖? 其次是我得到了一個
ValueError - Timeout value connect was Timeout(connect=<object object at 0x000002767CECD5C0>,
read=<object object at 0x000002767CECD5C0>, total=None), but it must be an int, float or None.
不知道這意味着什么。
我的代碼:
from pandas.io.html import read_html
from selenium import webdriver
import json
import requests
import os
import sys
from bs4 import BeautifulSoup
import requests
driver = webdriver.Firefox(executable_path='C:\Drivers\geckodriver.exe')
driver.get('https://boxes.mysubscriptionaddiction.com/subscription_boxes_for/food')
table = driver.find_element_by_xpath('/html/body/div[3]/div/span/div[2]/div/div[1]/div[3]/div[3]/table')
table_html = table.get_attribute('innerHTML')
bs = BeautifulSoup(table_html, 'html.parser')
rows = bs.select('tbody tr')
print(bs)
以下是獲取您要查找的數據的方法:( data
是包含信息的字典)
import requests
from bs4 import BeautifulSoup
import json
scrape_url = 'https://boxes.mysubscriptionaddiction.com/subscription_boxes_for/food'
r1 = requests.get(scrape_url)
page = r1.content
soup = BeautifulSoup(page, 'html.parser')
scripts = soup.find_all('script')
data_str = scripts[11].contents[0].strip()
data = json.loads(data_str,strict=False)
print(data['itemListElement'])
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.