使用 beautifulsoup 从特定地图网站抓取数据

Question

我正在尝试从带有房地产价格地图的网站获取数据。 问题是我无法使用 BS 访问数据。 我在 Inte.net 上寻找答案，但没有找到，可能是因为它是一个特定的站点。

当我将 map 置于“房地产”模式时，我可以移动 map 和 select 的房子。 当我点击房子时，我会使用屏幕上出现的表格获取该地区房屋和其他房屋的交易价格数据。 我无法获取表格的数据并将其与BS一起使用。

c 在位置和 z 是房地产 = NADLAN

URL = "https://www.govmap.gov.il/?c=180570.51,667032.28&z=10&lay=NADLAN"
r = requests.get(URL)
soup = BeautifulSoup(r.content , "html.parser")

Answer 1

数据是通过 Json 从外部 URL 加载的，所以beautifulsoup看不到它。 您可以使用下一个示例如何将数据加载到 DataFrame：

import json
import requests
import pandas as pd


url = "https://ags.govmap.gov.il/Identify/GetDealsByStreetCodes"

payload = {
    "Extent": {
        "xmax": 180658.3,
        "xmin": 180633.8,
        "ymax": 667096.5,
        "ymin": 667078.19,
    },
    "StreetCodes": [50000820],
}

data = requests.post(url, json=payload).json()

# uncomment to print all data:
# print(json.dumps(data, indent=4))

df = pd.DataFrame(data["data"])
print(df.head().to_markdown(index=False))

印刷：

质心	程度	交易日期字符串	交易日期	地址	邻里	邻里关系	街名	古什赫尔卡特	资产类型	房间号	地面	资产计	交易_DEALAMOUNT	交易类型	项目名称	街道代码	WKT	多边形	城市	城市编号	对象ID
{'y': 667044.31, 'x': 180596.09, 'geometryType': 'point'}	{'xmin': 180633.8, 'ymin': 667078.19, 'xmax': 180658.3, 'ymax': 667096.5}	27/02/2022	2022-02-27T00:00:00	한ב ציולסון 39	הצפון החדש החלק הצפוני	6.521e+07	한ב ציולסון	6212-1245-23		4个	丹麦语	88	5.745e+06			5.00008e+07	POLYGON (( 180596.09000000 667044.31000000, 180612.80000000 667046.38000000, 180612.09000000 667052.31000000, 180618.20000000 667053.12000000, 180614.00000000 667085.81000000, 180607.59000000 667084.88000000, 180611.50000000 667054.19000000, 180595.09000000 667052.12000000, 180596.09000000 667044.31000000))	52333507	תל אביב -יפו	5000	109293
{'y': 666777.19, 'x': 180658.41, 'geometryType': 'point'}	{'xmin': 180633.8, 'ymin': 667078.19, 'xmax': 180658.3, 'ymax': 667096.5}	19/12/2021	2021-12-19T00:00:00	한ב ציוללסון 13	הצפון החדש החלק הצפוני	6.521e+07	한ב ציולסון	6106-307-5	Ubuntu	2个	丹麦语	45	3.6e+06			5.00008e+07	Polygon（（180658.41000000 666777.19000000，180673.00000000 666779.12000000，180671.5900000000000000000000000000000000000000000000000000000000000000000000000000000000000000..3800000000000000000000000000来	52349603	תל אביב -יפו	5000	117893
{'y': 667044.31, 'x': 180596.09, 'geometryType': 'point'}	{'xmin': 180633.8, 'ymin': 667078.19, 'xmax': 180658.3, 'ymax': 667096.5}	18/12/2021	2021-12-18T00:00:00	한ב ציולסון 39	הצפון החדש החלק הצפוני	6.521e+07	한ב ציולסון	6212-1245-20		2个		56	4.08e+06			5.00008e+07	POLYGON (( 180596.09000000 667044.31000000, 180612.80000000 667046.38000000, 180612.09000000 667052.31000000, 180618.20000000 667053.12000000, 180614.00000000 667085.81000000, 180607.59000000 667084.88000000, 180611.50000000 667054.19000000, 180595.09000000 667052.12000000, 180596.09000000 667044.31000000))	52333507	תל אביב -יפו	5000	109293
{'y': 666911.19, 'x': 180668.5, 'geometryType': 'point'}	{'xmin': 180633.8, 'ymin': 667078.19, 'xmax': 180658.3, 'ymax': 667096.5}	18/12/2021	2021-12-18T00:00:00	한ב ציולסון 22	הצפון החדש החלק הצפוני	6.521e+07	한ב ציולסון	6106-327-7		4个		104	743669			5.00008e+07	Polygon（（（180668.50000000 666911.19000000）	52085187	תל אביב -יפו	5000	76582
{'y': 666911.19, 'x': 180668.5, 'geometryType': 'point'}	{'xmin': 180633.8, 'ymin': 667078.19, 'xmax': 180658.3, 'ymax': 667096.5}	17/11/2021	2021-11-17T00:00:00	한ב ציולסון 22	הצפון החדש החלק הצפוני	6.521e+07	한ב ציולסון	6106-327-6		3个	丹麦语	93	285000			5.00008e+07	Polygon（（（180668.50000000 666911.19000000）	52085187	תל אביב -יפו	5000	76582