使用 Python 从网站抓取图形数据

Question

是否可以从网站捕获图形数据？ 例如这里的网站，有许多情节。 是否可以使用 Python 代码捕获这些数据？

Answer 1

查看您提供的链接的页面来源，可以通过链接直接以 JSON 格式获取图表数据。 http://www.fbatoolkit.com/chart_data/1414978499.87

所以你的刮板可能想做这样的事情：

import requests
import re

r = requests.get('http://www.fbatoolkit.com')
data_link = b'http://www.fbatoolkit.com/' + re.search(b'chart_data/[^"]*', r.content).group()
data_string = requests.get(data_link).content.decode('utf-8')
chart_data = eval(data_string.replace('window.chart_data =', '').replace(';\n',''))

（编辑以解释我查找链接的过程）当我遇到这样的问题时，我做的第一件事就是查看页面源代码（Windows 版 Chrome 中的 ctrl-u）。 我四处寻找与绘制图表相关的东西，直到我找到以下 javascript

  function make_containers(i){
        var chart = chart_data[i];

然后我搜索了他们定义变量chart_data 。 我找不到这个，但我确实找到了这条线

<script type="text/javascript" src="/chart_data/1414978499.87"></script>

按照这个链接，（你可以在 Chrome 的视图源页面中点击它）我可以看到这是一个定义这个变量的单行 javascript。 （请注意，在我的示例代码的最后一行中，我必须对该文件进行一些更改才能使其在 Python 中进行评估）。