我正在尝试使用 python 从该网站下载年度数据，但我不知道如何处理它？

Question

我想学习如何使用 python 下载过去十年的 CSV 文件。 我认为这会有所帮助。

https://www.usgovernmentspending.com/compare_state_debt

我的尝试涉及请求和 pandas。

Answer 1

这是一个多部分的问题，我将概述我认为您应该使用的步骤。

• 第一部分将是简单地下载网页。 我的建议是使用请求之类的东西来获取网页
• 一旦你有了它，你就可以使用漂亮的汤来解析网页。
• 我查看了该网站，看起来您可以通过多种方式下载数据。 我认为获取数据的最佳方式是从页面中的这个特定部分提取所有文本。
• 一旦你这样做了，你可能需要清理数据。 我建议为此使用pandas 。

这里的人不会为你解决整个问题。 也就是说，如果您在此过程中遇到困难并有一个特定的问题，StackOverflow 可能会在这一点上提供帮助。

Answer 2

问题已解决我设法使用 selenium 解决了它。

通过执行以下操作：

from selenium import webdriver # allow launching browser
# Opening in incognito
driver_option = webdriver.ChromeOptions()
#driver_option.add_argument(" — incognito")
chromedriver_path = '# Write your path here' # Change this to your own chromedriver path!

# Creating a webdriver.
def create_webdriver():
 return webdriver.Chrome(executable_path=chromedriver_path, options=driver_option)

URL = ""

browser.get(url)
# Clicking the button.
elem1 = browser.find_element_by_link_text("download file")
# Clicking the button.
elem1.click()

直到 2020 年，我将之前的代码一直循环，我得到了 CSV 格式的所有文件