空文件 Output

Question

我很新，需要你的帮助。 我想写一个我可以概括的脚本来进行网络抓取。 到目前为止，我有下面的代码，但它一直给我一个空白的 output 文件。 我希望能够轻松修改此代码以在所有网站上工作，并最终能够使搜索字符串更复杂一些。 现在，我有 CNN 作为一般页面，而“mccarthy”b/c 我想现在肯定有关于他的文章。 你能帮我让它工作吗？

#Begin Code
import requests
from bs4 import BeautifulSoup
import docx

# Set the search parameters
search_term = 'mccarthy'  # Set the search term
start_date = '2023-01-04'  # Set the start date (format: YYYY-MM-DD)
end_date = '2023-01-05'  # Set the end date (format: YYYY-MM-DD)
website = 'https://www.cnn.com'  # Set the website to search
document = open('testfile.docx','w')  # Open the existing Word document

# Initialize the list of articles and the page number
articles = []
page_number = 1

# Set the base URL for the search API
search_url = f'{website}/search'

# Set the base URL for the article page
article_base_url = f'{website}/article/'

while articles or page_number == 1:
    # Send a request to the search API
    response = requests.get(search_url, params={'q': search_term, 'from': start_date, 'to': end_date,     'page': page_number})

    # Check if the response is in JSON format
    if response.headers['Content-Type'] == 'application/json':
        # Load the JSON data
        data = response.json()

        # Get the list of articles from the JSON data
        articles = data['articles']
    else:
        # Parse the HTML content of the search results page
        soup = BeautifulSoup(response.text, 'html.parser')

        # Find all articles on the search results page
        articles = soup.find_all('article')

    # Loop through the articles
    for article in articles:
        # Find the link element
        link_element = article.find('a', class_='title')

        # Extract the link from the link element
        link = link_element['href']

        # Check if the link is a relative URL
        if link.startswith('/'):
            # If the link is relative, convert it to an absolute URL
            link = f'{website}{link}'

        # Add the link to the document
        document.add_paragraph(link)

    # Increment the page number
    page_number += 1

# Save the document
document.close()

我尝试了无数次迭代，但我已将它们全部删除，因此无法真正在此处发布。 这一直给我一个空白的 output 文件。

Answer 1

这不会解决主要问题，但可以解决一些问题：

https://edition.cnn.com/search?q=&from=0&size=10&page=1&sort=newest&types=all&section=

查看CNN搜索页面URL，我们可以看到from参数不是指日期而是一个数字，即如果from=5，它只会显示第5篇文章。 因此，您可以从请求参数中删除“from”和“to”。

文章 = soup.find_all('文章')

这将返回一个空列表，因为 HTML 页面中没有 <article> 标记。 检查CNN HTML我们发现您要查找的 URL 在 <div class="card container__item container__item--type- __item __item--type- "> 标签内，因此我将此行更改为soup.find_all('div', class_="card container__item container__item--type- __item __item--type- ")

document = open('testfile.docx','w') # 打开已有的Word文档

您已导入 docx 模块但未使用它。 Word 文档（需要额外的格式数据）应该像这样打开document = Document() 。 作为参考，这里是 docx 文档： https://python-docx.readthedocs.io/en/latest/

而文章或 page_number == 1:

我认为不需要这条线。

主要问题似乎是此页面需要运行 Javascript 才能呈现内容。 单独使用 request.get() 不会这样做。 您需要使用诸如Requests-HTML之类的库。 我试过这样做，但文章仍然没有呈现，所以我不确定。