newspaper3k - 从 HTML 而不是 URL 获取文章

Question

我在Scrapy解析方法中使用newspaper3k 。 我想提取链接，但我不想再次获取该网站。

是否可以使用这个：

newspaper.build(..)

使用普通html这样我就可以调用.articles比？

Answer 1

我找到了这个解决方案：

import httpx

from newspaper import Article

async def get_article(url):
    with httpx.AsyncClient() as client:
        response = await client.get(url)

    article = Article(url)
    article.set_html(response.text)
    article.parse()