python - 从网页中检索和保存链接，但每个域只有一个

Question

我在尝试将网站中的链接保存到列表中而不重复具有相同域的 url 时遇到了一些麻烦

例子：
www.python.org/download和www.python.org/about

应该只保存第一个（ www.python.org/download ），以后不要重复

这就是我到目前为止所拥有的

from bs4 import BeautifulSoup
import requests
from urllib.parse import urlparse

url = "https://docs.python.org/3/library/urllib.request.html#module-urllib.request"
result = requests.get(url)
doc = BeautifulSoup(result.text, "html.parser")
atag = doc.find_all('a', href=True)
links = []
#below should be some kind of for loop

Answer 1

作为一个单行：

links = {nl for a in doc.find_all('a', href=True) if (nl := urlparse(a["href"]).netloc) != ""}

解释：

links = set()  # define empty set
for a in doc.find_all('a', href=True):  # loop over every <a> element
    nl = urlparse(a["href"]).netloc  # get netloc from url
    if nl:
        links.add(nl)  # add to set if exists

output：

{'www.w3.org', 'datatracker.ietf.org', 'www.python.org', 'requests.readthedocs.io', 'github.com', 'www.sphinx-doc.org'}