python请求无效的架构错误

Question

我正在尝试从在线文本语料库中抓取。 这些文本在网站上以树状方式排列：一次单击A会打开B页，而在B中单击C会打开文本。 在A中，大约有50个链接，在B中，它在3到150之间变化，有时在C中也有链接，但是我对它们不感兴趣。
为此，我做了以下操作：打开A，用BeautifulSoup对其进行解析，收集所需的链接，并将其另存为.txt文件。 然后，我执行以下操作：

Url_List=[]

with open("Aramaic_Url_List.txt", "r") as Url_List:
    urls=Url_List.read()

A_url_list=urls.splitlines()  
Yeni_A_url_list=[showsubtexts for showsubtexts in A_url_list if len(showsubtexts)>52]  

它以列表的形式给了我我希望从A页获得的所有链接。 然后，我编写了一个Yeni_A_url_list测试是否可以从列表Yeni_A_url_list的元素中获取B页中的链接，这是我的脚本：

data2=requests.get(Yeni_A_url_list[1].strip())
data2.raise_for_status()
data2_Metin=data2.text

soup_data2=BeautifulSoup(data2_Metin, "lxml")

for link in soup_data2.find_all("a"):
    print(link.get("href"))

该条可能在那里没有任何功能，但我认为这不会造成伤害。 该脚本对于某个元素来说效果很好。 所以我想，是时候编写一个函数来获取页面A中每个链接的页面B级中所有链接的时候了。这是我的函数：

def ListedenLinkAl(h):
    if h in Yeni_A_url_list:
        print(h)
    g=requests.get(h)
    g.raise_for_status()
    data_mtn=g.text
    data_soup=BeautifulSoup(data_mtn,"lxml")
    oP=[b.get("href") for b in data_soup.find_all("a")]
    tk=list(set(oP))
    sleep(3)  
    return tk

我可以通过print查看该函数已建立的链接，并且由于某种原因time在那里sleep不会使服务器超负荷。sleep揭示了语法错误。 该函数还适用于列表的单个元素，意味着以下工作： ListedenLinkAl(Yeni_A_url_list[1])

因此，我想是时候将该函数应用于列表Yeni_A_url_list每个元素并进行列表理解了：

Temiz_url_Listesi=[ListedenLinkAl(x) for x in Yeni_A_url_list]

而且我收到以下错误：

In [45]: Temiz_url_Listesi=[ListedenLinkAl(x) for x in Yeni_A_url_list]
http://cal1.cn.huc.edu/showsubtexts.php?keyword=21200
Traceback (most recent call last):

  File "<ipython-input-45-8e4811c83c3f>", line 1, in <module>
    Temiz_url_Listesi=[ListedenLinkAl(x) for x in Yeni_A_url_list]

  File "<ipython-input-45-8e4811c83c3f>", line 1, in <listcomp>
    Temiz_url_Listesi=[ListedenLinkAl(x) for x in Yeni_A_url_list]

  File "<ipython-input-36-390e6ed1eae5>", line 6, in ListedenLinkAl
    g=requests.get(h)

  File "/home/dk/anaconda3/lib/python3.5/site-packages/requests/api.py", line 67, in get
    return request('get', url, params=params, **kwargs)

  File "/home/dk/anaconda3/lib/python3.5/site-packages/requests/api.py", line 53, in request
    return session.request(method=method, url=url, **kwargs)

  File "/home/dk/anaconda3/lib/python3.5/site-packages/requests/sessions.py", line 468, in request
    resp = self.send(prep, **send_kwargs)

  File "/home/dk/anaconda3/lib/python3.5/site-packages/requests/sessions.py", line 570, in send
    adapter = self.get_adapter(url=request.url)

  File "/home/dk/anaconda3/lib/python3.5/site-packages/requests/sessions.py", line 644, in get_adapter
    raise InvalidSchema("No connection adapters were found for '%s'" % url)

InvalidSchema: No connection adapters were found for 'http://cal1.cn.huc.edu/showsubtexts.php?keyword=21200'

In [46]: 

我不知道为什么该功能对列表中的单个元素有效，但对列表理解却无效。

Answer 1

网址周围似乎有多余的字符，请使用str.strip()进行清理：

g = requests.get(h.strip())