如何从多个 web 页面中提取链接并删除重复项

Question

我正在学习如何使用 python 进行 web 抓取。 我开发了以下程序来从网站中提取所有 web 链接。 我能够提取链接，但是当我尝试遍历 web 页面时，下面的程序会覆盖结果并给出最后一页的结果。 如何从所有页面中提取链接并从提取的结果中删除重复链接？ 下面是代码：

代码：

from bs4 import BeautifulSoup
import pandas as pd
import urllib.request
listoflinks=['https://www.jameda.de/bielefeld/aerzte/hausaerzte/fachgebiet/?page=1'
             ,'https://www.jameda.de/bielefeld/aerzte/hausaerzte/fachgebiet/?page=2'
             ,'https://www.jameda.de/bielefeld/aerzte/hausaerzte/fachgebiet/?page=3'
             ,'https://www.jameda.de/bielefeld/aerzte/hausaerzte/fachgebiet/?page=4']
getarticles = []
for i in listoflinks:
    req = urllib.request.Request(
    i,
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
    )
    resp= urllib.request.urlopen(req)
    soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset'),features="lxml")
    #for link in soup.find_all('a', href=True):
     #   print(link['href'])
atags = soup.find_all('a', href=True)
links = [atag['href'] for atag in atags]
keywords = ['/bielefeld/aerzte']

for link in links:
    if all(keyword in link for keyword in keywords):
        print(link)
    df.assign(link= link)
print(df)        

df.to_csv(r"C:\\Users\\kc\\Documents\\Web Scraping\\links.csv", index=False)

结果

/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-vorwerk/uebersicht/80025669_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-vorwerk/uebersicht/80025669_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-vorwerk/uebersicht/80025669_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-vorwerk/uebersicht/80025669_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-vorwerk/uebersicht/80025669_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-vorwerk/uebersicht/80025669_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-monika-niemann/uebersicht/81123693_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-monika-niemann/uebersicht/81123693_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-monika-niemann/uebersicht/81123693_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-monika-niemann/uebersicht/81123693_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-monika-niemann/uebersicht/81123693_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-monika-niemann/uebersicht/81123693_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christoph-ahlers/uebersicht/80276844_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christoph-ahlers/uebersicht/80276844_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christoph-ahlers/uebersicht/80276844_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christoph-ahlers/uebersicht/80276844_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christoph-ahlers/uebersicht/80276844_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christoph-ahlers/uebersicht/80276844_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-horst-lindrath/uebersicht/80086931_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-horst-lindrath/uebersicht/80086931_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-horst-lindrath/uebersicht/80086931_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-horst-lindrath/uebersicht/80086931_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-horst-lindrath/uebersicht/80086931_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-horst-lindrath/uebersicht/80086931_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-guenter-neundorf/uebersicht/80279935_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-guenter-neundorf/uebersicht/80279935_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-guenter-neundorf/uebersicht/80279935_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-guenter-neundorf/uebersicht/80279935_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-guenter-neundorf/uebersicht/80279935_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-guenter-neundorf/uebersicht/80279935_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-frank-diener/uebersicht/80114846_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-frank-diener/uebersicht/80114846_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-frank-diener/uebersicht/80114846_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-frank-diener/uebersicht/80114846_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-frank-diener/uebersicht/80114846_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-frank-diener/uebersicht/80114846_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-david-hillebrand/uebersicht/80120117_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-david-hillebrand/uebersicht/80120117_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-david-hillebrand/uebersicht/80120117_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-david-hillebrand/uebersicht/80120117_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-david-hillebrand/uebersicht/80120117_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-david-hillebrand/uebersicht/80120117_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christine-scholand/uebersicht/81207946_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christine-scholand/uebersicht/81207946_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christine-scholand/uebersicht/81207946_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christine-scholand/uebersicht/81207946_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christine-scholand/uebersicht/81207946_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christine-scholand/uebersicht/81207946_1/
/bielefeld/aerzte/innere-allgemeinmediziner/kai-kleinholz/uebersicht/81352039_1/
/bielefeld/aerzte/innere-allgemeinmediziner/kai-kleinholz/uebersicht/81352039_1/
/bielefeld/aerzte/innere-allgemeinmediziner/kai-kleinholz/uebersicht/81352039_1/
/bielefeld/aerzte/innere-allgemeinmediziner/kai-kleinholz/uebersicht/81352039_1/
/bielefeld/aerzte/innere-allgemeinmediziner/kai-kleinholz/uebersicht/81352039_1/
/bielefeld/aerzte/innere-allgemeinmediziner/kai-kleinholz/uebersicht/81352039_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-stephanie-lang/uebersicht/81467674_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-stephanie-lang/uebersicht/81467674_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-stephanie-lang/uebersicht/81467674_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-stephanie-lang/uebersicht/81467674_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-stephanie-lang/uebersicht/81467674_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-stephanie-lang/uebersicht/81467674_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ulrich-huenerhoff/uebersicht/80104200_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ulrich-huenerhoff/uebersicht/80104200_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ulrich-huenerhoff/uebersicht/80104200_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ulrich-huenerhoff/uebersicht/80104200_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ulrich-huenerhoff/uebersicht/80104200_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ulrich-huenerhoff/uebersicht/80104200_1/
/bielefeld/aerzte/innere-allgemeinmediziner/thekla-esch/uebersicht/80076371_1/
/bielefeld/aerzte/innere-allgemeinmediziner/thekla-esch/uebersicht/80076371_1/
/bielefeld/aerzte/innere-allgemeinmediziner/thekla-esch/uebersicht/80076371_1/
/bielefeld/aerzte/innere-allgemeinmediziner/thekla-esch/uebersicht/80076371_1/
/bielefeld/aerzte/innere-allgemeinmediziner/thekla-esch/uebersicht/80076371_1/
/bielefeld/aerzte/innere-allgemeinmediziner/thekla-esch/uebersicht/80076371_1/
/bielefeld/aerzte/innere-allgemeinmediziner/carolin-keitel-stoeckert/uebersicht/80079006_1/
/bielefeld/aerzte/innere-allgemeinmediziner/carolin-keitel-stoeckert/uebersicht/80079006_1/
/bielefeld/aerzte/innere-allgemeinmediziner/carolin-keitel-stoeckert/uebersicht/80079006_1/
/bielefeld/aerzte/innere-allgemeinmediziner/carolin-keitel-stoeckert/uebersicht/80079006_1/
/bielefeld/aerzte/innere-allgemeinmediziner/carolin-keitel-stoeckert/uebersicht/80079006_1/
/bielefeld/aerzte/innere-allgemeinmediziner/carolin-keitel-stoeckert/uebersicht/80079006_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-robert-sas/uebersicht/80113273_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-robert-sas/uebersicht/80113273_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-robert-sas/uebersicht/80113273_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-robert-sas/uebersicht/80113273_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-robert-sas/uebersicht/80113273_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-robert-sas/uebersicht/80113273_1/
/bielefeld/aerzte/innere-allgemeinmediziner/peter-lockowandt/uebersicht/81542858_1/
/bielefeld/aerzte/innere-allgemeinmediziner/peter-lockowandt/uebersicht/81542858_1/
/bielefeld/aerzte/innere-allgemeinmediziner/peter-lockowandt/uebersicht/81542858_1/
/bielefeld/aerzte/innere-allgemeinmediziner/peter-lockowandt/uebersicht/81542858_1/
/bielefeld/aerzte/innere-allgemeinmediziner/peter-lockowandt/uebersicht/81542858_1/
/bielefeld/aerzte/innere-allgemeinmediziner/peter-lockowandt/uebersicht/81542858_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-katja-rixe/uebersicht/81587144_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-katja-rixe/uebersicht/81587144_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-katja-rixe/uebersicht/81587144_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-katja-rixe/uebersicht/81587144_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-katja-rixe/uebersicht/81587144_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-katja-rixe/uebersicht/81587144_1/
/bielefeld/aerzte/innere-allgemeinmediziner/louisa-panteli/uebersicht/81330164_1/
/bielefeld/aerzte/innere-allgemeinmediziner/louisa-panteli/uebersicht/81330164_1/
/bielefeld/aerzte/innere-allgemeinmediziner/louisa-panteli/uebersicht/81330164_1/
/bielefeld/aerzte/innere-allgemeinmediziner/louisa-panteli/uebersicht/81330164_1/
/bielefeld/aerzte/innere-allgemeinmediziner/louisa-panteli/uebersicht/81330164_1/
/bielefeld/aerzte/innere-allgemeinmediziner/louisa-panteli/uebersicht/81330164_1/
/bielefeld/aerzte/innere-allgemeinmediziner/henning-schnittger/uebersicht/80091394_1/
/bielefeld/aerzte/innere-allgemeinmediziner/henning-schnittger/uebersicht/80091394_1/
/bielefeld/aerzte/innere-allgemeinmediziner/henning-schnittger/uebersicht/80091394_1/
/bielefeld/aerzte/innere-allgemeinmediziner/henning-schnittger/uebersicht/80091394_1/
/bielefeld/aerzte/innere-allgemeinmediziner/henning-schnittger/uebersicht/80091394_1/
/bielefeld/aerzte/innere-allgemeinmediziner/henning-schnittger/uebersicht/80091394_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christiane-funke/uebersicht/80404436_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christiane-funke/uebersicht/80404436_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christiane-funke/uebersicht/80404436_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christiane-funke/uebersicht/80404436_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christiane-funke/uebersicht/80404436_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-christiane-funke/uebersicht/80404436_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hans-joachim-schaebitz/uebersicht/80383465_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hans-joachim-schaebitz/uebersicht/80383465_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hans-joachim-schaebitz/uebersicht/80383465_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hans-joachim-schaebitz/uebersicht/80383465_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hans-joachim-schaebitz/uebersicht/80383465_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hans-joachim-schaebitz/uebersicht/80383465_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-kerstin-klemm/uebersicht/81249456_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-kerstin-klemm/uebersicht/81249456_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-kerstin-klemm/uebersicht/81249456_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-kerstin-klemm/uebersicht/81249456_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-kerstin-klemm/uebersicht/81249456_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-kerstin-klemm/uebersicht/81249456_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christoph-wiens/uebersicht/80274152_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christoph-wiens/uebersicht/80274152_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christoph-wiens/uebersicht/80274152_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christoph-wiens/uebersicht/80274152_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christoph-wiens/uebersicht/80274152_1/
/bielefeld/aerzte/innere-allgemeinmediziner/christoph-wiens/uebersicht/80274152_1/
/bielefeld/aerzte/kinderaerzte/buelent-adasoglu/uebersicht/81328941_1/
/bielefeld/aerzte/kinderaerzte/buelent-adasoglu/uebersicht/81328941_1/
/bielefeld/aerzte/kinderaerzte/buelent-adasoglu/uebersicht/81328941_1/
/bielefeld/aerzte/kinderaerzte/buelent-adasoglu/uebersicht/81328941_1/
/bielefeld/aerzte/kinderaerzte/buelent-adasoglu/uebersicht/81328941_1/
/bielefeld/aerzte/kinderaerzte/buelent-adasoglu/uebersicht/81328941_1/
/bielefeld/aerzte/innere-allgemeinmediziner/matthias-drescher/uebersicht/80287617_1/
/bielefeld/aerzte/innere-allgemeinmediziner/matthias-drescher/uebersicht/80287617_1/
/bielefeld/aerzte/innere-allgemeinmediziner/matthias-drescher/uebersicht/80287617_1/
/bielefeld/aerzte/innere-allgemeinmediziner/matthias-drescher/uebersicht/80287617_1/
/bielefeld/aerzte/innere-allgemeinmediziner/matthias-drescher/uebersicht/80287617_1/
/bielefeld/aerzte/innere-allgemeinmediziner/matthias-drescher/uebersicht/80287617_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ernst-ferdy-lammert/uebersicht/80097490_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ernst-ferdy-lammert/uebersicht/80097490_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ernst-ferdy-lammert/uebersicht/80097490_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ernst-ferdy-lammert/uebersicht/80097490_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ernst-ferdy-lammert/uebersicht/80097490_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-ernst-ferdy-lammert/uebersicht/80097490_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-andrea-straehnz/uebersicht/80365896_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-andrea-straehnz/uebersicht/80365896_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-andrea-straehnz/uebersicht/80365896_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-andrea-straehnz/uebersicht/80365896_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-andrea-straehnz/uebersicht/80365896_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-andrea-straehnz/uebersicht/80365896_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-engstfeld/uebersicht/80248330_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-engstfeld/uebersicht/80248330_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-engstfeld/uebersicht/80248330_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-engstfeld/uebersicht/80248330_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-engstfeld/uebersicht/80248330_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-michael-engstfeld/uebersicht/80248330_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hannes-krehmeier/uebersicht/80106285_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hannes-krehmeier/uebersicht/80106285_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hannes-krehmeier/uebersicht/80106285_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hannes-krehmeier/uebersicht/80106285_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hannes-krehmeier/uebersicht/80106285_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-hannes-krehmeier/uebersicht/80106285_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-jan-pansegrau/uebersicht/81085341_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-jan-pansegrau/uebersicht/81085341_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-jan-pansegrau/uebersicht/81085341_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-jan-pansegrau/uebersicht/81085341_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-jan-pansegrau/uebersicht/81085341_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-jan-pansegrau/uebersicht/81085341_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-rainer-wienkamp/uebersicht/80277710_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-rainer-wienkamp/uebersicht/80277710_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-rainer-wienkamp/uebersicht/80277710_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-rainer-wienkamp/uebersicht/80277710_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-rainer-wienkamp/uebersicht/80277710_1/
/bielefeld/aerzte/innere-allgemeinmediziner/dr-dr-rainer-wienkamp/uebersicht/80277710_1/
/bielefeld/aerzte/hausaerzte/fachgebiet/?page=3
/bielefeld/aerzte/allgemein-u-hausaerzte/fachgebiet/
/bielefeld/aerzte/augenaerzte/fachgebiet/
/bielefeld/aerzte/frauenaerzte-gynaekologen/fachgebiet/
/bielefeld/aerzte/gastroenterologen/fachgebiet/
/bielefeld/aerzte/innere-medizin/fachgebiet/
/bielefeld/aerzte/orthopaeden/fachgebiet/
/bielefeld/aerzte/hausaerzte/fachgebiet/
/bielefeld/aerzte/hausaerzte/fachgebiet/
/bielefeld/aerzte/innere-allgemeinmediziner/fachgebiet/
/bielefeld/aerzte/praktische-aerzte/fachgebiet/
/bielefeld/aerzte/allgemein-u-hausaerzte/fachgebiet/
                                  Links
0                                     /
1                           /arztsuche/
2        https://www.jameda.de/termine/
3                          /gesundheit/
4    https://www.jameda.de/fuer-aerzte/
..                                  ...
262    https://www.burda.com/de/marken/
263    https://www.burda.com/de/marken/
264    https://www.burda.com/de/marken/
265    https://www.burda.com/de/marken/
266    https://www.burda.com/de/marken/

Answer 1

您的程序正在覆盖结果，因为您有缩进问题。

atags = soup.find_all('a', href=True)
links = [atag['href'] for atag in atags]

应该在 for 循环内，否则你只看最后一个 URL 的href。

这样，列表链接在每次迭代时都会被替换，因此您需要在每次迭代中找到另一个容器来 append 找到您所找到的内容。

可能是这样的

all_links = []
for i in listoflinks:
    req = urllib.request.Request(
    i,
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
    )
    resp= urllib.request.urlopen(req)
    soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset'),features="lxml")
    #for link in soup.find_all('a', href=True):
     #   print(link['href'])
    atags = soup.find_all('a', href=True)
    links = [atag['href'] for atag in atags]
    all_links.extend(links)