scrapy 从 txt 文件读取 url 失败

Question

这就是 txt 文件的样子，我从 jupiter notebook 打开它。 请注意，出于显而易见的原因，我更改了结果中链接的名称。 输入 - - - - - - - - - - - - - - -

用 open('...\j.txt', 'r') as f: data = f.readlines()

打印（数据[0]）打印（类型（数据））

输出 - - - - - - - - - - - - - - - - -

[' https://www.example.com/191186976.html ', ' https://www.example.com/191187171.html ']

现在我在我的 scrapy 脚本中写了这些，当我运行它时它没有 go 的链接。 相反，它显示：错误：获取启动请求时出错。

class abc(scrapy.Spider): name = "abc_article"

with open('j.txt' ,'r')as f4:
    url_c = f4.readlines()

u = url_c[0]    
start_urls = u

如果我写了 u = ['example.html', 'example.html'] starting_url = u 那么它工作得很好。 我是 scrapy 的新手，所以我想问一下这里有什么问题？ 是阅读方法还是我没有注意到的其他东西。 谢谢。

Answer 1

这样的事情应该让你朝着正确的方向前进。

import csv
from urllib.request import urlopen
#import urllib2
from bs4 import BeautifulSoup

contents = []
with open('C:\\your_path_here\\test.csv','r') as csvf: # Open file in read mode
    urls = csv.reader(csvf)
    for url in urls:
        contents.append(url) # Add each url to list contents

for url in contents:  # Parse through each url in the list.
    page = urlopen(url[0]).read()
    soup = BeautifulSoup(page, "html.parser")
print(soup)