[英]Scraping E-mails from Websites
我已经尝试了其他帖子的多次迭代,但似乎没有任何帮助或满足我的需求。
我有一个 URL 列表,我想循环并提取所有包含 email 地址的关联 URL。 然后我想将 URL 和 Email 地址存储到csv
文件中。
例如,如果我访问 10torr.com,程序应该找到主 URL(即:10torr.com/about)中的每个站点并提取任何电子邮件。
下面是通过我的代码运行时当前采用数据框格式的 5 个示例网站的列表。 它们保存在变量small_site
下。
一个有用的答案将包括使用下面列出的名为get_info()
的用户定义 function 。 将网站硬编码到 Spider 本身不是一个可行的选择,因为这将被许多其他具有不同网站列表长度的人使用。
Website
http://10torr.com/
https://www.10000drops.com/
https://www.11wells.com/
https://117westspirits.com/
https://www.onpointdistillery.com/
下面是我正在运行的代码。 蜘蛛似乎在运行,但我的csv
文件中没有 output。
import os
import pandas as pd
import re
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.linkextractors.lxmlhtml import LxmlLinkExtractor
small_site = site.head()
#%% Start Spider
class MailSpider(scrapy.Spider):
name = 'email'
def parse(self, response):
links = LxmlLinkExtractor(allow=()).extract_links(response)
links = [str(link.url) for link in links]
links.append(str(response.url))
for link in links:
yield scrapy.Request(url=link, callback=self.parse_link)
def parse_link(self, response):
for word in self.reject:
if word in str(response.url):
return
html_text = str(response.text)
mail_list = re.findall('\w+@\w+\.{1}\w+', html_text)
dic = {'email': mail_list, 'link': str(response.url)}
df = pd.DataFrame(dic)
df.to_csv(self.path, mode='a', header=False)
df.to_csv(self.path, mode='a', header=False)
#%% Preps a CSV File
def ask_user(question):
response = input(question + ' y/n' + '\n')
if response == 'y':
return True
else:
return False
def create_file(path):
response = False
if os.path.exists(path):
response = ask_user('File already exists, replace?')
if response == False: return
with open(path, 'wb') as file:
file.close()
#%% Defines function that will extract emails and enter it into CSV
def get_info(url_list, path, reject=[]):
create_file(path)
df = pd.DataFrame(columns=['email', 'link'], index=[0])
df.to_csv(path, mode='w', header=True)
print('Collecting Google urls...')
google_urls = url_list
print('Searching for emails...')
process = CrawlerProcess({'USER_AGENT': 'Mozilla/5.0'})
process.start()
for i in small_site.Website.iteritems():
print('Searching for emails...')
process.crawl(MailSpider, start_urls=google_urls, path=path, reject=reject)
##process.start()
print('Cleaning emails...')
df = pd.read_csv(path, index_col=0)
df.columns = ['email', 'link']
df = df.drop_duplicates(subset='email')
df = df.reset_index(drop=True)
df.to_csv(path, mode='w', header=True)
return df
url_list = small_site
path = 'email.csv'
df = get_info(url_list, path)
我不确定哪里出错了,因为我没有收到任何错误消息。 如果您需要更多信息,请询问。 我已经尝试了将近一个月了,我觉得此时我只是在用头撞墙。
此代码的大部分内容可在文章Web 抓取以提取联系信息 — 第 1 部分:几周后的邮件列表中找到。 但是,我没有成功地将它扩展到我的需要。 在合并他们的谷歌搜索 function 以获取基本 URL 时,它一次性工作没有问题。
预先感谢您提供的任何帮助。
花了一段时间,但答案终于来了。 以下是最终答案的产生方式。 这将与原始问题一样使用不断变化的列表。
变化最终非常小。 我需要添加以下用户定义的 function。
def get_urls(io, sheet_name):
data = pd.read_excel(io, sheet_name)
urls = data['Website'].to_list()
return urls
从那里,对get_info()
用户定义的 function 进行了简单的更改。 我们需要将此 function 中的google_urls
设置为我们的get_urls
function 并传入列表。 此 function 的完整代码如下。
def get_info(io, sheet_name, path, reject=[]):
create_file(path)
df = pd.DataFrame(columns=['email', 'link'], index=[0])
df.to_csv(path, mode='w', header=True)
print('Collecting Google urls...')
google_urls = get_urls(io, sheet_name)
print('Searching for emails...')
process = CrawlerProcess({'USER_AGENT': 'Mozilla/5.0'})
process.crawl(MailSpider, start_urls=google_urls, path=path, reject=reject)
process.start()
print('Cleaning emails...')
df = pd.read_csv(path, index_col=0)
df.columns = ['email', 'link']
df = df.drop_duplicates(subset='email')
df = df.reset_index(drop=True)
df.to_csv(path, mode='w', header=True)
return df
无需进行其他更改即可使其运行。 希望这会有所帮助。
我修改了一些脚本,通过 Shell 运行以下脚本,它可以工作。 也许它将为您提供一个起点。
我建议你使用 shell 因为它在抓取过程中总是抛出错误和其他消息
class MailSpider(scrapy.Spider):
name = 'email'
start_urls = [
'http://10torr.com/',
'https://www.10000drops.com/',
'https://www.11wells.com/',
'https://117westspirits.com/',
'https://www.onpointdistillery.com/',
]
def parse(self, response):
self.log('A response from %s just arrived!' % response.url)
links = LxmlLinkExtractor(allow=()).extract_links(response)
links = [str(link.url) for link in links]
links.append(str(response.url))
for link in links:
yield scrapy.Request(url=link, callback=self.parse_link)
def parse_link(self, response):
html_text = str(response.text)
mail_list = re.findall('\w+@\w+\.{1}\w+', html_text)
dic = {'email': mail_list, 'link': str(response.url)}
for key in dic.keys():
yield {
'email' : dic['email'],
'link': dic['link'],
}
This yields the following output when crawled via Anaconda shell scrapy crawl email -o test.jl
{"email": ["info@ndiscovered.com"], "link": "https://117westspirits.com/"}
{"email": ["8b4e078a51d04e0e9efdf470027f0ec1@sentry.wixpress", "bundle@3.2", "fetch@3.0", "bolt@2.3", "5oclock@11wells.com", "5oclock@11wells.com", "5oclock@11wells.com"], "link": "https://www.11wells.com"}
{"email": ["info@ndiscovered.com"], "link": "https://117westspirits.com/shop?olsPage=search&keywords="}
{"email": ["info@ndiscovered.com"], "link": "https://117westspirits.com/shop?olsPage=search&keywords="}
{"email": ["info@ndiscovered.com"], "link": "https://117westspirits.com/shop"}
{"email": ["info@ndiscovered.com"], "link": "https://117westspirits.com/shop?olsPage=cart"}
{"email": ["info@ndiscovered.com"], "link": "https://117westspirits.com/home"}
{"email": ["8b4e078a51d04e0e9efdf470027f0ec1@sentry.wixpress", "bundle@3.2", "fetch@3.0", "bolt@2.3", "5oclock@11wells.com", "5oclock@11wells.com", "5oclock@11wells.com"], "link": "https://www.11wells.com"}
{"email": ["info@ndiscovered.com"], "link": "https://117westspirits.com/home"}
{"email": ["info@ndiscovered.com"], "link": "https://117westspirits.com/117%C2%B0-west-spirits-1"}
...
...
...
有关更多信息,请参阅Scrapy 文档
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.