网页抓取，退货通知

Question

我想设置一个Python脚本来告诉我某种产品是否有库存。 目前，它会抓取下面的网址并解析网站的相关部分，但我无法弄清楚如何获取此输出变量（我将其称为stock并将其存储为另一个名为stock_history的变量），然后运行另一行以询问stock是否相等或不去stock_history

在尝试将HTML数据存储在stock_history中时，我在扫描字符串文字错误时也遇到了停产现象。 有一个更好的方法吗？

import requests
from datetime import datetime 
from bs4 import BeautifulSoup
import csv
now = datetime.now()
#enter website address
url = requests.get('https://shop.bitmain.com/antminer_s9_asic_bitcoin_miner.htm')

soup = BeautifulSoup(url.content,'html')

stock = (soup.find("div", "buy-now-bar-con"))

stock_history = '<div class="buy-now-bar-con">
<a class="current" href="antminer_s9_asic_bitcoin_miner.htm?flag=overview">Overview</a>
<a href="antminer_s9_asic_bitcoin_miner.htm?flag=specifications">Specification</a>
<a href="antminer_s9_asic_bitcoin_miner.htm?flag=gallery">Gallery</a>
<a class="btn-buy-now" href="javascript:;" style="background:#a7a4a4; cursor:not-allowed;" target="_self" title="sold out!">Coming soon</a>
</div>'


print(stock)

if stock == stock_history 
    print("still not in stock")

Answer 1

首先，EOL代表“行尾”，如果python不喜欢您定义字符串或使用一些奇怪字符的方式，通常会出现此错误。 为了避免这种情况，您可以在原始代码中对字符串进行三重引用，如下所示：

stock_history = '''<div class="buy-now-bar-con">
<a class="current" href="antminer_s9_asic_bitcoin_miner.htm?
flag=overview">Overview</a>
<a href="antminer_s9_asic_bitcoin_miner.htm?
flag=specifications">Specification</a>
<a href="antminer_s9_asic_bitcoin_miner.htm?flag=gallery">Gallery</a>
<a class="btn-buy-now" href="javascript:;" style="background:#a7a4a4; 
cursor:not-allowed;" target="_self" title="sold out!">Coming soon</a>
</div>'''

这很丑，所以我删除了那条大字符串，因为它不是必需的。 您应该要从stock变量中获取的唯一信息是产品是否售罄。 为此，可以将bs4.element.Tag转换为str类型，并使用正则表达式检查是否存在“已售罄！”。 子。 无论您在哪里进行刮取，使用文本数据或执行任何形式的XML或HTML解析，正则表达式都确实派上了用场，因此，我建议您仔细阅读它们。

更多信息： https ： //www.regular-expressions.info/

您可以在此处轻松测试python regex捕获： https : //pythex.org/

这是修改后的代码，它可以完成您想要做的事情。

import re
import csv
import requests
from datetime import datetime 
from bs4 import BeautifulSoup

def stock_check(url):
    """Function checks url for 'sold out!' substring in url.content"""
    soup = BeautifulSoup(url.content, "lxml") #Need to use lxml parser
    stock = soup.find("div", "buy-now-bar-con") #Check the html tags for sold out/coming soon info.
    stock_status = re.findall(r"(sold out!)", str(stock)) #Returns list of captured substring if exists.
    return stock_status[0] # returns "sold out!" from soup string.

now = datetime.now()

url = requests.get('https://shop.bitmain.com/antminer_s9_asic_bitcoin_miner.htm')

if stock_check(url) == "sold out!":
    print(str(now) + ": Still not in stock...")
else:
    print(str(now) + ": Now in stock!")

尝试一下，如果您有任何疑问，请告诉我！

编辑：OP询问如何定期检查网页并包括电子邮件通知。 需要从原始解决方案中进行一些更改，例如在requests headers字段中设置userAgent信息。 还为BeautifulSoup对象切换到html.parser而不是lxml ，以正确处理url.content中的url.content 。

import re
import time
import smtplib
import requests
from datetime import datetime 
from bs4 import BeautifulSoup

def stock_check(url):
    """Checks url for 'sold out!' substring in buy-now-bar-con"""
    soup = BeautifulSoup(url.content, "html.parser") #Need to use lxml parser
    stock = soup.find("div", "buy-now-bar-con") #Check the html tags for sold out/coming soon info.
    stock_status = re.findall(r"sold out!", str(stock)) #Returns list of captured substring if exists.
    return stock_status # returns "sold out!" from soup string.

def send_email(address, password, message):
    """Send an e-mail to yourself!"""
    server = smtplib.SMTP("smtp.gmail.com", 587) #e-mail server
    server.ehlo()
    server.starttls()
    server.login(address,password) #login
    message = str(message) #message to email yourself
    server.sendmail(address,address,message) #send the email through dedicated server
    return

def stock_check_listener(url, address, password, run_hours):
    """Periodically checks stock information."""
    listen = True # listen boolean
    start = datetime.now() # start time
    while(listen): #while listen = True, run loop
        if "sold out!" in stock_check(url): #check page
            now = datetime.now()
            print(str(now) + ": Not in stock.")
        else:
            message = str(now) + ": NOW IN STOCK!"
            print(message)
            send_email(address, password, message)
            listen = False

        duration = (now - start)
        seconds = duration.total_seconds()
        hours = int(seconds/3600)
        if hours >= run_hours: #check run time
            print("Finished.")
            listen = False

        time.sleep(30*60) #Wait N minutes to check again.    
    return

if __name__=="__main__":

    #Set url and userAgent header for javascript issues.
    page = "https://shop.bitmain.com/antminer_s9_asic_bitcoin_miner.htm"
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36',
    'Content-Type': 'text/html'}

    #URL request.
    url = requests.get(url=page,
                       headers=headers)

    #Run listener to stream stock checks.
    address = "user@gmail.com" #your email
    password = "user.password" #your email password
    stock_check_listener(url=url,
                         address=address,
                         password=password,
                         run_hours=1) 

现在，程序将启动一个while循环，该循环会定期从网页请求信息。 您可以通过更改run_hours变量来设置超时（以小时为单位）。 您还可以通过在stock_check_listener更改N来设置睡眠/等待时间（以分钟为单位）。 在这种情况下，我使用了gmail ，如果您在给自己发送电子邮件时收到错误消息，则需要点击以下链接： https : //myaccount.google.com/lesssecureapps ，并允许安全性较低的应用程序（您的python程序）访问您的Gmail帐户。