使用python beautifulsoup从html获取指定值

Question

我是新手，并且正在做一些报废项目，我试图从以下HTML中获取价值：

<div class="buttons_zoom"><div class="full_prod"><a href="javascript:void(0)" onclick="js:getProdID('https://www.XXXXXXX.co.il','{31F93B1D-449F-4AD7-BFB0-97A0A8E068F6}','379104')" title="לחם אחיד פרוס אנג'ל 750 גרם - פרטים נוספים"><img alt="פרטים נוספים" border="0" src="template/images/new_site/icon-view-prod-cartpage.png"/></a></div></div>

我想得到这个值：379104，它位于使用BeautifulSoup的onclick im中的代码：

 for i in page_content.find_all('div', attrs={'class':'prodPrice'}):
            temp = i.parent.parent.contents[0]

临时返回对象和temp =到HTML的列表有人可以帮助提取此ID谢谢！

编辑******哇，谢谢大家的精彩解释！！！ 但是我有2个问题1.retry机制，不起作用，我将其设置为timeout = 1，以使其失败，但是一旦失败，它就返回：

requests.exceptions.RetryError: HTTPSConnectionPool(host='www.XXXXX.il', port=443): Max retries exceeded with url: /default.asp?catid=%7B2234C62C-BD68-4641-ABF4-3C225D7E3D81%7D (Caused by ResponseError('too many redirects',)) 

您能否在下面的重试机制代码中为我提供帮助：2.当im set timeout = 6 8000个项的报废持续时间为15分钟时，性能问题会在重试机制中消失，我如何提高此代码性能？ 代码如下：

def get_items(self, dict):
        itemdict = {}
        for k, v in dict.items():
            boolean = True
        # here, we fetch the content from the url, using the requests library
            while (boolean):
             try:
                a =requests.Session()
                retries = Retry(total=3, backoff_factor=0.1, status_forcelist=[301,500, 502, 503, 504])
                a.mount(('https://'), HTTPAdapter(max_retries=retries))
                page_response = a.get('https://www.XXXXXXX.il' + v, timeout=1)
             except requests.exceptions.Timeout:
                print  ("Timeout occurred")
                logging.basicConfig(level=logging.DEBUG)
             else:
                 boolean = False

            # we use the html parser to parse the url content and store it in a variable.
            page_content = BeautifulSoup(page_response.content, "html.parser")
            for i in page_content.find_all('div', attrs={'class':'prodPrice'}):
                parent = i.parent.parent.contents[0]
                getparentfunc= parent.find("a", attrs={"href": "javascript:void(0)"})
                itemid = re.search(".*'(\d+)'.*", getparentfunc.attrs['onclick']).groups()[0]
                itemName = re.sub(r'\W+', ' ', i.parent.contents[0].text)
                priceitem = re.sub(r'[\D.]+ ', ' ', i.text)
                itemdict[itemid] = [itemName, priceitem]

Answer 1

下面的两个解决方案都为onclick属性采用规则/一致的结构

如果只有一场比赛，则类似以下内容。

from bs4 import BeautifulSoup as bs

html ='''    
<div class="buttons_zoom"><div class="full_prod"><a href="javascript:void(0)" onclick="js:getProdID('https://www.XXXXXXX.co.il','{31F93B1D-449F-4AD7-BFB0-97A0A8E068F6}','379104')" title="לחם אחיד פרוס אנג'ל 750 גרם - פרטים נוספים"><img alt="פרטים נוספים" border="0" src="template/images/new_site/icon-view-prod-cartpage.png"/></a></div></div>

'''    
soup = bs(html, 'lxml')
element = soup.select_one('[onclick^="js:getProdID"]')
print(element['onclick'].split(',')[2].strip(')'))

如果超过一场比赛

from bs4 import BeautifulSoup as bs

html ='''
<div class="buttons_zoom"><div class="full_prod"><a href="javascript:void(0)" onclick="js:getProdID('https://www.XXXXXXX.co.il','{31F93B1D-449F-4AD7-BFB0-97A0A8E068F6}','379104')" title="לחם אחיד פרוס אנג'ל 750 גרם - פרטים נוספים"><img alt="פרטים נוספים" border="0" src="template/images/new_site/icon-view-prod-cartpage.png"/></a></div></div>
'''
soup = bs(html, 'lxml')
elements = soup.select('[onclick^="js:getProdID"]')
for element in elements:
    print(element['onclick'].split(',')[2].strip(')'))

Answer 2

from bs4 import BeautifulSoup as bs
import re

txt = """<div class="buttons_zoom"><div class="full_prod"><a href="javascript:void(0)" onclick="js:getProdID('https://www.XXXXXXX.co.il','{31F93B1D-449F-4AD7-BFB0-97A0A8E068F6}','379104')" title="לחם אחיד פרוס אנג'ל 750 גרם - פרטים נוספים"><img alt="פרטים נוספים" border="0" src="template/images/new_site/icon-view-prod-cartpage.png"/></a></div></div>"""

soup = bs(txt,'html.parser')
a = soup.find("a", attrs={"href":"javascript:void(0)"})
r = re.search(".*'(\d+)'.*", data).groups()[0]
print(r) # will print '379104'

---

编辑

将".*\\}.*,.*'(\\d+)'\\).*"替换为".*'(\\d+)'.*" 。 它们产生相同的结果，但后者要干净得多。

---

说明：汤

find a标签的标签（第一个元素），其中属性“ href”的值为“ javascript：void（0）”。 有关此处的美丽汤关键字参数的更多信息。

a = soup.find("a", attrs={"href":"javascript:void(0)"})

这相当于

a = soup.find("a", href="javascript:void(0)")

在没有class_快捷方式的较早版本的Beautiful Soup中，您可以使用上面提到的attrs技巧。 创建一个字典，其“ class”的值是您要搜索的字符串（或正则表达式，或其他）。 - 请参阅有关“ attrs”的精美汤文档

a指向<class 'bs4.element.Tag'>类型的元素。 我们可以像通过属性a.attrs来访问字典一样访问标签属性（有关漂亮汤属性的更多信息）。 这就是我们在以下语句中所做的。

a_tag_attributes = a.attrs # that's the dictionary of attributes in question...

字典键以标签属性命名。 在这里，我们有以下键/属性名称：“标题”，“ href”和“ onclick”。
我们可以通过打印将它们自己检查出来。

print(a_tag_attributes.keys()) # equivalent to print(a.attrs.keys())

这将输出

dict_keys(['title', 'href', 'onclick']) # those are the attributes names (the keys to our dictionary)

从这里，我们需要获取我们感兴趣的数据。数据的关键是“ onclick”（它以我们要查找的数据所在的html属性命名）。

data = a_tag_attributes["onclick"] # equivalent to data = a.attrs["onclick"] 

data现在包含以下字符串。

"js:getProdID('https://www.XXXXXXX.co.il','{31F93B1D-449F-4AD7-BFB0-97A0A8E068F6}','379104')"

说明：正则表达式

既然我们已经隔离了包含所需数据的片段，那么我们将仅提取所需的部分。
我们将使用正则表达式来做到这一点 （ 如果您想了解更多有关Regex的知识，此站点是一个很好的资源 ）。

要在Python中使用正则表达式，我们必须导入Regex模块re 。 此处提供有关“ re”模块的更多信息，是好东西 。

import re

正则表达式让我们搜索与模式匹配的字符串。

这里的字符串是我们的数据，模式是".*'(\\d+)'.*" （这也是一个字符串，您可以通过使用双引号来告诉它）。

您可以将正则表达式视为类固醇上的通配符。 您可能熟悉通配符，例如*.txt ，可在文件管理器中查找所有文本文件。 正则表达式等效为^.*\\.txt$ 。

最好阅读有关正则表达式的内容，以进一步了解正则表达式的含义。 这是一个快速入门，好东西好东西 。

在这里，我们search一个字符串。 我们将字符串描述为无字符或无数个字符。 这些字符后跟一些数字（至少一个数字），并用单引号引起来。 然后，我们还有更多字符。

括号用于提取组（在正则表达式中称为捕获），我们仅捕获数字部分。

通过将正则表达式的一部分放在圆括号或括号内，可以将正则表达式的该部分组合在一起。 这样，您就可以将整个量词应用于整个组，或者将替代词限制为部分正则表达式。
仅括号可用于分组。 方括号定义字符类别，量词使用花括号有特定限制。 - 使用括号进行分组和捕获

r = re.search(".*'(\d+)'.*", data)

定义符号：

。*匹配任何字符（行终止符除外），*表示无字符或无穷大
“匹配字符”
\\ d +匹配至少一位数字（等于[0-9]）； 这就是我们捕获的部分
（\\ d +）捕获组； 这意味着捕获字符串中至少重复一位的部分
（）用于捕获，将保存括号内与模式匹配的部分。

稍后可以通过re.search的结果调用r.groups()来访问捕获的部分（如果有的话）。
这将返回一个包含所捕获内容的元组或None （ r表示re.search函数调用的结果）。

在我们的例子中，元组的第一个（也是唯一的）项目是数字...

captured_group = r.groups()[0] # that's the tuple containing our data (we captured...)

现在，我们可以访问位于元组的第一个索引的数据（我们仅捕获了一组）

 print(captured_group[0]) # this will print out '379104'