使用python从获取的HTML代码中提取特定信息

Question

我是python中的一个相对较新的人。 我需要一些关于生物信息学项目的建议。 这是关于将某些酶 ID 转换为其他酶 ID。

我已经做的和有效的，是从 Rhea 数据库中获取 ID 列表的 html 代码：

 53 url2 = "http://www.rhea-db.org/reaction?id=16952"
 54 f_xml2 = open("xml_tempfile2.txt", "w")
 55
 56 fetch2 = pycurl.Curl()
 57 fetch2.setopt(fetch2.URL, url2)
 58 fetch2.setopt(fetch.WRITEDATA, f_xml2)
 59 fetch2.perform()
 60 fetch2.close

所以 HTML 代码被保存到一个临时的 txt 文件中（我知道，这可能不是最优雅的做事方式，但它对我有用；）。

现在我感兴趣的是 HTML 中的以下部分：

        <p>
            <h3>Same participants, different directions</h3>
            <div>
                <a href="./reaction?id=16949"><span>RHEA:16949</span></a>
                <span class="icon-question">myo-inositol + NAD(+) &lt;?&gt; scyllo-inosose + H(+) + NADH</span>
            </div><div>
                <a href="./reaction?id=16950"><span>RHEA:16950</span></a>
                <span class="icon-arrow-right">myo-inositol + NAD(+) =&gt; scyllo-inosose + H(+) + NADH</span>
            </div><div>
                <a href="./reaction?id=16951"><span>RHEA:16951</span></a>
                <span class="icon-arrow-left-1">scyllo-inosose + H(+) + NADH =&gt; myo-inositol + NAD(+)</span>
            </div>
        </p>

我想通过代码直到达到类“icon-arrow-right”（这个表达式在 HTML 中是唯一的）。 然后我想从上面的行中提取“RHEA:XXXXXX”的信息。 所以在这个例子中，我想以 16950 结束。

有没有一种简单的方法可以做到这一点？ 我已经尝试过 HTMLparser，但无法让它以查找某个类的方式工作，然后从上面的行中给我 ID。

非常感谢您提前！

Answer 1

您可以使用像BeautifulSoup这样的 HTML 解析器来执行此操作：

>>> from bs4 import BeautifulSoup
>>> html = """ <p>
...             <h3>Same participants, different directions</h3>
...             <div>
...                 <a href="./reaction?id=16949"><span>RHEA:16949</span></a>
...                 <span class="icon-question">myo-inositol + NAD(+) &lt;?&gt; scyllo-inosose + H(+) + NADH</span>
...             </div><div>
...                 <a href="./reaction?id=16950"><span>RHEA:16950</span></a>
...                 <span class="icon-arrow-right">myo-inositol + NAD(+) =&gt; scyllo-inosose + H(+) + NADH</span>
...             </div><div>
...                 <a href="./reaction?id=16951"><span>RHEA:16951</span></a>
...                 <span class="icon-arrow-left-1">scyllo-inosose + H(+) + NADH =&gt; myo-inositol + NAD(+)</span>
...             </div>
...         </p>"""
>>> soup = BeautifulSoup(html, 'html.parser')
>>> soup.find('span', class_='icon-arrow-right').find_previous_sibling().get_text()
'RHEA:16950'