使用python从网站获取音频源链接

Question

我正在编写脚本以从网站获取音频源链接。 通过爬行主页，可获得可用链接的列表。 但是，当我搜寻生成的链接时，找不到源。 （它应该在<audio>标签的href内）。

这是我的代码：

# -*- coding: utf-8 -*-
import urllib.request
from bs4 import BeautifulSoup

def getHTML(st):
    with urllib.request.urlopen(site+'/',timeout=100) as response:
        return response.read() 

site = 'http://www.e-radio.gr'
soup = BeautifulSoup(getHTML(site), 'html.parser')
# Parse Main Page And get links
lst = list()

for a in soup.body.find_all('a', {'class' : 'erplayer'}):
    item = a.get('href')
    if site in item:
        lst.append(item)
    else:
        lst.append(site + item)

print("\n".join(lst))

网站似乎无法正确加载，也无法使用urllib.request加载音频源。 我还能用什么代替urllib.request，以便它等待整个页面加载。 我以为是使用某些外部Web浏览器生成html，但我不知道该怎么做

Answer 1

这有点棘手，但我们可以逐步解决-首先通过跟随iframe链接获取播放器的HTML。 然后，获取Flash Player链接并关注它。 然后，提取到mp3的链接并下载流。 所有这些都在同一个网络抓取会话下进行：

from urllib.parse import urljoin

import requests
from bs4 import BeautifulSoup


def download_file(session, link, path):
    r = session.get(link, stream=True)
    if r.status_code == 200:
        with open(path, 'wb') as f:
            for chunk in r:
                f.write(chunk)


base_url = "http://www.e-radio.gr"
url = "http://www.e-radio.gr/Rainbow-89-Thessaloniki-i92/live"

with requests.Session() as session:
    session.headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Safari/537.36'}
    response = session.get(url)

    soup = BeautifulSoup(response.content, "html.parser")
    frame = soup.find(id="playerControls1")
    frame_url = urljoin(base_url, frame["src"])

    response = session.get(frame_url)
    soup = BeautifulSoup(response.content, "html.parser")
    link = soup.select_one(".onerror a")['href']
    flash_url = urljoin(response.url, link)

    response = session.get(flash_url)
    soup = BeautifulSoup(response.content, "html.parser")
    mp3_link = soup.select_one("param[name=flashvars]")['value'].split("url=", 1)[-1]
    print(mp3_link)

    download_file(session, mp3_link, "download.mp3")