使用 selenium 下载“401 Unauthorized”视频

Question

我正在尝试创建一个机器人，它将使用 selenium 和 python3 从名为“Sdarot”的站点下载视频。

站点中的每个视频（或剧集）都有一个唯一的页面和 URL。 当您加载一个剧集时，您必须等待 30 秒才能“加载”该剧集，然后 <video> 标签才会出现在 HTML 源文件中。

问题是对视频的请求是以一种或另一种方式加密或保护的（我真的不明白它是如何工作的）！ 当我尝试简单地等待视频标签出现，然后使用 urllib 库下载视频（见下面的代码）时，我收到以下错误： urllib.error.HTTPError: HTTP Error 401: Unauthorized

我应该注意，当我尝试在 selenium 驱动程序中打开下载视频的链接时，它打开完全正常，我可以手动下载它。

如何自动下载视频？ 提前致谢！

代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

import urllib.request


def load(driver, url):

    driver.get(url)  # open the page in the browser

    try:
        # wait for the episode to "load"
        # if something is wrong and the episode doesn't load after 45 seconds,
        # the function will call itself again and try to load again.
        continue_btn = WebDriverWait(driver, 45).until(
            EC.element_to_be_clickable((By.ID, "proceed"))
        )
    except:
        load(url)


def save_video(driver, filename):

    video_element = driver.find_element_by_tag_name(
        "video")  # get the video element
    video_url = video_element.get_property('src')  # get the video url
    # trying to download the video
    urllib.request.urlretrieve(video_url, filename)
    # ERROR: "urllib.error.HTTPError: HTTP Error 401: Unauthorized"


def main():

    URL = r'https://www.sdarot.dev/watch/339-%D7%94%D7%A4%D7%99%D7%92-%D7%9E%D7%95%D7%AA-ha-pijamot/season/1/episode/23'

    DRIVER = webdriver.Chrome()
    load(DRIVER, URL)
    video_url = save_video(DRIVER, "video.mp4")


if __name__ == "__main__":
    main()

Answer 1

您收到未经授权的错误，因为他们使用 cookie 来存储与您的会话相关的一些信息。 特别是名为Sdarot cookie。 我已经使用requests库来下载和保存视频。

要点是，当您使用 selenium 打开 url 时，它工作正常，因为 selenium 使用相同的 http 客户端（浏览器），该客户端已经提供了 cookie 详细信息，但是当您使用 urllib 调用时，基本上是不同的 http 客户端，因此它是对服务器。 为了克服这个问题，您必须像浏览器一样提供足够的会话信息，在这种情况下由 cookie 维护。

检查我如何提取Sdarot cookie 的值并将其应用于requests.get方法。 您也可以使用urllib执行此操作。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import requests


def load(driver, url):

    driver.get(url)  # open the page in the browser

    try:
        # wait for the episode to "load"
        # if something is wrong and the episode doesn't load after 45 seconds,
        # the function will call itself again and try to load again.
        continue_btn = WebDriverWait(driver, 45).until(
            EC.element_to_be_clickable((By.ID, "proceed"))
        )
        continue_btn.click()
    except:
        load(driver,url) #corrected parameter error


def save_video(driver, filename):

    video_element = driver.find_element_by_tag_name(
        "video")  # get the video element
    video_url = video_element.get_property('src')  # get the video url

    cookies = driver.get_cookies()
    #iterate all the cookies and extract cookie value named Sdarot
    for entry in cookies:
        if(entry["name"] == 'Sdarot'):
            cookies = dict({entry["name"]:entry["value"]})
            #set request with proper cookies 
            r = requests.get(video_url, cookies=cookies,stream = True) 

            # start download 
            with open(filename, 'wb') as f: 
                for chunk in r.iter_content(chunk_size = 1024*1024): 
                    if chunk: 
                        f.write(chunk) 
                    
def main():

    URL = r'https://www.sdarot.dev/watch/339-%D7%94%D7%A4%D7%99%D7%92-%D7%9E%D7%95%D7%AA-ha-pijamot/season/1/episode/23'

    DRIVER = webdriver.Chrome()
    load(DRIVER, URL)
    video_url = save_video(DRIVER, "video.mp4")


if __name__ == "__main__":
    main()