如何在 python BeautifulSoup 或任何其他模塊中獲取 javascript 輸出

Question

在我嘗試制作刮板時，我發現一個網站在其代碼中大量使用 javascript，是否可以檢索腳本的輸出，例如

<html>
<head>
<title>Python</title>
</head>
<body>
<script type="text/javascript" src='test.js'></script>
<p> some stuff <br>
more stuff <br>
code <br>
video <br>
picture <br>
movie <br>
. <br>
. <br>
. <br>
</p>
<span>Your Number is:  </span>
<script type="text/javascript">document.write(math(5, 10, 15));</script>
</body>
</html>

其中“test.js”有：

function math (a, b, c) {return a * b * c * c * a * b * c + a + b +c - a;}

當我使用 BeautifulSoup 時，它會顯示代碼本身，即：

<script type="text/javascript">document.write(math(5, 10, 15));</script>

但是我需要得到“您的號碼是：8437480”，我可以通過使用soup.span.get_text() 獲取跨度之間的文本，但是我無法獲取腳本的編號。

Answer 1

Beautifulsoup 就是不能執行 javascript 代碼。 我建議你將PhantomJS 之類的東西集成到你的scraper 中。 如果你可以將蟒蛇，你PhantomJS刷屏

如何在 python BeautifulSoup 或任何其他模塊中獲取 javascript 輸出

問題描述

1 個解決方案

解決方案1
1 已采納 2015-06-18 13:56:51

如何在 python BeautifulSoup 或任何其他模塊中獲取 javascript 輸出

問題描述

1 個解決方案

解決方案1 1 已采納 2015-06-18 13:56:51

解決方案1
1 已采納 2015-06-18 13:56:51