scraperwiki：為什么我的刮板只能使用1個網址，而不能使用其他網址？

Question

這是我的第一個刮板https://scraperwiki.com/scrapers/my_first_scraper_1/

我設法抓取google.com，但未抓取此頁面。

http://subeta.net/pet_extra.php?act=read&petid=1014561

有什么原因嗎？

我從這里開始關注文檔。

https://scraperwiki.com/docs/php/php_intro_tutorial/

而且沒有理由為什么該代碼不起作用。

Answer 1

看起來您正在指定查找特定元素。 元素會根據您要抓取的站點而變化。 因此，如果找不到所需的元素，您將無法獲得回報。 另外，我也會考慮使用curl創建自己的抓取/剪切工具。 您不僅會學到很多東西，而且會發現很多有關如何抓取網站的信息。

另外，您可能不想考慮遵守要從中進行抓取的網站上的robots.txt文件，或者在進行抓取之前先征得許可，因為這被認為是不禮貌的。