除非手動添加，否則某些頁面不會被Sphider索引

Question

我最近將Sphider安裝到我的網站上，這樣做很簡單，對頁面進行索引非常簡單，但是遇到了一個小問題。

我的網站上有很多頁面（負載很大），很多頁面沒有被索引。 我有一個頁面，該頁面需要一個.csv文件，並使用PHP中的foreach循環創建一個表，第一列是每個項目的超鏈接，其中包含該項目的專用頁面。 我的問題出現了，Sphider不索引這些單獨的頁面，而僅索引表頁面。 我處於正確的2和8位，因為我不知道為什么這些頁面沒有被索引。

我檢查了是否有，但沒有，甚至設置了Sphider來索引表中單個頁面的隨機索引，它出現在搜索中。 我會在所有頁面上執行此操作，但是每次獲得新項目時，我都會不斷添加新頁面，因此我會被淹沒在要添加到索引列表中的內容。

我的問題來了：是否有一些解決方案，我可以使用一個腳本將每個URL添加到Sphider的數據庫中，從而看起來似乎使它們出現了； 還是我是一個完整的div，並且在這里確實缺少一些明顯的東西，因為.csv PHP表出了問題，也許？

非常感謝您的幫助，因為我完全感到困惑。

謝謝，卡蒂

PS，包括tl的標准是什么？ 博士？ 那只適合Redditors嗎？ ：P

Answer 1

當我第一次開始使用Sphider Search時，我遇到了類似的問題，例如當我嘗試在我的網站上搜尋文件夾時。 www.mysite.com/myfolder包含900個不同的html頁面，它只會在數據庫1鏈接（即www.mysite.com/myfolder）中抓取/列出。

我想出了，如果該文件夾中包含“ index.html”或“ home.html”或“ index.php”文件，則該嗅探器將不會抓取整個目錄。

因此，我暫時刪除了index.html文件，成功地對所有900個html文件進行了蜘蛛抓取。 然后重新上傳我的index.html

如果不是index和home html文件的原因，則可能是您的Spidering Link深度設置不夠高。

最后，Sphider搜索尊重標記中的rel =“ nofollow”屬性，因此它也不會索引所說的鏈接。

希望這可以幫助。

Answer 2

如果您的頁面包含少於3個單詞，則默認情況下sphider無法編制索引。 你必須改變

/sphider/settings/conf.php

根據您的要求。

$min_words_per_page=0;