需要加快我的feed解析和處理PHP

Question

我正在忙着處理從Twitter搜索API獲取提要的應用程序，然后需要從提取中的每個狀態提取所有URL，最后由於縮短了很多URL，我正在檢查響應標頭每個URL以獲取它所導致的真實URL。 對於100個條目的饋送，這個過程可能超過一分鍾！ （仍然在我的電腦上本地工作）我正在每次開始一次啟動Curl資源並保持打開直到我完成所有的URL擴展雖然這有點幫助我仍然擔心我會遇到麻煩生活

任何想法如何加快速度？

Answer 1

正如Asaph指出的那樣，問題在於您是在單線程進程中執行此操作，因此所有網絡延遲都是序列化的。

這一切都必須在http請求中發生，還是你可以在某個地方對URL進行排隊，並讓一些后台進程通過它們進行咀嚼？

如果你能做到后者，那就是你要走的路。

如果你必須做前者，你可以做同樣的事情。

無論哪種方式，您都希望看到並行處理請求的方式。 您可以編寫一個命令行PHP腳本，該腳本可以完成此任務，但您可能最好不要在支持線程的語言（例如ruby或python）中編寫這樣的野獸。

Answer 2

通過使應用程序成為多線程，您可以顯着提高性能。 PHP本身並不直接支持多線程，但您可以啟動多個PHP進程，每個進程都處理並發處理作業。