cost 289 ms
Scrapy和Gearman

[英]Scrapy and Gearman

我正在使用Scrapy 1.0.5和Gearman創建分布式蜘蛛。 這個想法是建立一個蜘蛛,從齒輪工工人腳本中調用它,並一次傳遞20個URL,以從齒輪工客戶爬網到工人,然后再到蜘蛛。 我能夠啟動工作程序,將URL從客戶端傳遞給它到爬蟲進行爬網。 確實會拾取並抓取第一個URL或URL數組 ...

Python gearman 基本示例錯誤

[英]Python gearman basic example error

我正在嘗試使用 Python gearman 模塊進行字符串反轉的基本示例我的本地主機已在端口 4730 上使用 IIS 設置但是我收到錯誤 客戶端.py 工人.py 關於為什么會發生這種情況以及如何解決相同問題的任何建議 ...

從本地齒輪工客戶呼叫遠程齒輪工工人?

[英]Calling remote gearman worker from local gearman client?

是否可以從本地系統呼叫遠程齒輪工? 我嘗試使用遠程Azure服務器IP進行呼叫: 本地系統上的客戶端: 遠程工作者: 當我讓worker在遠程服務器上運行並從本地客戶端調用時,出現了以下錯誤: ...

Python Gearman收到非二進制參數

[英]Python gearman Received non-binary argument

我在減速機上出錯。 嘗試任何類似的操作,僅發送字符串字母或數字或字符串編號,但始終會收到此錯誤,請幫忙...(在其他視圖中使用相同的代碼) ...

在框架之外加載Yii模型

[英]Loading Yii models outside of framework

如何在框架之外訪問Yii模型? 我有一些齒輪工來執行任務,並使用BrianMoons GearmanManager進行管理。 我希望能夠在工作者腳本中訪問幾個Yii模型,而不必加載整個Yii框架。 要在腳本中加載模型,我需要導入什么內容? (CActiverecord,DBconne ...

將數組傳遞給Python類

[英]Pass array into class in Python

我是php專家,我對python不太了解...所以..如果我的問題很愚蠢,請原諒。 我有2個使用Gearman的php腳本(client.php和worker.php),我需要將其轉換為python版本。 我已經能夠部分地做到這一點,但是我被困住了。 首先,這是我的兩個腳本: cli ...

無法捕獲來自Gearman Client實例化的異常

[英]Cannot trap exceptions from Gearman Client instantiation

連接到Gearman守護程序時,如果守護程序的URL或端口不正確,並且無法建立連接,則會引發異常: 我想捕獲異常並優雅地處理它,但是下面的代碼沒有做到這一點。 顯示異常和回溯,就好像我沒有嘗試捕獲異常一樣。 生成並嘗試捕獲異常的代碼是: 如何正確捕獲Gearman客戶端連 ...

運行基本的python-gearman示例時出錯

[英]Error running basic python-gearman example

我正在嘗試使用這里提供的python-gearman庫來運行一個齒輪手的基本示例。 我正在運行python 2.7.3 工人: 客戶: 我收到以下錯誤( 此處提供完整跟蹤) 任何幫助,將不勝感激! 謝謝。 ...

是PYTHON Gearman Worker接受多任務

[英]is PYTHON Gearman Worker accept multi-tasks

例如:我有一個名為“URLDownload”的任務,任務的功能是從互聯網上下載一個大文件。 現在我正在運行一個Worker Process,但是要下載大約1000個文件。 客戶端進程很容易創建1000個任務,並將它們發送到Gearman Server。 我的問題是工人流程將逐個完成任務 ...

如何延遲/推遲Gearman的工作?

[英]How to delay/postpone Gearman job?

我正在使用Gearman在不同服務器上同步數據。 我們有1個主服務器 ,例如10個本地服務器。 讓我描述一種可能的情況。 假設Gearman開始工作,並且完成了5個工作,這5台服務器上的數據已同步。 例如,開始執行下一個作業時,我們失去了與服務器的連接,並且當前不可用。 根據齒輪裝置的 ...

Python Gearman從后台任務中獲取數據

[英]Python Gearman get data from background task

我嘗試使用帶有背景任務的gearman並從worker獲取數據進度。 在文檔中,我看到方法:send_job_data和send_job_status,但后台第一種方法不起作用(我沒有在job.data_updates中看到數據),但是job.status中的狀態發生了變化。 我將此代碼 ...

如何通過uniq id獲取Gearman Jobs的狀態?

[英]How to get status of Gearman Jobs by their uniq id?

我需要通過這些uniq id獲取Gearman作業的狀態,而不是通過開放處理程序獲取,就像我看到的每個地方所描述的那樣 可能嗎? 在python-gearman v.2中使用... 謝謝你的幫助! ...

在作業處理期間更改python-gearman worker任務

[英]Altering python-gearman worker tasks during job processing

我試圖在其工作周期中更改python-gearman worker上可用的任務。 我這樣做的原因是允許我對工作進程進行一點控制,並允許它們從數據庫中重新加載。 我需要每個工作人員定期重新加載,但我不想簡單地終止進程,並且我希望該服務始終可用,這意味着我必須分批重新加載。 因此,我將有4名工 ...


 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM