在無限循環中停止python腳本

Question

我正在研究一個不斷抓取數據的Python腳本，但這需要相當長的時間。 有沒有一種安全的方法來阻止長時間運行的python腳本？ 循環將運行超過10分鍾，我需要一種方法來阻止它，如果我想要，它已經運行。

如果我從一個cron作業執行它，那么我假設它只是運行直到它完成，所以我該如何阻止它？

此外，如果我從瀏覽器運行它，只需調用該文件。 我假設停止加載頁面會停止它，對嗎？

---

這是場景：
我有一個python腳本，它從頁面收集信息並將其放入隊列。 然后我想要另一個處於無限循環中的python腳本，它只檢查隊列中的新項目。 讓我們說我希望無限循環從早上8點開始到晚上8點結束。 我該如何做到這一點？

Answer 1

讓我給你一個替代方案。 看起來您想要某種信息的實時更新。 您可以使用pub / sub接口（發布/訂閱）。 由於您使用的是python，因此有很多可能性。

其中一個是使用Redis pub / sub功能： http ： //redis.io/topics/pubsub/ - 這里是相應的python模塊： redis-py

- 更新 -

例

以下是dirkk0 （ 問題 / 答案 ）的示例：

import sys
import threading

import cmd


def monitor():
    r = redis.Redis(YOURHOST, YOURPORT, YOURPASSWORD, db=0)

    channel = sys.argv[1]
    p = r.pubsub()

    p.subscribe(channel)

    print 'monitoring channel', channel
    for m in p.listen():
        print m['data']


class my_cmd(cmd.Cmd):
    """Simple command processor example."""

    def do_start(self, line):
        my_thread.start()

    def do_EOF(self, line):
        return True

if __name__ == '__main__':
    if len(sys.argv) == 1:
        print "missing argument! please provide the channel name."
    else:
        my_thread = threading.Thread(target=monitor)
        my_thread.setDaemon(True)

        my_cmd().cmdloop()

- 更新2 -

另外，看看這個教程：

http://blog.abourget.net/2011/3/31/new-and-hot-part-6-redis-publish-and-subscribe/

Answer 2

我想解決這個問題的一種方法是為一個循環運行一個腳本，它將：

1. 檢查腳本的其他實例是否正在運行
2. 查看隊列並處理那里發現的所有內容

現在，您可以在上午8點到晚上8點之間每分鍾從cron運行此腳本。唯一的缺點是新項目可能需要一段時間才能得到處理。

Answer 3

我認為持有瀏覽器頁面不一定會停止python腳本，我建議你使用FORK在父進程的控制下啟動你的腳本：

• 示例：

導入os，時間，信號

def child():
   print 'A new child ',  os.getpid( )
   time.sleep(5)
   os._exit(0)  

def parent():
   while True:
      newpid = os.fork()
      if newpid == 0:
         child()
      else:
         pids = (os.getpid(), newpid)
         print "parent: %d, child: %d" % pids
         print "start counting time for child process...!"
         time1 = time.clock()
         while True:
                  #time.sleep(1)
                  time2 = time.clock()
                  # Check if the execution time for child process exceeds 10 minutes... 
                  if time2-time1 >= 2 :
                           os.kill(int(newpid), signal.SIGKILL)
                           break

      if raw_input( ) == 'q': break

parent()