[英]Alternatives to Python Popen.communicate() memory limitations?
[英]Python's threads stuck in Popen.communicate
我有一个使用线程的Python应用程序,如下所示:
互斥量,关键部分,队列管理-我的线程池库已经在几个较小的项目中进行了测试,因此没有理由认为那里有什么……
当我有成千上万个任务时,一切工作正常,但是当我有更多任务(在这种情况下,超过8500个)时,某些线程将挂起。 gdb显示它们被卡在_execute子级(第1131行)中python的subprocess.py中->意味着在调用os.fork()之后。
gdb:
(gdb) pystack
/opt/python/current/lib/python2.7/subprocess.py (1131): _execute_child
/opt/python/current/lib/python2.7/subprocess.py (681): __init__
/home/olibsup/tools/chelo/checks/checkUtils/osutils/cmdutils.py (115): shcmd
/home/olibsup/tools/chelo/checks/liblist/libWorkers.py (204): workerFunction
/home/olibsup/tools/chelo/checks/checkUtils/pools/thpool.py (160): run
/opt/python/current/lib/python2.7/threading.py (160): __bootstrap_inner
/opt/python/current/lib/python2.7/threading.py (553): __bootstrap
我的ulimit显示:
core file size (blocks, -c) unlimited
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
pending signals (-i) 139264
max locked memory (kbytes, -l) 32
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 139264
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
'top'也没有显示任何可疑的东西(至少对我来说不是):
Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 16438200k total, 15705272k used, 732928k free, 751640k buffers
Swap: 3148700k total, 44k used, 3148656k free, 11692300k cached
你有什么主意为什么线程挂在那里?
并非所有线程都挂起,某些线程(10个中的5个)已正确完成(当没有更多任务可用时)。
谢谢您的帮助,
兹比格涅夫
在行一千一百三十二分之一千一百三十一subprocess.py,文件描述符通过复制os.dup
。
因此,我怀疑您的操作系统正在限制子进程的数量和/或应用程序可用的文件描述符的数量。 但是,我不明白为什么os.dup在这种情况下不会引发/抛出异常。
尝试找出操作系统的限制并保持在该限制之下。 对于基于UNIX的系统,您可能可以使用Python的资源模块(尽管我自己从未使用过): http : //docs.python.org/library/resource.html
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.