[英]Memory leak happened in Python Google App Engine project. Any efficient way to write my operation?
[英]Memory leak in my Google App Engine code
我有以下代码试图循环一个大表(~100k行; ~30GB)
def updateEmailsInLoop(cursor=None, stats={}):
BATCH_SIZE=10
try:
rawEmails, next_cursor, more = RawEmailModel.query().fetch_page(BATCH_SIZE, start_cursor=cursor)
for index, rawEmail in enumerate(rawEmails):
stats = process_stats(rawEmail, stats)
i = 0
while more and next_cursor:
rawEmails, next_cursor, more = RawEmailModel.query().fetch_page(BATCH_SIZE, start_cursor=next_cursor)
for index, rawEmail in enumerate(rawEmails):
stats = process_stats(rawEmail, stats)
i = (i + 1) %100
if i == 99:
logging.info("foobar: Finished 100 more %s", str(stats))
write_stats(stats)
except DeadlineExceededError:
logging.info("foobar: Deadline exceeded")
for index, rawEmail in enumerate(rawEmails[index:], start=index):
stats = process_stats(rawEmail, stats)
if more and next_cursor:
deferred.defer(updateEmailsInLoop, cursor = next_cursor, stats=stats, _queue="adminStats")
但是,我不断收到以下错误:
在处理此请求时,发现处理此请求的进程使用了太多内存并被终止。 这可能会导致新进程用于您的应用程序的下一个请求。 如果经常看到此消息,则可能是应用程序中存在内存泄漏。
...有时....
在为9个请求提供服务后,超过128 MB的软私有内存限制(154 MB)
我已经改变了我的代码所以我总是只在任何给定的时间内输入10个条目,所以我不知道为什么我仍然没有内存不足?
有三种方法可以完成这种工作(在数据存储区中对大量行进行迭代):
对于我需要的大多数应用程序,x通常在100-500之间。 这是我用于迭代超过1.5m-2m行的代码,以生成一些报告或更新我的数据库中的内容。 对于报告,我保存包含csv格式所需信息的实体,最后,我读取所有实体,合并它们并删除它们。 (这样做是为了生成1.5m行的excel数据)(它是java,但应该很容易翻译成python):
resp.getWriter().println("<html><head>");
resp.getWriter().println(
"<script type='text/javascript'>function f(){window.location.href='/do/convert/" + this.getClass().getSimpleName() + "?cursor=" + cursorString + "&count="
+ count + "';}</script>");
resp.getWriter().println("</head><body onload='f()'>");
resp.getWriter().println(
"<a href='/do/convert/" + this.getClass().getSimpleName() + "?cursor=" + cursorString + "&count=" + count + "'>Next page -->" + cursorString + " </a>");
resp.getWriter().println("</body></html>");
如果您的“进度”很大且很混乱,请将其保存在实体中(一个或多个,取决于您正在做的事情)如果您正在执行任务版本,我建议您使用任务名称或使您的任务具有幂等性(特别是如果你的计数东西)。 如果你的计数东西,我建议保存包含你正在计数的实体的密钥的实体,并在最后计算这些。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.