VirtualBox内存异常 - 使用TensorFlow和Docker的std :: bad_alloc

Question

我有一个Python应用程序，我正在使用TensorFlow，我在Docker容器中运行它。 在本地运行时，我发现内存使用率远低于4GB的Ram，但是有一些大型文件正在编写和处理。 当TensorFlow到达创建其第一个检查点文件的点时，我得到以下异常：

terminate called after throwing an instance of 'std::bad_alloc'
  what():  std::bad_alloc

我的模型很复杂所以这个文件可能超过1GB，但我的数据也是图像，所以我已经下载了大约30GB的数据，只是为了开始运行模型所以我不知道这是不是偶然发生在这里或者如果这个文件实际上太大了。 我只是将一小批图像加载到内存中以进行每个时期的模型训练，所以我试图保持较低的RAM使用率。 我的VirtualBox配置如下所示：

错误似乎是使用C ++，所以我假设它来自内部的TensorFlow代码。 有没有人见过这样的东西或知道我能改变什么？ 我觉得有足够的RAM分配，但我的磁盘访问可能没有正确配置？

Answer 1

最有可能没有足够的RAM。 4GB对于运行TensorFlow（特别是在带有默认安装的python中）非常小以进行训练。 您的模型大小可能低于1GB，但在训练期间 - 当写出检查点时 - TensorFlow将临时分配更多内存用于缓冲，这可能是您收到OOM错误的地方。 如果你正常运行4GB，直到检查点，8GB应该没问题。