在Google ML Engine中训练类初始块变得无响应

Question

我正在尝试使用类似于Inception的块的链块训练模型。 这个模型在我的CPU上训练得很好（尽管有点慢）。 尝试在ml-engine上训练相同模​​型时，该作业会继续运行，日志中不会出现任何错误，但是训练不会继续进行。

我的模特

def model_fn(features, labels, mode):
  x = tf.reshape(features, [-1, 199, 199, 1])

  # mini inception block num 1
  conv = tf.layers.conv2d(x, filters=16, kernel_size=1, padding='same', activation=tf.nn.relu)
  mp = tf.layers.max_pooling2d(x, pool_size=3, strides=1, padding='same')
  mp = tf.layers.conv2d(mp, filters=16, kernel_size=1, padding='same', activation=tf.nn.relu)
  concat = tf.concat([conv, mp], axis=3)

  # mini inception block num 2
  conv = tf.layers.conv2d(concat, filters=32, kernel_size=1, padding='same', activation=tf.nn.relu)
  mp = tf.layers.max_pooling2d(concat, pool_size=3, strides=1, padding='same')
  mp = tf.layers.conv2d(mp, filters=32, kernel_size=1, padding='same', activation=tf.nn.relu)
  concat = tf.concat([conv, mp], axis=3)

  # ...

我的教练任务

estimator = tf.estimator.Estimator(model_dir=model_dir, model_fn=model_fn)
train_spec = tf.estimator.TrainSpec(input_fn=train_input_fn)
eval_spec = tf.estimator.EvalSpec(input_fn=eval_input_fn)

tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)

我的ml-engine配置

trainingInput:
 scaleTier: CUSTOM
 masterType: standard_p100
 workerType: complex_model_m_gpu
 parameterServerType: large_model
 workerCount: 1
 parameterServerCount: 1

（我已经试验了workerCount高达4， parameterServerCount高达2）

这是特定作业的日志底部：

题

为什么训练会卡住？

---

附带说明一下，似乎Tensorflow发出的某些日志语句应该错误地标记为错误，而这可能应该是信息。 例：

错误：我tensorflow / core / distributed_runtime / rpc / grpc_channel.cc：215]为作业主控器初始化GrpcChannelCache-> {0-> localhost：2222}

---

编辑

经过更多测试和试验后，如果我将简单的tf.reshape()应用于从块1输出的tf.concat() ，然后再将其用作块2的输入，则ml-engine作业似乎不会卡住。实际形状保持不变，但是工作继续进行。