Kernel 死于奇怪的行为

Question

我有一个简单的 function 表现出奇怪的行为。 我已经搜索了解释，但找不到任何解释。

def myfunc(frame):
  lol = []
  for i in range(frame.shape[0]):
    if frame.iloc[i,3] == 3:
      lol.append(frame.iloc[i,7])
  return np.asarray(lol,dtype=np.int32)

print('before')

x = myfunc(x)

print('after')

上面代码的结果是

前
Kernel 死了

def myfunc(frame):
  lol = []
  for i in range(frame.shape[0]):
    if frame.iloc[i,3] == 3:
      lol.append(frame.iloc[i,7])
  print('myfunc')
  return np.asarray(lol,dtype=np.int32)

print('before')

x = myfunc(x)

print('after')

但是，只需添加一个打印语句即可

前
我的函数
后
Kernel 死了

打印语句是唯一的区别，我已经测试了这个，也许，50 次。 忽略我的其他问题（内核死了），我不知道为什么会这样。 我将不胜感激。

Answer 1

我试图用示例数据重现错误，它对我来说效果很好。
您可以在 colab 环境中对您的数据进行相同的尝试并检查，如果没有出现错误，则问题可能是以下问题之一。

1. 您的数据很大，它不适合 memory，您可以尝试在加载 csv 文件时指定engine='python' df = pd.read_csv('input.csv', engine='python') 。
   您也可以将 dataframe 拆分为多个数据帧并稍后合并。
2. 您可以使用 Tensorflow 的tf.data加载 CSV 文件并构建对大文件更有效的输入管道。

下面是带有示例数据的工作代码。

import tensorflow as tf
import pandas as pd
import numpy as np

df = pd.read_csv("/content/sample_data/mnist_train_small.csv") 
def myfunc(frame):
  lol = []
  for i in range(frame.shape[0]):
    if frame.iloc[i,3] == 3:
      lol.append(frame.iloc[i,7])
  return np.asarray(lol,dtype=np.int32)

print('before')

x = myfunc(df)

print('after')

结果：

before
after