TFX Example_Gen Produce RuntimeError

Question

运行context.run(example_gen)时出现以下错误，我想了解它的含义以及如何避免出现错误。 请提前咨询和感谢！

错误： RuntimeError: Files in same split /home/jupyter/.../data/* have different header.

数据是 csv，标题为“A,B,C,D”

from  tfx.proto import example_gen_pb2

base_dir = '/home/jupyter/.../data/'
#Input has a single split 'input_dir/*
#Output 2 splits: train:eval=3:1.'
output = example_gen_pb2.Output(
            split_config=example_gen_pb2.SplitConfig(splits=[
                example_gen_pb2.SplitConfig.Split(name='train', hash_buckets=3),
                example_gen_pb2.SplitConfig.Split(name='eval', hash_buckets=1)
            ]))

examples = csv_input(os.path.join(base_dir))
example_gen = CsvExampleGen(input=examples, output_config=output)

Answer 1

我们有同样的错误。 在我们的例子中，该目录还包含隐藏文件。 更准确地说，是一个 jupyter notebook 检查点目录。

要解决此问题：确保该目录仅包含 .csv 文件。 没有其他（隐藏）文件。

github 上的此评论的学分。