[英]Issue in using snappy with avro in python
我正在阅读 .gz 文件并转换为 AVRO 格式。 当我使用codec='deflate'
。 它工作正常。 即,我能够转换为 avro 格式。 当我使用codec='snappy'
它会抛出如下错误:
raise DataFileException("Unknown codec: %r" % codec)
avro.datafile.DataFileException: Unknown codec: 'snappy'
带放气 --> 工作正常
writer = DataFileWriter(open(avro_file, "wb"), DatumWriter(), schema, codec='deflate')
使用 snappy --> 抛出错误
writer = DataFileWriter(open(avro_file, "wb"), DatumWriter(), schema, codec = "snappy")
快速反应将是一个很大的帮助。
谢谢。
. .
来自 avro/datafile.py
try:
import snappy
has_snappy = True
except ImportError:
has_snappy = False
...
# Codecs supported by container files:
VALID_CODECS = frozenset(['null', 'deflate'])
if has_snappy:
VALID_CODECS = frozenset.union(VALID_CODECS, ['snappy'])
所以你必须安装 python-snappy lib
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.