如何使用python在hadoop文件系統中創建json文件

Question

 os.system('echo "%s" | hadoop fs -put -f - /app/hdp/logs/json/a.json' %(json_string))

json_string=json.dumps({"a":"b"})

該文件是在 HDFS 中創建的，但 json 格式錯誤。 它存儲的格式是{a:b} ，沒有雙引號，這不是正確的 json 格式。

這種方法有什么問題？

Answer 1

嘗試使用以下方法：

import subprocess, json

json_string=json.dumps({"a":"b"})

proc = subprocess.Popen('echo "{0}" | hadoop fs -put -f - /app/hdp/logs/json/a.json'.format(json_string), shell=True)

字符串的格式應為"{"a":"b"}"

Answer 2

import subprocess, json
json_string=json.dumps({"a":"b"})
#json_string=json_string.replace('"','\"') try escaping quotes too
proc = subprocess.run('echo {0} | hadoop fs -put -f - /app/hdp/logs/json/a.json'.format(json_string), shell=True)

Answer 3

您將需要包含轉義字符

在 shell 終端中回顯 "{"a":"b"}"

輸出：{a:b}