在PySpark上運行NuPIC模型時出現ImportError

Question

我正在嘗試在PySpark上運行NuPIC，但遇到了ImportError。 有人對我如何解決有任何想法嗎？

當我不使用PySpark時，代碼運行良好，但是現在我試圖從Spark Dataset運行它。

我試圖使用目錄中的源代碼運行它，因為通過安裝Nupic軟件包運行它會導致其他一些錯誤。

謝謝您的幫助！！

我正在嘗試運行此功能

input_data.rdd.foreach(lambda row: iterateRDD(row, model))
def iterateRDD(record, model):
    modelInput = record.asDict(False)
    modelInput["value"] = float(modelInput["value"])
    modelInput["timestamp"] = datetime.datetime.strptime(modelInput["timestamp"], "%Y-%m-%d %H:%M:%S")
    print"modelInput", modelInput
    result = model.run(modelInput)
    anomalyScore = result.inferences['anomalyScore']
    print "Anomaly score is", anomalyScore

但是，我收到此錯誤並且不理解。

文件“ C：/Users/rakshit.trn/Documents/Nupic/nupic-master/examples/anomaly.py”，行100，位於runAnomaly input_data.rdd.foreach（lambda行：iterateRDD（行，模型））文件“ C ：\\ Python \\ Python27 \\ lib \\ site-packages \\ pyspark \\ rdd.py“，行789，在foreach self.mapPartitions（processPartition）.count（）＃強制評估文件” C：\\ Python \\ Python27 \\ lib \\ site- package \\ pyspark \\ rdd.py”，第1055行，計數返回self.mapPartitions（lambda i：[sum（i中的_的1）]）。sum（）文件“ C：\\ Python \\ Python27 \\ lib \\ site-包\\ pyspark \\ rdd.py”，行1046，總和返回self.mapPartitions（lambda x：[sum（x）]）。fold（0，operator.add）文件“ C：\\ Python \\ Python27 \\ lib \\ site -packages \\ pyspark \\ rdd.py”，第917行，折疊vals = self.mapPartitions（func）.collect（）文件“ C：\\ Python \\ Python27 \\ lib \\ site-packages \\ pyspark \\ rdd.py”，第816，在collect sock_info = self.ctx._jvm.PythonRDD.collectAndServe（self._jrdd.rdd（））文件“ C：\\ Python \\ Python27 \\ lib \\ site-packages \\ py4j \\ java_gateway.py”中，行1257，在呼叫答案，self.gateway_client，self.target_id，自我 .name）文件“ C：\\ Python \\ Python27 \\ lib \\ site-packages \\ pyspark \\ sql \\ utils.py”，第63行，以deco返回f（* a，** kw）文件“ C：\\ Python \\ Python27 \\ lib \\ site-packages \\ py4j \\ protocol.py“，第328行，以get_return_value格式（target_id，“。”，名稱），值）py4j.protocol.Py4JJavaError：調用z：org.apache.spark時發生錯誤.api.python.PythonRDD.collectAndServe。 ：org.apache.spark.SparkException：作業由於階段失敗而中止：階段2.0中的任務0失敗1次，最近一次失敗：階段2.0中的任務0.0（TID 2，本地主機，執行程序驅動程序）丟失：org.apache.spark .api.python.PythonException：追溯（最近一次通話）：文件“ D：\\ spark-2.4.3-bin-hadoop2.7 \\ python \\ lib \\ pyspark.zip \\ pyspark \\ worker.py”，第364行，在主文件“ D：\\ spark-2.4.3-bin-hadoop2.7 \\ python \\ lib \\ pyspark.zip \\ pyspark \\ worker.py”的第69行中，在read_command文件“ D：\\ spark-2.4.3- bin-hadoop2.7 \\ python \\ lib \\ pyspark.zip \\ pyspark \\ serializers.py”，第172行，在_read_with_length中返回self.loads（obj）文件“ D：\\ spark-2.4.3-bin-hadoop2.7 \\ python \\ lib \\ pyspark.zip \\ pyspark \\ serializers.py“，第583行，在加載中返回pickle.loads（obj）ImportError：沒有名為frameworks.opf.htm_prediction_model的模塊

我猜NuPIC無法訪問frameworks / opf / htm_prediction_model.py文件

Answer 1

您可能正在運行舊版本的NuPIC。 請參閱https://discourse.numenta.org/t/warning-0-7-0-breaking-changes/2200，並檢查您使用的是哪個版本（ https://discourse.numenta.org/t/how-to-檢查安裝了什么版本的數字1045 ）