如何驗證Amazon Kinesis Python客戶端是否正常工作

Question

我正在嘗試使用Python的KCL庫（ https://github.com/awslabs/amazon-kinesis-client-python ）構建Amazon Kinesis Python使用者。 我首先檢查了示例代碼。 我能夠運行示例代碼的生產者和消費者腳本部分，但是我無法驗證來自我的kinesis流（帶有一個分片）的數據是否被推送到示例Python使用者腳本sample_kclpy_app.py 。

我使用amazon_kclpy_helper.py生成Java命令，該命令將通過sample.properties文件調用Python腳本。 我運行了Java命令，我可以從終端輸出中看到正在讀取Kinesis流中的數據。 我在Python使用者腳本的process_record函數中添加了一個print語句，以檢查數據是否被推送到它。 但它沒有出現在終端輸出中。

我還嘗試使用logging生成STDOUT消息，以及寫入文件。 我還在Python代碼中添加了assert 0行來強制使腳本失敗並看到異常會出現在日志輸出中。 然后，我特意在Python代碼中添加了語法錯誤。 但是，似乎所有這些都沒有被Java MultiLangDaemon檢測到，它只是繼續生成INFO日志消息。

可能是什么問題呢？ 有沒有更好的方法來檢查數據是否確實被發送到Python使用者腳本的process_record函數？

Answer 1

經過多次試驗和錯誤，我發現分配給executableName的Python腳本應該從調用它的Java KCL進程中可見。

快速解決方法是將PATH環境變量設置為腳本目錄，並使腳本成為可執行文件（例如chmod +x ）

Answer 2

我遇到了同樣的問題，我的代碼似乎從未運行過。 直到我查看Node版本，才意識到sample.properties中的executableName是運行的命令，而不僅僅是python文件的名稱。 我將executableName = sample_kclpy_app.py更改為executableName = python sample_kclpy_app.py ，它開始按預期工作。