將位置數據添加到 S3 上的 csv 文件

Question

給定文件中的 100,000 行經度/緯度，例如

longitude|latitude
-81.41071|45.63808

想查找國家，state，縣使用地理編碼 API

這並不難，發布到 https://getthegeos/45.63808,-81.41071.json

並解析返回的.json 拉回國家等。

我想知道的是構建這個的好方法。

最簡單的當然是在 EC2 上運行它（甚至可能在反向地理編碼器實例的 AMI 上）

或者使用膠水作業，或者帶有 SQS 隊列的東西。

感謝您的任何建議！

Answer 1

看起來很明顯，您想為此使用 shapefile。 我喜歡使用其他 StackExchange 站點，他們專注於該主題（例如機器學習、數據科學或在本例中為 GIS）。

在這種情況下，地理信息系統站點有一個類似的問題，它本身引用了GitHub 存儲庫

另一方面，如果您正在尋找更多端到端的建議，您最好在軟件工程網站上詢問。

Answer 2

建議使用步進函數，然后調用 Glue Python Shell 作業。