有什么方法可以將數據從谷歌電子表格傳遞到 clickhouse？

Question

問題是我們的人每天都在谷歌電子表格中填寫一些數據，我需要以一定的頻率（例如每天一次）將這些表格發送到clickhouse

（它位於我們的 aws 服務器上）

Clickhouse 每次只從表中寫入新數據還是從所有表中寫入都沒有關系

請告訴我一個工作方法怎么做

from the Toolkit are python ,can in theory work with sqlalchemy and airflow DAG but for the development of dag in airflow I have not yet found a guide how to write in python a script to transfer data from googlespreadsheet

第二個選項是使用谷歌電子表格的 owox 擴展 - 但是你需要使用谷歌 BigQuery，這將培育一個動物園，我還不想為 BQ 付費

您對如何使用腳本將表格從谷歌電子表格上傳到 Clickhouse 有任何想法嗎？

Answer 1

我發現了 Python 庫pygsheets - 使用 api 訪問電子表格比直接訪問電子表格更容易

官方 pygsheets 塢站 - https://pygsheets.readthedocs.io/en/stable/

in addition I found more libraries: gspread and oauth2client which can also be used to work on Python with the api step by step guide https://towardsdatascience.com/accessing-google-spreadsheet-data-using-python-90a5bc214fd2 official documentation for gspread https://gspread.readthedocs.io/en/latest/

我可以在 airflow 做 dag 並管理 etl 進程