有什么方法可以将数据从谷歌电子表格传递到 clickhouse？

Question

问题是我们的人每天都在谷歌电子表格中填写一些数据，我需要以一定的频率（例如每天一次）将这些表格发送到clickhouse

（它位于我们的 aws 服务器上）

Clickhouse 每次只从表中写入新数据还是从所有表中写入都没有关系

请告诉我一个工作方法怎么做

from the Toolkit are python ,can in theory work with sqlalchemy and airflow DAG but for the development of dag in airflow I have not yet found a guide how to write in python a script to transfer data from googlespreadsheet

第二个选项是使用谷歌电子表格的 owox 扩展 - 但是你需要使用谷歌 BigQuery，这将培育一个动物园，我还不想为 BQ 付费

您对如何使用脚本将表格从谷歌电子表格上传到 Clickhouse 有任何想法吗？

Answer 1

我发现了 Python 库pygsheets - 使用 api 访问电子表格比直接访问电子表格更容易

官方 pygsheets 坞站 - https://pygsheets.readthedocs.io/en/stable/

in addition I found more libraries: gspread and oauth2client which can also be used to work on Python with the api step by step guide https://towardsdatascience.com/accessing-google-spreadsheet-data-using-python-90a5bc214fd2 official documentation for gspread https://gspread.readthedocs.io/en/latest/

我可以在 airflow 做 dag 并管理 etl 进程