如何使用 python 获取 gzip 数据并写入 bigquery？

Question

您好，目前我正在尝试下载 gzip 文件，并正在使用 pandas_gbq 将文件写入 bigquery 数据。 但是，当 gzip 文件超过 30 mb 时会出现问题，它无法转换为 dataframe。 有没有办法解决这个问题？ 我当前的代码是这样的：

def getandwritebq():
  #gets a list of urls to download gzip files
  url = "https://api2.branch.io/v3/export"
        header = {'Content-Type': 'application/json'}
        dat = json.dumps({
        "branch_key": 'xxxxx',
        "branch_secret":"xxxxx", 
        "export_date":f"{dateYesterday}" 
        })
  resp = requests.post(url, headers=header, data=dat)
  print(f'{resp.status_code}')
  print('branch:getting list of web')

  listItems = ['eo_click','eo_commerce_event','eo_custom_event','eo_impression','eo_install','eo_open','eo_reinstall','eo_user_lifecycle_event']
  bqlist=['branch_eo_click','branch_eo_commerce_event','branch_eo_custom_event','branch_eo_impression','branch_eo_install','branch_eo_open','branch_eo_reinstall','branch_eo_user_lifecycle_event']
  for bq,i in zip(bqlist,listItems):
            #get the gzip file 
            tempurl=json.loads(resp.text)[i]
            print(tempurl[0])
            response = requests.get(tempurl[0])
            fp = BytesIO(response.content)
            
            #convert the gzip file into dataframe
            df = pd.read_csv(fp, compression='gzip', low_memory=False)
            
            #write dataframe into bigquery
            pandas_gbq.to_gbq(df, tableName.{bq}', project_id=projectId, if_exists='append')
            print(f'branch:{bq} push to bigquery')

#schedule
def run_threaded(job_func):
    job_thread = threading.Thread(target=job_func)
    job_thread.start()
schedule.every().day.at('06:00').do(run_threaded,lambda:getandwritebq()) 

所以首先我必须得到生成 url 列表的请求。 将每个 url 下载为 gzip，将其转换为 dataframe 并将 dataframe 推送到 bigquery 表中。 我认为由于gzip文件很大，从gzip转换为dataframe的过程变得很麻烦。

有没有办法将 gzip 文件直接加载到 bigquery 表中？