導入 BigQueryExecuteQueryOperator 時出現不兼容的架構錯誤

Question

我正在嘗試在安裝在 M1 macbook 上的本地 Airflow 上導入BigQueryExecuteQueryOperator 。

from airflow.providers.google.cloud.operators.bigquery import BigQueryExecuteQueryOperator

導入返回此錯誤：

                               | "/Library/Frameworks/Python.framework/V
                               | ersions/3.10/lib/python3.10/site-packag
                               | es/pandas/util/_decorators.py", line   
                               | 14, in <module>                        
                               |     from pandas._libs.properties import
                               | cache_readonly  # noqa:F401            
                               |   File                                 
                               | "/Library/Frameworks/Python.framework/V
                               | ersions/3.10/lib/python3.10/site-packag
                               | es/pandas/_libs/__init__.py", line 13, 
                               | in <module>                            
                               |     from pandas._libs.interval import  
                               | Interval                               
                               | ImportError:                           
                               | dlopen(/Library/Frameworks/Python.frame
                               | work/Versions/3.10/lib/python3.10/site-
                               | packages/pandas/_libs/interval.cpython-
                               | 310-darwin.so, 0x0002): tried:         
                               | '/Library/Frameworks/Python.framework/V
                               | ersions/3.10/lib/python3.10/site-packag
                               | es/pandas/_libs/interval.cpython-310-da
                               | rwin.so' (mach-o file, but is an       
                               | incompatible architecture (have        
                               | (x86_64), need (arm64e)))

我做了一些谷歌搜索並使用 pip 更新了我的google-cloud-bigquery和grpcio ，但錯誤仍然pip在。

任何幫助將不勝感激。 謝謝！

Answer 1

問題不在於 Airflow 或 GCP 提供程序，而在於 pandas 和 nunpy，您應該安裝與 ARM64 架構兼容的版本（例如蘋果 M1），這是我用來解決類似問題的代碼示例一年前：

pip3 install Cython
pip3 install --no-binary :all: --no-use-pep517 numpy
pip3 install pandas
pip3 install ib_insync

Answer 2

我在 M1 Macbook 上工作。

對我來說，在我的本地虛擬環境中，我只需要添加Apache Airflow GCP package：

requirements.txt 文件

apache-airflow[gcp]==2.3.4

在 shell 端子中：

pip install -r requirements.txt

為了在我的機器中正確管理Python版本，我使用PyEnv ： https://github.com/pyenv/pyenv

您還可以查看以下鏈接，這些鏈接可以幫助您了解有關環境的詳細信息：

https://github.com/pyenv/pyenv/wiki#suggested-build-environment https://github.com/pyenv/pyenv/wiki/Common-build-problems