使用 modin panda 讀取 sas7bdat 大文件：FactoryDispatcher.read_sas() 需要 1 個位置參數，但給出了 2 個
[英]Reading sas7bdat large file using modin panda: FactoryDispatcher.read_sas() takes 1 positional argument but 2 were given
我想在 jupyter notebook 中讀取一個大文件。 （由於 memory 的限制，無法使用 pandas 讀取）。 數據文件需要超過 35 GB memory 但我的空間只有 20 GB。 因此，我嘗試改用 modin panda 但出現錯誤。 FactoryDispatcher.re ...
類型錯誤：'LocalFileOpener' object 不可迭代
[英]TypeError: 'LocalFileOpener' object is not iterable
我有一個包含數百萬條目的巨大數據集（這是一個普通的.csv 文件，當我用熊貓加載它時沒有錯誤）。 Pandas 在嘗試加載數據集 (.csv) 時遇到困難，所以我決定使用 modin，這顯然允許您使用只有一行差異的多個進程。 當我運行時： 我收到以下錯誤： 這是完整的代碼： 根據我的研究，這顯然與 ...
Modin pandas / modin.db_conn 數據庫連接錯誤（不支持的數據庫庫）
[英]Modin pandas / modin.db_conn database connection error (Unsupported database library)
使用 pandas 時，我可以連接到 現在，我正在嘗試用modin.pandas替換pandas並使用數據庫。 但無論我嘗試什么，我總是得到一個不受支持的數據庫的錯誤： 錯誤： 官方文檔對這個錯誤幫助不大： https://modin.readthedocs.io/en/0.12.0/using_ ...
導入 modin.pandas 導致錯誤：AttributeError：類型 object 'pyarrow.lib.Message' 沒有屬性 '__reduce_cython__'
[英]import modin.pandas causes ERROR: AttributeError: type object 'pyarrow.lib.Message' has no attribute '__reduce_cython__'
問題我已經安裝了conda install -c conda-forge modin 當我導入import modin.pandas as pd 我收到一條錯誤消息嘗試過的解決方案類似於但不同的框架，不同的用例和略有不同的錯誤消息 - 使用 Pyinstaller exe 時出現“沒有屬性 're ...
頂級進口取代低級進口？
[英]Top level imports supersede lower level imports?
在一個 jupyter 筆記本中，我有 utils.py有import pandas as pd utils.py中的pd是否導入pandas或modin.pandas ？ 如果是前者，我有沒有辦法讓utils.py使用modin.pandas筆記本中的 modin.pandas，而無需在 ...
Modin - ModuleNotFoundError：沒有名為“ray”的模塊
[英]Modin - ModuleNotFoundError: No module named 'ray'
我正在嘗試在 Databricks 上使用 Modin 並收到此錯誤 我已經嘗試過pip install modin[all]和pip install modin[ray] 首先，安裝需要 15 分鍾，這很奇怪。 安裝后，我在做 收到此錯誤 ModuleNotFoundError：沒有 ...
是否可以在同一代碼中更改 Python 中的類似庫（數據分析）？
[英]Is it possibe to change similar libraries (Data Analysis) in Python within the same code?
我使用modin庫進行多處理。 雖然該庫非常適合更快的處理，但它在merge時失敗，我想在代碼之間恢復為默認的 pandas。 我理解根據 PEP 8：E402 約定，導入應該在代碼頂部聲明一次，但是我的情況需要另外聲明。 然后我想在相同的代碼中恢復到默認的 pandas 但是我將如何在pan ...
與 Pandas 默認值相比，使用 modin 提供不同的結果
[英]Using modin provides different results compared to Pandas default
當我在modin中使用 pandas 和使用pandas default 時，我得到不同的結果 當我在默認pandas中運行以下代碼時，輸出是所需的： 但是當我用modin運行它時，我得到一個不同且不正確的輸出 問題是我必須將函數作為大型工作流程的一部分運行，並且當我在開始時導入 m ...
在 pandas 中使用 Levenshtein 比較字符串時提高 Python 代碼性能
[英]Improving Python code performance when comparing strings using Levenshtein in pandas
我有這段代碼可以正常運行並產生我正在尋找的結果： 但是，由於字符串比較是一項非常昂貴的操作，因此該腳本非常慢，並且僅適用於具有 5000-7000 行的相對較小的 CSV 文件。 任何大的（超過 12MB）都需要幾天才能拋出與內存相關的錯誤消息。 我嘗試在具有 32 GB 內存的 32 個內核上 ...
Modin with ray for pandas 在命令提示符下工作但不在空閑狀態下，沒有錯誤代碼
[英]Modin with ray for pandas working in command prompt but not on Idle, no error code
我嘗試使用 modin 而不是 pandas 來“通過更改一行代碼進行並行化”我正在使用 IDLE 並且當我運行此代碼時： 一些命令提示符窗口打開和關閉（它們的路徑指的是射線），然后是行：=============================== = RESTART: Shell ===== ...
Apple M1 芯片上的 Modin[dask]
[英]Modin[dask] on Apple M1 chip
我已經在我的 Apple M1 芯片 MacBook Pro 上成功安裝了帶有 conda 的 modin[dask]，但是當我運行代碼時，出現以下錯誤： AttributeError: 'NoneType' object 沒有屬性 'ncores'。 以下是 pip 列表（Python 3.1 ...
如何確定 modin dataframe 是否適合 RAM？
[英]How to figure out if a modin dataframe is going to fit in RAM?
我正在學習如何處理大型數據集，所以我正在使用 modin.pandas。 我正在做一些聚合，之后 50GB 數據集的大小有望變得接近 5GB - 現在我需要檢查：如果 df 足夠小以適合 RAM，我想將它轉換為 pandas 並享受一個無錯誤的可靠庫。 那么，自然而然地，問題是：如何檢查它？ . ...
如何將類型：pandas.core.frame.DataFrame 替換為類型：modin.pandas.dataframe.DataFrame
[英]How to replace type: pandas.core.frame.DataFrame with type: modin.pandas.dataframe.DataFrame
我嘗試在代碼中將 pandas 替換為 modin pandas： 但錯誤是： 我應該如何更改代碼來解決問題？ ...
Pandas Modin ray庫啟動失敗
[英]Pandas Modin ray library fails to startup
我正在嘗試使用modin加速我的 pandas 數據處理 我收到以下警告和錯誤： 雖然我已經清楚地重新運行代碼，但它們之間的時間間隔超過 30 秒。 當我在安裝 modin 和 ray 后第一次運行它時，它運行得相當好，只有以下警告： 然后我將代碼修改為： 我收到此錯誤： 當我查看這個問題的 Git ...
從稀疏矩陣導入時出現 Modin AttributeError
[英]Modin AttributeError when importing from sparse matrix
我正在嘗試使用 Modin package 導入使用 scipy 創建的稀疏矩陣（特別是 scipy.sparse.csr_matrix）。 調用方法： 我收到以下屬性錯誤： 在使用原始 pandas API 時，它可以工作。 有類似問題的人嗎？ 感謝您的支持 ...
Pandas findall 到單行的結果
[英]Pandas result of findall to single row
你好，我有 csv 文件，我使用 pandas，我的問題是當我使用 pandas.Series.str.findall 時。 我不會在調用 findall 之后將結果值（什么是數組）保存到 csv 中的行這是我的代碼 我的輸入 csv 看起來像 以及我想要什么 ...
將 Prophet 或 Auto ARIMA 與 Ray 一起使用
[英]Using Prophet or Auto ARIMA with Ray
關於雷，我找不到明確的答案。 Ray 是一個用於數據處理和訓練的分布式框架。 為了使其以分布式方式工作，必須使用 Modin 或 Ray 支持的其他一些分布式數據分析工具，以便數據可以在整個集群上流動，但是如果我想使用像 Facebook 的 Prophet 或 ARIMA 這樣的模型熊貓數據框作 ...
將 python 響應轉換為 Json 響應
[英]Transform python response to Json response
我已經研究了 python 代碼，該代碼自動讀取多個擴展名的數據幀並打印 DF 的前 100 行及其列的類型，並有可能在同一個簡單的 function 中添加更多內容，我目前正在研究以 JSON 格式做出響應但仍然無法這樣做，因為這是我第一次使用 Json API 因為我更喜歡數據分析/科學而不是編 ...
我可以設置modin的並行read_sql函數的隔離級別嗎？
[英]Can I set the isolation level of modin's parallel read_sql function?
我有一些 python 代碼，我試圖用它來使用 sqlalchemy 和 modin 從我的數據庫中並行讀取未提交的內容。 我嘗試將函數調用為： df = pd.read_sql("select * from my_table", uri_string, params={'isolation_lev ...
modin pandas read_parquet() 在 ETag KeyError 上失敗，試圖從 s3 讀取分區的鑲木地板
[英]modin pandas read_parquet() failed on ETag KeyError trying to read a partitioned parquet from s3
我從熊貓創建了一個數據框，並使用 to_parquet(...) 直接寫入 s3。 論據是： 當我使用熊貓的pandas.read_parquet(url) ，數據pandas.read_parquet(url)加載良好。 但是當我使用modin.pandas.read_parquet(ur ...