Modin 與 dask 沖突

Question

我正在嘗試 modin，但不斷收到錯誤消息：

import modin.pandas as md
import pandas as pd

PATH = 'file.csv'

%%time
df = pd.read_csv(PATH)

%%time
mdf = md.read_csv(PATH)

錯誤：

UserWarning：Dask 執行環境尚未初始化。 Initializing... 要刪除此警告，請在執行 dataframe 操作之前運行以下 python 代碼：

from distributed import Client

client = Client()

任務異常永遠不會被檢索到：<Task finished name='Task-8' coro=<_wrap_awaitable() done，定義在 C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\asyncio\tasks。 py:683> exception=ImportError("cannot import name 'Popen' from partial initialized module 'multiprocessing.popen_spawn_win32' (很可能是由於循環導入) (C:\Users\Oleg\AppData\Local\Programs\Python\Python39 \lib\multiprocessing\popen_spawn_win32.py)")> Traceback（最近一次調用最后）：文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\asyncio\tasks.py”，第 690 行, 在 _wrap_awaitable 中返回 (yield from awaitable.await ()) 文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\site-packages\distributed\core.py”，第 290 行，在 _等待 self.start() 文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\site-packages\distributed\nanny.py”，第 295 行，開始響應 = await self.instantiate( ) 文件“C:\Users\Oleg\AppData\Local\Programs\ Python\Python39\lib\site-packages\distributed\nanny.py”，第 378 行，在實例化結果中 = await self.process.start() 文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39 \lib\site-packages\distributed\nanny.py”，第 575 行，在開始等待 self.process.start() 文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\site- packages\distributed\process.py”，第 34 行，在 _call_and_set_future res = func(*args, **kwargs) 文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\site-packages\ Distributed\process.py”，第 202 行，在 _start process.start() 文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\multiprocessing\process.py”，第 121 行，開始self._popen = self._Popen(self) 文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\multiprocessing\context.py”，第 224 行，在 _Popen 返回 _default_context.get_context()。 Process._Popen(process_obj) 文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\multiprocessing\context.py”，第 326 行，在 _Popen fr om.popen_spawn_win32 import Popen ImportError: cannot import name 'Popen' from partial initialized module 'multiprocessing.popen_spawn_win32' （很可能是由於循環導入）（C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib \multiprocessing\popen_spawn_win32.py) '''

如果有幫助的話，我有一個 0.1.20 版本。 SO上有人建議嘗試錯誤消息中的內容-導入dask.distributed並啟動客戶端，但沒有幫助。

任何幫助深表感謝。

附言。 幾周前我想嘗試 modin，但安裝並不簡單，有很多錯誤，主要是 ray 和 dask 導入。 我設法讓 dask 以某種方式工作，而不是 modin。 並開始學習它的api。 現在我決定再試一次，因為我認為 dask 工作正常，但不，仍然有一些導入錯誤，什么都沒有。

Answer 1

似乎 modin 正在自動創建一個 dask 本地進程集群。 不幸的是，它們中的每一個都在導入您的腳本，以便他們能夠理解定義的變量——並且每個都試圖然后啟動一個新的 dask 本地集群。

您應該嘗試將代碼放入 function 中，並從受保護的塊中調用 function

if __name__ == "__main__":