將 numpy arrays 保存為較大對象的一部分？

[英]Saving numpy arrays as a part of larger objects?

我正在處理一些與成像相關的 ML 任務，由於需要進行預處理，我正在創建包含重要元數據屬性的 class 對象，以及 3d numpy 圖像數據數組。 我想減小這些對象的大小，並提高它們的寫入和讀取速度。 目前，object 使用pickle保存為文件，但這似乎不是最有效的方法。 dill庫應該可 ...

類型錯誤：無法腌制“_hashlib.HASH”對象

[英]TypeError: cannot pickle '_hashlib.HASH' object

我有一個相當簡單的數據類。 把它放在泡菜上（用蒔蘿代替真正的泡菜）。 import dill as pickle 經過一些其他操作： 加載相同的 pickle 失敗嘗試保存同一對象失敗錯誤： TypeError: cannot pickle '_hashlib.HASH' object 我沒有使用任 ...

AttributeError: 模塊 'dill._dill' 沒有屬性 'log'

[英]AttributeError: module 'dill._dill' has no attribute 'log'

我正在使用 python nlp 模塊來訓練數據集並遇到以下錯誤： AttributeError: 模塊 'dill._dill' 沒有屬性 'log' 我注意到類似的帖子，其中沒有遇到屬性“擴展”和屬性“堆棧”，我想知道這是否是類似的情況。 我試過運行這個： pip 安裝蒔蘿 --upgra ...

pickle 更新包含對象的 class 定義，但 dill 沒有

[英]pickle updates the class definition of contained objects but dill does not

dill 更新 dilled/undilled object 本身的 class 定義，但不更新 dilled/undilled object 包含的對象的 class 定義。 pickle 在這兩種情況下都會更新 class 定義。 為什么 dill 不遵循與 pickle 相同的行為？ 泡菜 ...

進程終止后，pickle、dill 和 cloudpickle 在自定義 class 上將字段作為空字典返回

[英]pickle, dill and cloudpickle returning field as empty dict on custom class after process termination

我有一個自定義 class 的 object，我正在嘗試對其進行序列化並永久存儲。 當我序列化它、存儲它、加載它並在同一次運行中使用它時，它工作正常。 當我結束該過程然后嘗試從泡菜文件再次加載它時，它只會搞砸。 這是可以正常工作的代碼：first_model = NgramModel(3, name ...

如何保存/重新加載 FunctionTransformer object 並期望它始終以相同的方式工作，即使其內部 function 定義發生更改？

[英]How can I save / reload a FunctionTransformer object and expect it to always work the same way, even if its internal function definition changed?

我正在使用ColumnTransformer和FunctionTransformer類為 ML 項目構建預處理管道。 我的一個FunctionTransformer使用在我的 package 中定義的 function（比如說preprocess_A ）。 我安裝了管道並將其保存為一個泡菜文件，旁 ...

在遠程 Pyro5 Object 上使用 Dill 反序列化產生錯誤

[英]Deserializing With Dill on Remote Pyro5 Object Yields Error

所以我試圖讓遠程 Pyro5 object 接收序列化的任意函數來執行它們。 遠程對象在單獨的機器上運行，在 Pyro5 名稱服務器上注冊。 Pyro5 中內置的序列化器（蛇）不支持 function 序列化，所以我用 Dill 手動序列化 function，產生一個字節類型，我通過 Pyro 調 ...

序列化 class 的 function 而不序列化 class 本身

[英]Serialize a function of a class without serializing the class itself

我正在使用 pyro5，我想制作一個遠程 object function 作為工作人員 class，客戶端可以通過發送函數來要求它執行各種任務。 為此，我需要序列化函數，但 Pyro5 提供的序列化程序不支持序列化函數。 相反，我打算使用 Dill，並以某種方式通過 Pyro5 發送已經序列化的 f ...

嘗試使用 dill 腌制整個 package 源代碼和實例時，頂級 package 的 ImportError

[英]ImportError for top-level package when trying to use dill to pickle entire package source code alongside instance

我有以下項目結構： 其中Module1.py包含以下內容： 我通過python -m Package1...將代碼作為模塊運行，因此__main__.py是 package 執行的入口點，盡管我希望這些細節不相關（如有必要，我可以改進我的示例）。 現在，當我嘗試加載腌制的 object 時，我得到 ...

Python 錯誤 [WinError 6] 使用 multiprocessing.Process 時使用 dill 而不是標准 Pickle

[英]Python error [WinError 6] while using multiprocessing.Process with dill instead of standard Pickle

我有這個 Process class 覆蓋標准的 multiprocessing.Process class 以捕獲子進程中發生的異常。 我還使用 dill 並覆蓋多處理標准 Pickler，因為我需要這樣做。 可悲的是，當我嘗試運行我運行測試 function 的子進程時，它運行良好，直到與 P ...

AttributeError：模塊 'dill' 沒有屬性 'extend'

[英]AttributeError: module 'dill' has no attribute 'extend'

我剛剛安裝了 Pytorch，使用： 然后，我嘗試在 Spyder 中導入 torch 但收到以下錯誤： 我能做些什么來克服這個錯誤？ ...

AttributeError：模塊'dill._dill'沒有屬性'stack'

[英]AttributeError: module 'dill._dill' has no attribute 'stack'

使用這個 colab https://colab.research.google.com/drive/12LjJazBl7Gam0XBPy_y0CTOJZeZ34c2v?usp=sharing 我的 CUDA 版本：11.2 什么時候做 AttributeError：模塊'dill._dill' ...

Python：泡菜 class object 具有函數/可調用對象作為屬性

[英]Python: Pickle class object that has functions/callables as attributes

我有自定義 class 繼承自 functools.partialfrom functools import partial from typing import Callable class CustomPartial(partial): def __new__(cls, func_na ...

dill 無法在 Python 3.7 下為 dill.settings["recurse"]=True 腌制 sympy.Float

[英]dill fails to pickle sympy.Float under Python 3.7 for dill.settings["recurse"]=True

在 python 3.7 下，當“recurse”設置設置為 True 時， dill無法腌制sympy.Float對象： 這失敗了RecursionError('maximum recursion depth exceeded in comparison') 。 有人知道解決方法嗎？ Pyth ...

Python dill.dump fmode 參數好像沒有效果

[英]Python dill.dump fmode parameter seems to have no effect

我正在試驗蒔蘿，特別是 dill.dump() 的不同模式。 fmode 參數的文檔表明使用 FILE_FMODE 或 CONTENTS_FMODE 將腌制文件內容，這在一個位置序列化然后反序列化並稍后在另一個位置執行時很有用。 但是，fmode 值似乎都沒有任何效果——我生成的所有泡菜文件都是相 ...

無法加載腌制的自定義估算器 sklearn 管道

[英]Unable to load pickled custom estimator sklearn pipeline

我有一個 sklearn 管道，它使用自定義列轉換器、估計器和不同的 lambda 函數。 因為 Pickle 無法序列化 lambda 函數，所以我使用的是 dill。 這是我擁有的自定義估算器： 這就是我對其進行序列化的方式（我必須使用 open() 否則它會給出 unsupportedOper ...

使用 python 多處理模塊時，有沒有辦法不使用酸洗？

[英]Is there a way to not use Pickling when using the python multi processing module?

我很難弄清楚這一點。 我試圖創建一個實時衛星跟蹤器並使用天空場 python 模塊。 它讀取 TLE 數據，然后給出相對於地球的 LAT 和 LON position。 天空字段模塊創建無法腌制的衛星對象（甚至嘗試使用蒔蘿）。 我正在使用 for 循環遍歷所有衛星，但這非常慢，所以我想使用池方法使 ...

如何腌制封口？

[英]How to pickle closure?

例子： import pickle def function(): def closure(): pass return closure pickle.dumps(function()) 產生： AttributeError: Can't pickle loc ...

無法解決“SystemError：未知操作碼”

[英]Can't solve "SystemError: unknown opcode"

我正在筆記本電腦上執行筆記本，但出現以下錯誤。 如您所見，錯誤發生在 function 調用期間。 function 本身不是問題，如果我在一個單元格內定義並運行它 function 它就可以正常工作。 但是從自己的模塊導入 function 會導致這個錯誤。 我環顧四周尋找提示，我讀過的所有論 ...

序列化自定義對象及其定義的缺點是什么？

[英]What are drawbacks of serializing custom objects along with their definition?

我的問題是，當我“強制”Python 類/函數定義與對象一起序列化時，可以想象未來的影響，方法是在序列化之前在__main__中“重新聲明”它們。 細節常見的問題是 Python 庫（例如 pickle 和 dill）不會序列化 class 或 function 以及對象的定義，如果定義不在__m ...