python 3.x joblib 簡單的保存功能

Question

我正在嘗試創建一個簡單的 joblib 函數，該函數將評估表達式並pickle 結果，同時檢查pickle 文件是否存在。 但是當我將此函數放在其他文件中並在將文件路徑添加到 sys.path 后導入該函數時。 我收到錯誤。

from pathlib import Path
import joblib as jl    
def saveobj(filename, expression_obj,ignore_file = False):
    fname = Path(filename)
    if fname.exists() and not ignore_file:
        obj = jl.load(filename)
    else:
        obj = eval(expression_obj)
        jl.dump(obj,fname,compress = True)        
    return obj

示例調用：

rf_clf = saveobj(file, "rnd_cv.fit(X_train, np.ravel(y_train))", ignore_file=True)

錯誤：

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
<ipython-input-11-02c2cae43c5d> in <module>
      1 file = Path("rf.pickle")
----> 2 rf_clf = saveobj(file, "rnd_cv.fit(X_train, np.ravel(y_train))", ignore_file=True)

~/Dropbox/myfnlib/util_funs.py in saveobj(filename, expression_obj, ignore_file)
     37         obj = jl.load(filename)
     38     else:
---> 39         obj = eval(expression_obj)
     40         jl.dump(obj,fname,compress = True)
     41     return obj

~/Dropbox/myfnlib/util_funs.py in <module>

NameError: name 'rnd_cv' is not defined

我想，python 需要在本地評估該函數，但是由於該范圍內不存在對象，所以它拋出了這個錯誤。 有沒有更好的方法來做到這一點。 我需要重復執行此操作，這就是函數的原因。 非常感謝你的幫助。

Answer 1

您可以查看eval的文檔：

模塊 builtins 中內置函數 eval 的幫助：

eval(source, globals=None, locals=None, /)

 Evaluate the given source in the context of globals and locals. The source may be a string representing a Python expression or a code object as returned by compile(). The globals must be a dictionary and locals can be any mapping, defaulting to the current globals and locals. If only globals is given, locals defaults to it.

它具有全局和局部變量的參數。 因此，在您的情況下，您可以：

from pathlib import Path
import joblib as jl    
def saveobj(filename, expression_obj,global,local,ignore_file = False):
    fname = Path(filename)
    if fname.exists() and not ignore_file:
        obj = jl.load(filename)
    else:
        obj = eval(expression_obj, global, local)
        jl.dump(obj,fname,compress = True)        
    return obj

代碼可以改為：

rf_clf = saveobj(file, "rnd_cv.fit(X_train, np.ravel(y_train))", globals(), locals(), ignore_file=True)

Answer 2

當我看到@youkaichao 的回答時，我正要發布回答我自己的問題。 非常感謝。 另一種給貓剝皮的方法：（雖然僅限於關鍵字參數）

def saveobj(filename,func, ignore_file = False, **kwargs):
    fname = Path(filename)
    if fname.exists() and not ignore_file:
        obj = jl.load(filename)
    else:
        obj = func(**kwargs)
        jl.dump(obj,fname,compress = True)        
    return obj

更改電話：

file = Path("rf.pickle")
rf_clf = saveobj(file, rnd_cv.fit, ignore_file=False, X=X_train, y= np.ravel(y_train))

雖然，我仍然很想知道，哪個更好。