權重和偏差掃描 Keras K 折驗證

Question

我在 Keras 中使用基於雲的權重和偏差掃描。所以首先我在 W&B 項目中創建一個新的掃描，其配置如下：

description: LSTM Model
method: random
metric:
  goal: maximize
  name: val_accuracy
name: LSTM-Sweep
parameters:
  batch_size:
    distribution: int_uniform
    max: 128
    min: 32
  epochs:
    distribution: constant
    value: 200
  node_size1:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size2:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size3:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size4:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size5:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  num_layers:
    distribution: categorical
    values:
    - 1
    - 2
    - 3
  optimizer:
    distribution: categorical
    values:
    - Adam
    - Adamax
    - Adagrad
  path:
    distribution: constant
    value: "./path/to/data/"
program: sweep.py
project: SLR

我的sweep.py文件看起來像這樣：

# imports
init = wandb.init(project="my-project", reinit=True)
config = wandb.config

def main():
    skfold = StratifiedKFold(n_splits=5, 
    shuffle=True, random_state=7)
    cvscores = []
    group_id = wandb.util.generate_id()
    X,y = # load data
    i = 0
    for train, test in skfold.split(X,y):
        i=i+1
        run = wandb.init(group=group_id, reinit=True, name=group_id+"#"+str(i))
        model = # build model
        model.fit([...], WandBCallback())
        cvscores.append([...])
        wandb.join()

if __name__ == "__main__":
    main()

使用 sweep.py 文件夾中的sweep.py wandb agent命令啟動它。

我對這個設置的體驗是，第一次 wandb.init() 調用初始化了一個新的運行。 好的，我可以刪除它。 但是當第二次調用 wandb.init() 時，它似乎忘記了它正在運行的掃描。在線掃描中列出了一個空運行（因為第一次 wandb.init() 調用），所有其他運行在項目中列出，但不在掃描中。

我的目標是運行 k 折交叉驗證的每一折。 至少我認為這是這樣做的正確方法。 是否有不同的方法將掃描與 keras k 折交叉驗證結合起來？

Answer 1

我們整理了一個如何完成 k 折交叉驗證的示例：

https://github.com/wandb/examples/tree/master/examples/wandb-sweeps/sweeps-cross-validation

該解決方案需要對 wandb 庫進行一些扭曲，以代表啟動的掃描作業生成多個作業。

基本思想是：

• 代理從雲托管參數服務器請求一組新參數。 這是主 function 中名為sweep_run的運行。
• 將關於折疊應該通過多處理隊列處理什么的信息發送到等待進程
• 每個生成的進程記錄到它們自己的運行，使用 group 和 job_type 組織以在 UI 中啟用自動分組
• 該過程完成后，它會通過隊列將主要指標發送到父掃描運行
• 掃描運行從子運行中讀取指標並將其記錄到掃描運行中，以便掃描可以使用該結果來影響未來的參數選擇和/或超頻帶提前終止優化

可以在此處看到掃描和 k 折分組的示例可視化：

• 掃一掃： https://app.wandb.ai/jeffr/examples-sweeps-cross-validation/sweeps/vp0fsvku
• K折分組： https://app.wandb.ai/jeffr/examples-sweeps-cross-validation/groups/vp0fsvku