在 AWS 上運行 doc2vec 的服務是什么？

Question

我想為我的 model 找到最好的超參數，但是在總共 486 個排列和 200k 個文檔中調整 6 個元參數需要一段時間。 這就是我考慮在 AWS 上使用免費積分的原因。 理想情況下，我想運行我的腳本並獲得一個.csv 文件作為輸出。

vector_size = [100, 200, 300]
window = [2, 5, 10]
epochs = [10, 20, 30]
count =[2, 5, 10] 
dm = [0,1]
sample = [10e-4, 10e-5, 10e-6 ]

問題是我從未使用過 AWS，而且不同服務的數量是壓倒性的。 你們能給我提示一下哪種服務適合我的問題嗎？

Answer 1

EC2 是原始核心服務之一，它為您提供雲中的虛擬系統，具有多種 CPU/RAM 選項，可以運行您想要的任何東西。 您可以通過努力啟動 468 個節點來並行訓練和評估每個 model，將結果放在一邊，一旦運行完成就關閉每個節點。

（可能有一個更新的更高級別的服務，它提供一些其他類型的作業管理幫助，但 EC2 是原始的通用雲節點。）

您的元優化的另一個想法：

過度的epochs不應該受到傷害 - 這只會浪費。 因此，您可以使用最大值epochs=30進行大測試，並且相當確信具有該最大值的其他最佳參數不會隨着epochs的減少而改善很多。

（但是，特別是如果您需要經常重新運行該作業，30 可能只比一些較小的時期數稍微好一點 - 因此您可以單獨運行測試以平衡時間/成本和評估質量。）