為 Snake AI 代理選擇神經網絡架構

Question

我是機器學習和強化學習的新手，我正在嘗試創建一個學習玩 Snake 的 AI 代理。 我在選擇/開發可以與我的輸入/output 向量形狀配合使用的神經網絡架構時遇到問題。

我的輸入是一個 3x10x10 的張量，基本上是 3 層 10x10 網格，蛇在上面移動（我在整個張量中只使用 0 和 1，在第一層標記蛇身體部位的 position，在第二層標記蘋果的 Z4757FE07FD492A8BE0EA6A760D683D6 ，和蛇頭position 3號）。

對於我的 output，我正在尋找一個包含 4 個值的向量，對應於玩家可用的 4 個可能的移動（將方向更改為上/下/左/右）。

我將不勝感激有關如何在這種情況下選擇架構的 go 的任何建議，以及有關我選擇將游戲 state 編碼為輸入向量以供代理訓練的方式的任何想法。

Answer 1

你可以在一開始就使用 ResNet 架構，看看會發生什么。 基本上，ResNet 將形狀為 HxWxC 的圖像作為輸入，其中 H 高度、W 寬度、C 通道。 在您的情況下，您沒有實際圖像，但您仍然在 3 個通道中對環境進行編碼，HxW=10x10。 所以，我認為你的編碼應該可以工作。

然后您還必須更改 ResNet 的 output 以便您將僅 output 4 個值，每個值將對應一個操作。

鑒於輸入空間不是很大，也許你可以從一個非常小的 ResNet 18 開始，看看會發生什么。 鑒於您是 ML 和 RL 的新手，有一篇非常古老的論文試圖使用深度學習https://arxiv.org/pdf/1312.5602v1.pdf來解決 Atari 游戲，而且該方法並不難理解。 Snake 是一款與 Atari 游戲具有相似（甚至更低）復雜性的游戲，因此本文可能會提供更多見解。