我的 python 跳棋游戏的 AI 算法是否有效？如果无效，我还应该考虑其他什么？

Question

首先我要说我不是数据科学家或统计学家，所以我一直在努力找出最好的方法来对一组给定的 AI 动作进行评分，以帮助计算机确定选择哪条动作路径。 我想出了以下内容，并询问是否有更好的方法来做到这一点，或者这是否会首先起作用。

对于任何给定的玩家：

• 正常移动 +0
• 夺取普通棋子+1
• 夺王+2
• 移动导致国王+2
• 赢得比赛 +10（应该让 AI 更喜欢这条路，除非另一个提供更强大和更安全的短期优势。）
• 绘制游戏（忽略路径，除非它是唯一剩下的选项。Static 1 Goodness Point。）
• 输掉游戏（忽略路径，除非它是唯一剩下的选项。Static 0 善良点数。）

我也在玩弄以下内容：

• 靠墙结束的移动 +0.5
• 在没有威胁的情况下获得中心控制的移动 +0.75
• 导致可能捕获多个 AI 部件的移动（每件）-0.25
• 导致棋子“卡住”的移动（1 回合内）-0.5

然后，AI 在搜索树的深处运行 X 个级别（假设为 4 个级别）的移动，并为每个分支计算玩家和对手的分数。

我跟踪以下内容（每个分支）：

• AI总分
• 人类对手的总分
• 对手选择分支的可能性（见下文）
• 分支“善良” （见下文）
• 分支总数（移动组合）

为了选择最好的一个，这里是我开发的算法，但还不确定它是否能正常工作：

基本对手移动概率 = 100 / 总分支 *（获得的人类对手点数 + 1）玩家分支“善良”= 人类对手概率 * AI 玩家的总点数

AI 然后选择具有最高“善良”点数的移动分支，或者在平局的情况下随机选择一个。

示例：4 个分支可用。 在其中一个中，人类将取王一次，而 AI 将捕获 2 个棋子并取王一次。

100 / 4 步 * (1 对手点数 + 1) = 50 人类对手可能性分数

50 个人类对手的可能性 * 5 个获得的 AI 玩家点数 = 250 个移动“善良”点数

我能想到的唯一另一件事是在每个分支的末尾对整个董事会的“好感度”进行评分，并将其乘以“良好”分数。 好感度意味着所有棋子、国王、中锋/墙控的总分作为给定的一端 state。尽管我对此展开的越多，我就越觉得我应该选择一个或另一个。 要么在计算分支中的每个动作时得分，要么对每个分支的最终棋盘好感度结果进行评分，而不是两者兼而有之。

可能是这样的：（董事会好感度/ 2）* Goodness = Final Branch Value

无论如何，我走在正确的轨道上吗？ 这种方法是否有效（不是好感度部分，给定分支的一般评分和“良好”评分）还是我完全走错了路？ 感谢您的帮助！

Answer 1

我认为考虑玩游戏的更广泛的博弈论方面会有所帮助 - 这从 minimax 算法开始，我将简要描述它。

通常，下一个上场的球员被认为是“最大”球员，而另一个球员是“最小”球员。 当你有一个两人完美信息（没有隐藏）零和游戏时（在这种情况下，所有最终结果都是赢/输/平），有一个相当简单的 model 如何玩 - 通过构建完整的树游戏。

因此，最大玩家考虑了他们所有的动作，并选择返回最大值的动作。 但是，这里考虑实际上是要求最小玩家做同样的事情，除了最小玩家取最小值（然后要求最大玩家递归地这样做等等）。 如果你继续这个直到游戏结束，在西洋跳棋中你会得到所有的赢、输和平局，它们可能被分配为 100、-100 和 0。（确切的值并不重要，重要的是值的顺序。）如果有足够的时间，您可以遍历整个树并完美地发挥作用。

在实践中我们没有足够的时间，所以我们必须建立一个评估 function 可以在一定深度切断树并评估它，试图预测游戏的最终结果。 前瞻给了我们很多关于可能发生的事情的信息，所以即使是简单的评估 function 它仍然可以导致合理的游戏。 所以，这或多或少是你提出的 - 评估 function。如果你把它放在极小极大搜索的末尾并将值与最终的赢/输/平局值相关联，那么你将有一个播放器体面的跳棋。

这只是冰山一角，但是，是的，您走在正确的轨道上。 当你开始工作时，这里有一些你可以研究的东西：

• Alpha-beta 修剪保留了结果，但使树小得多。
• 真正的游戏更像是图而不是树。 换位表检测到重复状态的换位，并避免两次重新搜索同一棵树。
• 迭代加深可帮助您遍历树以调整搜索的深度。
• Endgame 数据库从头开始解决游戏，节省大量计算并大大增加程序的强度。
• 机器学习可用于调整您手动调整的值，或者可用于整个过程（ala AlphaZero）
• 蒙特卡洛树搜索对树中可能的播放线进行采样，这可以帮助进行昂贵的调整评估工作 function。

最后，我建议您阅读 Jonathan Schaeffer 所著的One Jump Ahead 一书，该书讲述了一个引人入胜的故事，讲述了他如何构建世界冠军跳棋程序，然后最终解决了游戏问题。

编辑：请注意，一个好的软件工程方法是使用非常简单的评估 function（例如计算材料差异和国王差异）来获得 minimax 搜索。 当它起作用时，您就可以寻找游戏中的弱点。 更丰富的评估 function 将有助于修复这些弱点。 然后您可以迭代此过程。

如果您在程序运行 rest 之前花费太多时间设计功能，您可能会发现您认为想要的功能在实践中计算/编程时成本太高。

Answer 2

你走在正确的轨道上，另一个答案已经有很多细节，但我想强调的一件事是你应该专注于评估positions而不是 evaluating moves 。 移动的价值就是它最终进入的 position 的价值。

• 您不是将很多积分奖励给“获胜的一步”，而是将很多积分奖励给获胜的 position 。
• 您可以根据材料对位置进行评分，而不是为捕获奖励一些分数，并为国王捕获更多分数。 我们认为吃一手好棋的原因是它剥夺了对手的棋子。 获得国王可以改善我们自己的材料。 评估材料的位置会考虑这些因素。
• 同样，作为对 position 的评估，您关于控制中心、靠墙等的规则更容易执行（并且工作得更好），而不是为“导致 X 的移动”计算分数。

赢/输/平是“硬”条件； 如果游戏结束了，您还剩下多少材料、材料放在哪里或其他任何东西都没有关系。 你不会因为胜利牺牲了棋子而选择平局而不是胜利。 材料，机动性等评估规则是玩家离获胜有多近，或者他们有多少能力获胜的“经验法则”，所以你只有在没有强制获胜时才真正关心它们/在你的搜索范围内输/平，当你使用它们时，你希望它们产生的分数尽可能类似于你在游戏结束前每隔position搜索一次时得到的分数。

你可以开始根据直觉给你不同的评估规则分配分数，但为了让它们真正好，你会模拟很多比赛到最后，然后统计输赢球员的位置——然后你会分配更高的分数与实际获胜位置最相关的规则。