Python 中 Tictactoe 的 Minimax 算法

Question

我最近参加了 CS50 AI python 课程，要做的项目之一是为 tictactoe 游戏实现 minimax 算法。 我寻求帮助并搜索了stackoverflow，但没有找到可以帮助我的答案。 它的图形部分已经实现，您需要做的就是对模板的给定功能进行编程，我相信我做对了，除了算法部分，功能如下：

import math
import copy

X = "X"
O = "O"
EMPTY = None


def initial_state():
    """
    Returns starting state of the board.
    """
    return [[EMPTY, EMPTY, EMPTY],
            [EMPTY, EMPTY, EMPTY],
            [EMPTY, EMPTY, EMPTY]]


def player(board):
    """
    Returns player who has the next turn on a board.
    """
    if board == initial_state():
        return X

    xcounter = 0
    ocounter = 0
    for row in board:
        xcounter += row.count(X)
        ocounter += row.count(O)

    if xcounter == ocounter:
        return X
    else:
        return O


def actions(board):
    """
    Returns set of all possible actions (i, j) available on the board.
    """
    possible_moves = []
    for i in range(3):
        for j in range(3):
            if board[i][j] == EMPTY:
                possible_moves.append([i, j])
    return possible_moves


def result(board, action):
    """
    Returns the board that results from making move (i, j) on the board.
    """
    boardcopy = copy.deepcopy(board)
    try:
        if boardcopy[action[0]][action[1]] != EMPTY:
            raise IndexError
        else:
            boardcopy[action[0]][action[1]] = player(boardcopy)
            return boardcopy
    except IndexError:
        print('Spot already occupied')


def winner(board):
    """
    Returns the winner of the game, if there is one.
    """
    columns = []
    # Checks rows
    for row in board:
        xcounter = row.count(X)
        ocounter = row.count(O)
        if xcounter == 3:
            return X
        if ocounter == 3:
            return O

    # Checks columns
    for j in range(len(board)):
        column = [row[j] for row in board]
        columns.append(column)

    for j in columns:
        xcounter = j.count(X)
        ocounter = j.count(O)
        if xcounter == 3:
            return X
        if ocounter == 3:
            return O

    # Checks diagonals
    if board[0][0] == O and board[1][1] == O and board[2][2] == O:
        return O
    if board[0][0] == X and board[1][1] == X and board[2][2] == X:
        return X
    if board[0][2] == O and board[1][1] == O and board[2][0] == O:
        return O
    if board[0][2] == X and board[1][1] == X and board[2][0] == X:
        return X

    # No winner/tie
    return None


def terminal(board):
    """
    Returns True if game is over, False otherwise.
    """
    # Checks if board is full or if there is a winner
    empty_counter = 0
    for row in board:
        empty_counter += row.count(EMPTY)
    if empty_counter == 0:
        return True
    elif winner(board) is not None:
        return True
    else:
        return False


def utility(board):
    """
    Returns 1 if X has won the game, -1 if O has won, 0 otherwise.
    """
    if winner(board) == X:
        return 1
    elif winner(board) == O:
        return -1
    else:
        return 0


def minimax(board):
    current_player = player(board)

    if current_player == X:
        v = -math.inf
        for action in actions(board):
            k = min_value(result(board, action))    #FIXED
            if k > v:
                v = k
                best_move = action
    else:
        v = math.inf
        for action in actions(board):
            k = max_value(result(board, action))    #FIXED
            if k < v:
                v = k
                best_move = action
    return best_move

def max_value(board):
    if terminal(board):
        return utility(board)
    v = -math.inf
    for action in actions(board):
        v = max(v, min_value(result(board, action)))
    return v    #FIXED

def min_value(board):
    if terminal(board):
        return utility(board)
    v = math.inf
    for action in actions(board):
        v = min(v, max_value(result(board, action)))
    return v    #FIXED

最后一部分是 minimax(board) function 所在的位置，它应该采用当前的 state 并根据 AI 是玩家“X”还是“O”来计算可能的最佳移动（它可以是任何两个），“X”玩家试图最大化分数，“O”应该使用实用程序（板）function 最小化分数，该实用程序返回 1 表示 X 获胜，-1 表示“O”获胜或 0 表示平局。 到目前为止，人工智能的动作并不是最优的，当我不应该的时候，我可以轻松地战胜它，因为在最好的情况下，我应该得到的只是平局，因为人工智能应该计算出那个时候所有可能的动作。 但是不知道怎么回事...

Answer 1

首先是关于调试的一句话：如果您要打印在递归调用中完成的计算，您可以跟踪问题的执行并快速找到答案。

但是，您的问题似乎在树的顶部。 在你的 minimax 调用中，如果当前玩家是 X，你调用 state 的每个孩子的 max_value，然后取该结果的最大值。 但是，这在树的顶部应用了两次最大 function。 游戏中的下一个玩家是 O，因此您应该为下一个玩家调用 min_value function。

因此，在 minimax 调用中，如果 current_player 为 X，则应调用 min_value，如果 current_player 为 O，则应调用 max_value。

Answer 2

@harsh-kothari， cs50 项目页面说

重要的是，原始棋盘应保持不变：因为 Minimax 最终将需要在计算过程中考虑许多不同的棋盘状态。 这意味着简单地更新电路板本身的单元并不是结果 function 的正确实现。 在进行任何更改之前，您可能需要先对板进行深层复制。

为了避免子列表被修改，我们使用 deepcopy 而不是 copy

在此处阅读有关 copy() 和 deepcopy() 的更多信息

Answer 3

将操作（板）代码更改为此

possibleActions = set()

for i in range(0, len(board)):
    for j in range(0, len(board[0])):
        if board[i][j] == EMPTY:
            possibleActions.add((i, j))

return possibleActions