逐步跟蹤Python表達式評估

Question

我正在嘗試編寫Python表達式評估可視化工具，它將顯示如何逐步評估Python表達式（用於教育目的）。 Philip Guo的Python Tutor很棒，但它逐行評估Python程序，我發現學生有時候不理解單行表達式如何sorted([4, 2, 3, 1] + [5, 6])[1] == 2進行評估，我想想象這個過程。 （似乎沒有人做過 - 至少我什么也沒發現。）理想的解決方案是創建一系列字符串，如下所示：

sorted([4, 2, 3, 1] + [5, 6])[1] == 2
sorted( >> [4, 2, 3, 1] + [5, 6] << )[1] == 2
>> sorted([4, 2, 3, 1, 5, 6]) << [1] == 2
>> [1 2 3 4 5 6][1] << == 2
>> 2 == 2 <<
True

這里>>和<<用於突出顯示在當前步驟上計算的表達式的一部分，然后由其值替換。 （也許，我會嘗試將此序列轉換為某種動畫。）

我當前的策略是使用ast.parse()將字符串解析為AST，然后找到一個將首先評估的eval(compile(node, '', 'eval'))用eval(compile(node, '', 'eval'))進行eval(compile(node, '', 'eval')) （我肯定是不想重新實現整個Python :)），將評估結果轉換為AST Node（用repr然后ast.parse() ？）並用結果節點替換當前節點，然后使用codegen.to_source生成修改后的代碼來自（已修改）AST的字符串並繼續相同的過程，直到我在樹中只有一個文字。

我的問題是：如何找到首先評估的節點？ 似乎我可以通過子類化ast.NodeVisitor來遍歷樹的深度ast.NodeVisitor ，但是我不知道如何檢測到我到達了所需的節點以及如何在它之后停止遍歷？

---

編輯。

我對樹的轉換的初始方法可能是不可行的。 事實上，評估Python表達式的基本步驟不是必須將某個子表達式替換為更簡單的表達式（如算術中）。 例如，列表推導提供了一個更復雜的行為，無法用術語替換這個東西，然后遞歸重復 。 所以我稍微重申了一個問題。 我需要一些方法來programmaticaly顯示如何逐步評估Python表達式。 例如，@ jasonharper提到的MacroPy的跟蹤功能在此階段是可接受的解決方案。 不幸的是，MacroPy似乎被放棄了，並且不適用於Python 3.在沒有移植完整的MacroPy的情況下，有沒有想法如何在Python 3中類似這種跟蹤行為？

---

EDIT2。

在我獲得此獎金之后，我發現了類似的問題和一個具有非常接近功能的調試器 。 但是，由於這個問題沒有最終答案，而且我不需要完整的調試器，我仍然在尋找可以在Jupyter環境中使用的答案。

Answer 1

表達式步進在Thonny IDE中實現。

它使用AST檢測，其中每個（子）表達式e被轉換為after(before(<location info>), e) 。 before和after的函數是用於在Python的跟蹤系統中引起額外調用事件的虛函數。 當（子）表達式評估即將開始或剛剛結束時，這些額外調用會通知。 （添加類似的虛函數來檢測每個語句的開始和結束。）

這些新事件的AST檢測和解釋在thonny.backend.FancyTracer中完成。

Python的AST節點包含相應文本范圍的起始位置，但它們有時不正確。 結束位置完全缺失。 thonny.ast_utils.mark_text_ranges試圖解決這個問題（但目前解決方案尚未完成）。

如果有人從Thonny中提取相關功能到一個更通用的包，那將是很好的。 甚至可能是兩個包 - 一個用於計算Python AST的位置信息，另一個用於詳細跟蹤Python代碼。 如果有人帶頭，我願意幫忙。

Answer 2

為什么不使用dis模塊？

由於CPython將Python編譯為字節碼並運行它，因此查看字節碼可以讓您最好地了解實際發生的情況。

In [1]: import dis

In [2]: dis.dis('sorted([4, 2, 3, 1] + [5, 6])[1] == 2')
  1           0 LOAD_NAME                0 (sorted)
              3 LOAD_CONST               0 (4)
              6 LOAD_CONST               1 (2)
              9 LOAD_CONST               2 (3)
             12 LOAD_CONST               3 (1)
             15 BUILD_LIST               4
             18 LOAD_CONST               4 (5)
             21 LOAD_CONST               5 (6)
             24 BUILD_LIST               2
             27 BINARY_ADD
             28 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
             31 LOAD_CONST               3 (1)
             34 BINARY_SUBSCR
             35 LOAD_CONST               1 (2)
             38 COMPARE_OP               2 (==)
             41 RETURN_VALUE

編輯 ：另一種方法可能是在IPython中逐個顯示步驟：

In [1]: [4, 2, 3, 1]
Out[1]: [4, 2, 3, 1]

In [2]: [4, 2, 3, 1] + [5, 6]
Out[2]: [4, 2, 3, 1, 5, 6]

In [3]: sorted([4, 2, 3, 1, 5, 6])
Out[3]: [1, 2, 3, 4, 5, 6]

In [4]: [1, 2, 3, 4, 5, 6][1]
Out[4]: 2

In [5]: 2 == 2
Out[5]: True

Answer 3

添加兩個列表肯定不是該代碼中要評估的第一個節點; 相信有實際上9分前面節點的評價- sorted ， 4 ， 2 ， 3 ， 1 ， [4,2,3,1] 5 ， 6 ， [5,6] 您不僅需要確定執行哪些訂單評估，還必須決定哪些評估值得展示。

我認為更好的方法是修改AST節點，使它們發出前/后狀態作為執行的副作用。 你不會關心他們的順序，你只需執行一次整個表達式。 並且已經有一個名為macropy的軟件包具有跟蹤功能，可以完成此操作。 它的輸出並不是你所要求的，但它可能會被修改為更接近的匹配。