Python代码生成器

Question

我希望能够在给定AST描述的情况下执行python的代码生成。

我已经对C进行了静态分析并在python中构建了AST访问者，所以我觉得操作语法树相对比较舒服，但我之前从未尝试过代码生成，并试图确定生成python代码的最佳实践。

具体来说，我喜欢关于如何自动完成代码生成的指针，或者指向可以使这个任务变得更简单的指向python的库的任何指针。

我的最终目标是尝试类似于csmith或工具的东西，使python代码符合PEP8 。

Answer 1

您可能需要查看由Python代码开发人员开发的2to3工具，以自动将Python 2代码转换为Python 3代码。 该工具首先将代码解析为树，然后从该树中吐出“固定的”Python 3代码。

这可能是一个很好的起点，因为这是核心开发人员认可的“官方”Python工具，也是推荐的Python 2到3迁移路径的一部分。

或者，查看codegen.py模块 ，该模块从Python的ast生成Python代码。

另请参阅此SO问题 ，这可能与您的问题相关（我没有将其标记为重复，因为我不确定问题的范围是否重叠100％）

Answer 2

自动代码生成通常通过以下方式完成：

• 打印包含代码片段的语句
• 带占位符的文本模板（想想宏）

恕我直言，更好的做法是：

• 为目标片段构建了一个AST，然后是prettyprint

几乎没有人做后者，因为工具大多不在那里。

Python的2to3工具提供（我认为）目标AST和漂亮印刷。

但是你没有问过的问题是“从什么产生？” 不知何故，你必须抽象地指定你想要生成什么（或者它不是一个胜利）。 而且你的工具必须能够以某种方式读取该规范。

许多代码生成方案包括编写调用上述生成机制的过程代码; 过程代码充当隐式规范。 阅读规范“很容易”; 它只是代码生成器使用的语言中的代码。

一些代码生成方案使用某种图形结构来提供挂起规范片段的帧，从而驱动代码生成。 UML类图是一个经典的例子。 这些方案并不那么容易; 你需要一个“规范读者”（例如，UML图读者也称为XMI或其他一些，或者如果你没有使用UML，某种规范解析器），那么你需要一些东西来克服一些规范读取规范有用的顺序（UML是图形，可以访问许多不同的方式），这使得调用代码生成步骤。

Python 2to3工具使用Python2解析器来读取“规范”。 如果你想从Python2生成代码，那就没问题了。 我怀疑你不想这样做。

最佳实践方法是统一读取/分析/遍历规范的能力，能够为目标语言生成AST。

我们的DMS软件再造工具包是一个通用的程序分析和转换系统。 它将“规范”（你可以定义的语法实例）解析为AST; 它还允许您为任何这些语法构建任意AST，使用程序代码[如上所述]或使用模式匹配/替换（对DMS来说非常独特）。 DMS语言前端的一部分是一个漂亮的打印机，它可以从AST重新生成文本（这些是通过往返代码测试的：解析为AST，漂亮的AST，最好是相同的文本）。

如果DMS不知道你的语法，它有非常好的解析器和prettyprinter生成器，以及用于分析程序的其他支持机制。 所有这些额外的机器通常不适用于经典的解析器生成器，或仅使用简单的“AST”包。 （我不知道2to3中是什么）。

这与Python的相关性是DMS有一个Python前端以及许多其他语言的语法 。

因此，您可以使用DMS来解析您的规范，并使用AST生成Python代码，最后使用prettyprinting。