如何对Boost Spirit Parser进行基准测试？

Question

我正在研究编译器，我想提高它的性能。 我发现大约50％的时间花在解析源文件上。 由于源文件非常小，之后我做了很多转换，在我看来它是可以完善的。

我的解析器是一个带有词法分析器（带有lexer :: pos_iterator）的Boost Spirit解析器，我有一个中等大小的语法。 我正在将源解析为AST。

我的问题是我不知道解析过程中花费的时间最多：AST节点，词法分析器，解析器规则或内存的副本。

我不认为这是I / O问题，因为我正在使用SSD并且我在开始时完全读取文件然后仅使用内存版本。

我尝试使用分析器，但是花费时间的方法是Boost的一些方法，其名称长达数百个字符，我不知道它们到底做了什么......

那么，是否有一种首选方法来对Boost Spirit Parser及其语法进行基准测试？ 或者是否有一些规则可用于验证某些特定点的效率？

谢谢

感兴趣的人的来源：

• 分析器
• 语法 语法 语法
• 词法分析器

Answer 1

我快速扫描了一下。

我的探查器很快告诉我，构造语法和（特别是）词法分析器对象需要相当多的资源。

实际上，只需更改SpiritParser.cpp中的一行就可以节省40％的执行时间¹ （〜28s降至~17s）：

    lexer::Lexer lexer;

成

    static const lexer::Lexer lexer;

现在，

• 使语法静态涉及使其无状态。 我做到了这一点

  • 将position_begin移动到qi::_a （使用qi::locals ）和

  • 在适当的时间将其作为继承属性传递

    • EDDIGrammar和ValueGrammar语法，例如

       start %= qi::eps [ qi::_a = qi::_r1 ] >> program; 

    • 以及ValueGrammar中用于外部的各个规则）。

  这有一些次优的副作用：

  • 规则调试已注释掉，因为lexer::pos_iterator_type没有默认输出流重载

  • qi::position(position_begin)表达式已被'伪造'，并带有相当精细的替换：

     auto local_pos = qi::lazy ( boost::phoenix::construct<qi::position>(qi::_a) ); 

    这似乎并不理想。 （理想情况下，有人想通过修改后的自定义解析器指令替换qi::position ，该指令知道如何从qi :: locals（？）获取begin_position，这样就不需要懒惰地调用解析器表达式了？）

无论如何， 实施这些进一步的改变² 削减了另外约15％的执行时间 ：

static const lexer::Lexer lexer;
static const parser::EddiGrammar grammar(lexer); 

try {
    bool r = spirit::lex::tokenize_and_parse(
            position_begin, position_end,
            lexer, 
            grammar(boost::phoenix::cref(position_begin)),
            program);

松散的想法：

• 您是否考虑过生成静态词法分析器（ 生成静态分析器 ）
• 您是否考虑过使用期望点来减少回溯量（注意：我没有测量该区域的任何内容）
• 你有没有考虑过Position::file和Position::theLine替代品？ 复制字符串似乎比必要的重。 我更喜欢存储const char * 。 你也可以看看Boost Flyweight
• 你的qi::position指令中是否真的需要pre-skip？
• （有些不严重：您是否考虑过移植到Spirit X3 ？它似乎以移动语义的形式承诺潜在的好处。）

希望这可以帮助。

---

^[1]当解析test/cases/*.eddi所有测试用例100次时（github） ：

for (int i=0; i<100; i++)
    for (auto& fname : argv)
{
    eddic::ast::SourceFile program;
    std::cout << fname << ": " << std::boolalpha << parser.parse(fname, program, nullptr) << "\n";
}

用简单的时间计时

time ./test ../../test/cases/*.eddi | md5sum

使用md5sum充当理智检查。

^[2]我在这里创建了一个带有概念验证重构的拉取请求https://github.com/wichtounet/eddic/pull/52