如何使用antlr4解析3字节的utf8字符串

Question

Blow 是我的语法文件。

grammar My;

tokens {
    DELIMITER
}

string:SINGLE_QUOTED_TEXT;

SINGLE_QUOTED_TEXT: (
        '\'' (.)*? '\''
    )+
;

我正在尝试使用它来接收所有字符串（实际上它是 mysql 的 g4 的一部分）。 然后我用这段代码来测试它：

#include "MyLexer.h"
#include "MyParser.h"
#include <string>
using namespace My;

int main()
{
    std::string s = "'中'";

    antlr4::ANTLRInputStream input(s);
    MyLexer lexer(&input);

    antlr4::CommonTokenStream tokens(&lexer);
    MyParser parser(&tokens);

    parser.string();

    return 0;
}

结果是

汉字中的utf8编码为3个字节：\xe4 \xb8 \xad

语法文件和代码文件都以 utf8 编码。 我该怎么做才能让它正常工作。

Answer 1

我已经弄清楚了问题所在。

参考https://stackoverflow.com/a/26865200/9634413

Antlr C++ 运行时使用 std::u32string 存储输入，\xe4 将被强制转换为 \xffffffe4，这超出了 unicode 范围 [0,0x10ffff]。

要解决此问题，只需重写 ANTLRInputStream 的构造函数，例如：

class MyStream : public antlr4::ANTLRInputStream {
public:
    MyStream(const std::string& input = "")
        : antlr4::ANTLRInputStream(input)
    {
        // Remove the UTF-8 BOM if present
        const char bom[4] = "\xef\xbb\xbf";
        if (input.compare(0, 3, bom, 3) == 0) {
            std::transform(input.begin() + 3, input.end(), _data.begin(),
                [](char c) -> unsigned char { return c; });
        }
        else {
            std::transform(input.begin(), input.end(), _data.begin(),
                [](char c) -> unsigned char { return c; });
        }
        p = 0;
    }
    MyStream(const char data_[], size_t numberOfActualCharsInArray)
        : antlr4::ANTLRInputStream(data_, numberOfActualCharsInArray)
    {
    }
    MyStream(std::istream& stream)
        : antlr4::ANTLRInputStream(stream)
    {
    }
};