如何确定一个正则表达式是否与另一个正则表达式正交？

Question

我想我的问题最好用一个（简化的）例子来解释。

正则表达式 1：

^\d+_[a-z]+$

正则表达式 2：

^\d*$

正则表达式 1永远不会匹配正则表达式 2 匹配的字符串。 因此，假设正则表达式 1 与正则表达式 2正交。

正如许多人问我正交是什么意思，我将尝试澄清它：

让S1是正则表达式 1 匹配的（无限）字符串集。 S2是正则表达式 2 匹配的字符串集。 当S1 和 S2 的交集为空时，正则表达式 2 与正则表达式 1 正交。 正则表达式 ^\\d_a$ 将不是正交的，因为字符串 '2_a' 在集合 S1和S2 中。

如果两个正则表达式彼此正交，如何以编程方式确定？

最好的情况是一些实现如下方法的库：

/**
 * @return True if the regex is orthogonal (i.e. "intersection is empty"), False otherwise or Null if it can't be determined
 */
public Boolean isRegexOrthogonal(Pattern regex1, Pattern regex2);

Answer 1

“正交”你的意思是“交集是空集”我接受吗？

我会为交集构造正则表达式，然后以正常形式转换为正则语法，看看它是否是空语言......

再说一遍，我是一个理论家......

Answer 2

我会为交集构造正则表达式，然后以正常形式转换为正则语法，看看它是否是空语言......

这就像用大炮射击麻雀。 为什么不直接构建产品自动机并检查从初始状态是否可以到达接受状态？ 这也将立即为您提供交集中的字符串，而无需先构造正则表达式。

得知存在多项式时间解，我会有点惊讶，而得知它等同于停机问题，我也不会感到惊讶。

我只知道一种方法，它涉及从正则表达式创建 DFA，这是指数时间（在退化情况下）。 它可以还原为停机问题，因为一切都是，但停机问题不能简化为它。

如果是最后一个，那么您可以使用任何 RE 都可以转换为有限状态机的事实。 如果两个有限状态机具有相同的节点集，并且连接这些节点的弧线相同，则它们是相等的。

因此，考虑到我认为您用作正交定义的内容，如果您将 RE 转换为 FSM 并且这些 FSM 不相等，则 RE 是正交的。

那不正确。 您可以有两个 DFA (FSM)，它们在边缘标记的多图意义上是非同构的，但接受相同的语言。 此外，如果情况并非如此，您的测试将检查两个正则表达式是否接受不相同，而 OP 想要非重叠语言（空交集）。

---

另外，请注意 \\1, \\2, ..., \\9 结构不是常规的：它不能用串联、联合和 *（Kleene 星）表示。 如果你想包括回换，我不知道答案是什么。 同样有趣的是，上下文无关语言的相应问题是不可判定的：没有算法采用两个上下文无关文法 G1 和 G2，并在当 L(G1) ∩ L(g2) ≠ Ø 时返回真值。

Answer 3

这个问题发布已经两年了，但我很高兴地说，现在只需在此处调用“genex”程序即可确定： https : //github.com/audreyt/regex-genex

$ ./binaries/osx/genex '^\d+_[a-z]+$' '^\d*$'
$

空输出意味着没有匹配两个正则表达式的字符串。 如果它们有任何重叠，它将输出整个重叠列表：

$ runghc Main.hs '\d' '[123abc]' 
1.00000000      "2"
1.00000000      "3"
1.00000000      "1"

希望这有帮助！

Answer 4

我终于找到了我正在寻找的图书馆：

dk.brics.automaton

用法：

/**
 * @return true if the two regexes will never both match a given string
 */
public boolean isRegexOrthogonal( String regex1, String regex2 ) {
   Automaton automaton1 = new RegExp(regex1).toAutomaton();
   Automaton automaton2 = new RegExp(regex2).toAutomaton();
   return automaton1.intersection(automaton2).isEmpty();
}

应该注意的是，该实现不支持也不能支持复杂的 RegEx 功能，例如反向引用。 请参阅介绍dk.brics.automaton的博客文章“A Faster Java Regex Package” 。

Answer 5

fsmtools可以在有限状态机上执行各种操作，您唯一的问题是将正则表达式的字符串表示形式转换为 fsmtools 可以使用的格式。 对于简单的情况，这绝对是可能的，但是在存在诸如 look{ahead,behind} 之类的高级功能时会很棘手。

您可能还会查看OpenFst ，尽管我从未使用过它。 不过，它支持交叉。

Answer 6

\\1, \\2 位上的优秀点......这是上下文无关的，因此无法解决。 次要问题：并非一切都可以简化为暂停......例如，程序等效...... - 布赖恩·波斯托

[我正在回复评论]

IIRC， a^nb^ma^nb^m不是上下文无关的，因此(a\\*)(b\\*)\\1\\2也不是，因为它是相同的。 ISTR { ww | w ∈ L } { ww | w ∈ L }即使 L 是“nice”，也不是“nice”，因为 nice 是regular ， context-free 。

我修改了我的声明： RE 中的所有内容都可以归结为停机问题 ;-)

Answer 7

您可以使用诸如Regexp::Genex 之类的东西来生成测试字符串以匹配指定的正则表达式，然后使用第二个正则表达式上的测试字符串来确定这两个正则表达式是否正交。

Answer 8

在某些情况下，证明一个正则表达式与另一个是正交的可能是微不足道的，例如相同位置的互斥字符组。 除了最简单的正则表达式之外，对于任何其他正则表达式来说，这都是一个重要的问题。 对于带有组和反向引用的严肃表达，我什至会说这可能是不可能的。

Answer 9

我相信kdgregory是正确的，您使用 Orthogonal 来表示Complement 。

这是正确的吗？

Answer 10

首先让我说我不知道​​如何构建这样一个算法，我也不知道有任何实现它的库。 然而，当得知对于任意复杂性的一般正则表达式不存在这样的东西时，我一点也不会感到惊讶。

每个正则表达式都定义了可以由表达式生成的所有字符串的正则语言，或者，如果您愿意，还可以定义所有与正则表达式“匹配”的字符串。 将语言视为一组字符串。 在大多数情况下，该集合将无限大。 您的问题是问正则表达式给出的两个集合的交集是否为空。

至少对于第一个近似值，我无法想象不计算集合就可以回答这个问题的方法，对于无限集合，这将比您花费的时间更长。 我认为可能有一种方法可以计算有限集并确定何时对模式进行了超出其他正则表达式所需的详细说明，但这并不简单。

例如，只考虑简单的表达式(ab)*和(aba)*b 。 什么算法会决定从第一个表达式生成abab然后停止，而不检查ababab ， abababab等，因为它们永远不会工作？ 您不能只生成字符串并检查直到找到匹配项，因为当语言不相交时，这将永远不会完成。 我无法想象在一般情况下会有什么工作，但是在这种情况下，有些人比我好得多。

总而言之，这是一个棘手的问题。 得知存在多项式时间解，我会有点惊讶，而得知它等同于停机问题，我也不会感到惊讶。 尽管考虑到正则表达式不是图灵完备的，但似乎至少有可能存在解决方案。

Answer 11

我会做以下事情：

• 使用类似于以下结构的内容将每个正则表达式转换为 FSA：

   struct FSANode { bool accept; Map<char, FSANode> links; } List<FSANode> nodes; FSANode start;

请注意，这不是微不足道的，但对于简单的正则表达式应该不那么困难。

• 制作一个新的组合节点，如：

   class CombinedNode { CombinedNode(FSANode left, FSANode right) { this.left = left; this.right = right; } Map<char, CombinedNode> links; bool valid { get { return !left.accept || !right.accept; } } public FSANode left; public FSANode right; }

根据左右两侧的相同字符建立链接，您将获得两个 FSANode，它们构成了一个新的 CombinedNode。

然后从CombinedNode(leftStart, rightStart)开始，找到生成集，如果有任何无效的CombinedNodes，则该集不是“正交的”。

Answer 12

将每个正则表达式转换为 DFA。 从一个 DFA 的接受状态创建一个 epsilon 转换到第二个 DFA 的开始状态。 通过添加 epsilon 转换，您实际上已经创建了 NFA。 然后将 NFA 转换为 DFA。 如果开始状态不是接受状态，并且接受状态可达，那么这两个正则表达式就不是“正交的”。 （因为它们的交集是非空的。）

存在将正则表达式转换为 DFA 以及将 NFA 转换为 DFA 的已知过程。 您可以查看 Sipser 所著的“计算理论导论”之类的书以了解程序，或者只是在网上搜索。 毫无疑问，许多本科生和毕业生不得不为一个或另一个“理论”课做这件事。

Answer 13

我说得太快了。 我在原帖中所说的不会奏效，但是如果您可以将正则表达式转换为 DFA 形式，则有一个程序可以说明您要执行的操作。

您可以在我在第一篇文章中提到的书中找到该过程：Sipser 的“计算理论导论”第 2 版。 它在第 46 页，在脚注中有详细信息。

该过程将为您提供一个新的 DFA，它是两个 DFA 的交集。 如果新的 DFA 具有可到达的接受状态，则交集是非空的。