为什么 GOLEM 算法的可能性降低

Question

我正在使用 GOLEM 算法使用 python 进行随意推理，但由于某种原因，在迭代过程中，我的似然分数正在下降。 为什么会这样？

我有一个相当大的数据集，有 310127104 行。 我无法执行此操作，因为此方法不适合此特定任务？

output 看起来像这样：

[2022-06-28 19:18:02,137][golem.py - line 204] - INFO - Started training for 1200 iterations.
[2022-06-28 19:18:04,794][golem.py - line 217] - INFO - [Iter 0] score=142.987, likelihood=142.987, h=0.0e+00
[2022-06-28 20:46:41,095][golem.py - line 217] - INFO - [Iter 100] score=141.733, likelihood=141.655, h=9.5e-04
[2022-06-28 22:07:21,093][golem.py - line 217] - INFO - [Iter 200] score=140.727, likelihood=140.475, h=2.0e-02
[2022-06-28 23:27:34,371][golem.py - line 217] - INFO - [Iter 300] score=139.868, likelihood=139.517, h=3.2e-02
[2022-06-29 00:48:43,334][golem.py - line 217] - INFO - [Iter 400] score=138.987, likelihood=138.560, h=4.0e-02
[2022-06-29 02:06:52,349][golem.py - line 217] - INFO - [Iter 500] score=137.903, likelihood=137.324, h=4.9e-02
[2022-06-29 03:28:45,860][golem.py - line 217] - INFO - [Iter 600] score=136.425, likelihood=135.597, h=7.0e-02
[2022-06-29 04:53:14,669][golem.py - line 217] - INFO - [Iter 700] score=135.297, likelihood=134.317, h=8.3e-02
[2022-06-29 06:19:03,769][golem.py - line 217] - INFO - [Iter 800] score=134.337, likelihood=133.297, h=8.3e-02

先感谢您！

Answer 1

我将提前 go 并假设您指的是Ignavier 等人的“GOLEM”因果结构学习算法。 2020 年。

在他们的优化中，他们最小化了由负对数似然和附加惩罚项组成的损失（参见例如等式 3）。 约束优化中的常见做法是使用损失（必须最小化）而不是必须最大化的分数。 这主要是出于约定和一致性的原因。 对于 GOLEM，您可以在第 85 行的官方实现中看到这一点。因此，您的 model 似乎正在按预期进行训练（output 中的“分数”和“可能性”一词可能有点不精确）。

注意事项：

鉴于您可能在真实世界数据上运行 GOLEM，您可能需要考虑 GOLEM（以及一系列类似算法）的出色经验结果似乎是由于基准测试中的模式并且可能无法转化到现实世界，如Reisach el al 所示。 2021 年。