为什么将数据重构为 newtype 会加速我的 haskell 程序？

Question

我有一个程序，它遍历一个表达式树，它对概率分布进行代数，采样或计算结果分布。

我有两种计算分布的实现：一种（ computeDistribution ）可以很好地与 monad 转换器重用，另一种（ simpleDistribution ）我手动将所有内容具体化。 我不想手动具体化所有内容，因为那将是采样和计算代码之间的代码重复。

我也有两个数据表示：

type Measure a = [(a, Rational)]
-- data Distribution a = Distribution (Measure a) deriving Show
newtype Distribution a = Distribution (Measure a) deriving Show

当我将data版本与可重用代码一起使用时，计算 20d2 ( ghc -O3 program.hs; time ./program 20 > /dev/null ) 的分布大约需要一秒钟，这似乎太长了。 选择更高的n值，后果自负。

当我使用手动具体化的代码，或者我在任一实现中使用newtype表示时，计算 20d2 ( time ./program 20 s > /dev/null ) 眨眼之间。

为什么？

我怎样才能找出原因？

我对 Haskell 如何执行的知识几乎为零。 我收集了一个与程序基本相同形状的 thunk 图，但这就是我所知道的。

我认为使用newtype的Distribution的表示与Measure的表示相同，即它只是一个列表，而对于data版本，每个Distribution有点像一个单字段记录，除了指向包含列表的指针，所以data版本必须执行更多分配。 这是真的？ 如果属实，这足以解释性能差异吗？

我是使用 monad 变压器堆栈的新手。 考虑simpleDistribution中的Let和Uniform案例——它们是否与基于walkTree的实现相同？ 我该怎么说？

这是我的程序。 请注意， Uniform n对应于滚动 n 面骰子（以防一元性令人惊讶）。

更新：根据评论，我通过删除不影响性能差距的所有内容来简化我的程序。 我做了两个语义上的改变：概率现在是非规范化的，而且都是不稳定的和错误的，简化步骤已经消失了。 但是我的程序的基本形状仍然存在。 （请参阅非简化程序的问题编辑历史。）

更新 2 ：我做了进一步的简化，将Distribution减少到 list monad 并稍作改动，删除了与概率有关的所有内容，并缩短了名称。 使用data但不是newtype时，我仍然观察到很大的性能差异。

import Control.Monad (liftM2)
import Control.Monad.Trans (lift)
import Control.Monad.Reader (ReaderT, runReaderT)
import System.Environment (getArgs)
import Text.Read (readMaybe)

main = do
  args <- getArgs
  let dieCount = case map readMaybe args of Just n : _ -> n; _ -> 10
  let f = if ["s"] == (take 1 $ drop 1 $ args) then fast else slow
  print $ f dieCount

fast, slow :: Int -> P Integer
fast n = walkTree n
slow n = walkTree n `runReaderT` ()

walkTree 0 = uniform
walkTree n = liftM2 (+) (walkTree 0) (walkTree $ n - 1)

data P a = P [a] deriving Show
-- newtype P a = P [a] deriving Show

class Monad m => MonadP m where uniform :: m Integer
instance MonadP P where uniform = P [1, 1]
instance MonadP p => MonadP (ReaderT env p) where uniform = lift uniform

instance Functor P where fmap f (P pxs) = P $ fmap f pxs

instance Applicative P where
  pure x = P [x]
  (P pfs) <*> (P pxs) = P $ pfs <*> pxs

instance Monad P where
  (P pxs) >>= f = P $ do
    x <- pxs
    case f x of P fxs -> fxs

Answer 1

我怎样才能找出原因？

一般来说，这很难。

做到这一点的极端方法是查看核心代码（您可以通过使用-ddump-simpl运行 GHC 来生成这些代码）。 这很快就会变得复杂，它基本上是一门全新的语言来学习。 您的程序已经足够大，以至于我无法从核心转储中学到很多东西。

找出原因的另一种方法是继续使用 GHC 并提出问题并学习 GHC 优化，直到您认识到某些模式。

为什么？

简而言之，我相信这是由于列表融合。

注意：我不确定这个答案是否正确，并且需要比我现在愿意投入更多的时间/工作来验证。 也就是说，它符合证据。

首先，我们可以通过在O0中运行（即没有优化）来检查您看到的这种减速是否是真正基本的与 GHC 优化触发的结果。 在这种模式下，两种Distribution表示都会产生大致相同（非常长）的运行时间。 这让我相信，问题本质上不是数据表示，而是由新类型版本触发的newtype ，而不是data版本。

当 GHC 在-O1或更高版本中运行时，它会使用某些重写规则来将不同的折叠和列表映射融合在一起，这样它就不需要分配中间值。 （请参阅https://markkarpov.com/tutorial/ghc-optimization-and-fusion.html#fusion以获取有关此概念的体面教程以及https://stackoverflow.com/a/38910170/14802384 ，其中还有一个链接到包含所有重写规则的要点base 。）由于computeDistribution基本上只是一堆列表操作（本质上都是折叠），因此这些操作有可能被触发。

关键是使用Distribution的newtype表示，newtype 包装器在编译期间被擦除，并且允许列表操作融合。 但是，使用data表示，不会删除包装器，并且不会触发重写规则。

因此，我将提出一个未经证实的主张：如果您希望您的data表示与新类型一样newtype ，您将需要设置类似于列表折叠但适用于Distribution类型的重写规则。 这可能涉及编写您自己的特殊折叠函数，然后重写您的 Functor/Applicative/Monad 实例以使用它们。