比如说，出于某种原因，我想使用 PyTorch 拟合线性回归，如下图所示。 我如何计算 model 的Hessian 矩阵以最终计算参数估计的标准误差？ 生成一些数据并使用 model 例如，在 R 中，使用相同的数据和lm() function，我恢复了相同的参数，但我也能够恢复 Hessian ...
似乎对于较大的nnet::multinom多项式回归模型（具有几千个系数），计算 Hessian（负对数似然的二阶导数矩阵，也称为观察到的 Fisher 信息矩阵）变得非常慢，然后阻止我计算方差-协方差矩阵并允许我计算 model 预测的置信区间。 It seems the culprit is ...
Hessian 矩阵有助于确定鞍点和函数的局部极值。 资料来源： https ://machinelearningmastery.com/a-gentle-introduction-to-hessian-matrices/ Hessian 矩阵在牛顿方法中用于优化函数。 当 Hessian ...
在 MATLAB 中，python 中以下代码段的替换是什么？ 来自SIFT 特征提取的 Python 实现 如果 粗麻布 = [-0.001 -9.042 -9.491;-9.042 -2.345 -7.983;-9.491 -7.983 -7.269] 和梯度 = [1.6 6.1 9 ...
我正在尝试使用最大似然方法估计多重线性概率 model （killer_apps 是有限因变量）。 因此，在这段代码中，我试图估计回归量和各自的标准误差。 谁能告诉我为什么我会收到这个错误，一般来说，我做错了什么？ 我试图从用于简单线性概率 model 的示例中扩展代码 ...
我尝试使用 R package ltm 拟合分级响应 model。 问题是 Hessian 矩阵不收敛，我不明白为什么。 这是我使用的代码： 这会导致错误消息：“Hessian 矩阵在收敛时包含无限或缺失值；不稳定的解决方案。” 我已经按照 grm 帮助页面中的建议添加了start.val = " ...
我有一个机器学习问题，我相信负二项式损失 function 很合适，但是轻 gbm package 没有它作为标准，我正在尝试实现它，但我不知道如何得到 Gradient 和 Hessian，有人知道我该怎么做吗？ 我设法得到了损失 function，但我无法得到梯度和粗麻布。 现在如何获得梯度和 ...
我对 PyTorch 比较陌生，并且正在尝试从使用 Hessian 矩阵近似术语的学术论文中重现算法。 我已经设置了一个玩具问题，以便我可以将完整 Hessian 的结果与近似值进行比较。 我找到了这个要点并一直在使用它来计算算法的完整 Hessian 部分。 我收到错误消息：“RuntimeEr ...
我知道 Hessian 矩阵是一种涉及多个自变量的函数的二阶导数检验。 如何找到涉及多个变量的函数的最大值或最小值？ 它是使用 Hessian 矩阵或其主要次要矩阵的特征值找到的吗？ ...
所以我对 python 中的 ML/AI 游戏比较陌生，我目前正在研究围绕 XGBoost 的自定义目标函数的实现的问题。 我的微分方程知识非常生疏，所以我创建了一个带有梯度和粗麻布的自定义 obj 函数，该函数对作为 XGBRegressor 中的默认目标函数运行的均方误差函数进行建模，以确保我 ...
关于sympy ，我非常环保，我也不知道如何以格式正确的方式产生输出。 现在，我已经计算出了我的潜在函数的Hessian矩阵： V = 1/2*kOH*(r1)**2 +1/2*kOH*(r2)**2 +1/2*kHH*(r3)**2 的三个谐波振荡器项，其一般形式为： 1/ ...
在通过trust-constr方法使用scipy.optimize.minimize时，我得到了以下UserWarning： 我有一个线性函数，所以我想尝试将hessian设置为零。 但这如何工作？ 我尝试了以“ hess = None”作为参数的最简单方法。 好吧，不好尝试。 ...
“在提取线之前，您需要检测它们上的潜在点。首先应用高斯滤波器，然后将Sobel滤波器用作导数运算符。对Hessian的行列式设定阈值，然后在3×3邻域中应用非最大抑制。忽略像素为此，任何滤镜甚至部分落在图像边界之外。” 我了解先对图像进行高斯消除噪声，然后分别对Sobel_x和Sobel_ ...
我正在R包Rsolnp中使用solnp()函数来解决具有约束的非线性回归。 它运作良好，收敛没有问题。 我想使用Hessian矩阵来计算四个参数估计值的标准误差，但是Hessian不是我所期望的4乘4，而是5乘5。粗麻布大小。 我发现印刷粗麻布的所有例子表明它们是p的由P（例如，预期的大小 ...
在 tensorflow 中计算 Hessian 非常简单： 这正确返回 在我的实际情况中，我需要将它拆分为两个变量，而不是使用单个变量x保存三个值： x （保存前两个）和y （保存最后一个）。 我尝试了一个幼稚的 但我得到： [[ 8., 20.], [20., 34.]], [[ ...
我想要做的是取一个表示 3D 图像数据的 numpy 数组并计算每个体素的 Hessian 矩阵。 我的输入是一个形状矩阵 (Z,X,Y)，我可以轻松地沿 z 切取一个切片并检索单个原始图像。 我可以按如下方式访问单个体素的粗麻布： 但这很麻烦，我无法轻松切片数据。 我曾尝试使用重塑如下 ...
我最小化了一个函数，并且需要它的（逆）Hessian 来计算标准误差。 该函数为（逆）Hessian 提供了这个： 我期望这里有一个矩阵？ 我试过list(hess_inv)但这不起作用。 PS我正确的是对角线值的平方根等于标准误差吗？ ...
假设我想计算关于某些参数W（例如前馈神经网络的权重和偏差）的标量值函数的Hessian。 如果您考虑以下代码，则实施经过培训以最小化MSE损失的二维线性模型： 你期望session.run(tf.hessian,feed_dict={})返回一个2x2矩阵（等于W）。 事实证明，因为 ...
我正在尝试使用tf.hessians函数获取黑森州矩阵。 损失值和变量在每次训练后都会更新，而Hessian矩阵值则保持不变。 而且，它们不依赖于可以手动设置的初始变量值。 实际上，我的问题与此类似，尚未收到任何答案。 这是我用于测试的代码： 下面是打印结果： 因此，cu ...
我的问题有60个变量（ x1至x60 ），这是函数： 我想得到函数f的黑森矩阵。 但是，由于变量太多，我不想为syms和f逐一写它们。 我知道我可以手动计算函数f的Hessian矩阵，因为函数不太困难。 但是，我有时需要更改函数的形式，例如将函数更改为（增加括号中的变量数）： ...