使用 bootstrap 方法的置信區間 AUC

[英]Confidence interval AUC with the bootstrap method

今天我嘗試做一個引導程序來獲得各種不同 ML 算法 AUC 的區間置信度。 我使用了我的個人醫療數據集，其中包含 61 個特征，格式如下： 年齡女性 65 1個 45 0 例如我使用了這種類型的算法： 最后，當我使用 boostrap 方法獲取置信區間時（我從其他主題中獲取代碼： How to ...

如何通過所有變量創建一些機器學習模型，並在每次迭代后創建下一個 XGBClassifier，在 Python 中減少 1 個變量？

[英]How to create a few Machine Learning models through all variables and after each iteration next XGBClassifier is created with 1 less var in Python?

我在 Python Pandas 中有 DataFrame，如下所示： 輸入數據： Y - 二進制目標 X1...X5 - 預測變量是 X1 X2 X3 X4 X5 1個 111 22 1個 0 150 0 12 33 1個 0 222 1個 150 44 0 ...

AUC 1，但准確度 <100%

[英]AUC 1, but accuracy <100%

當測試二元分類器時，我得到 83% 的准確度（當閾值設置為 0.5 時），但是當我鍛煉 ROC 和 AUC 時，我得到的 AUC 值為 1，我認為這是不正確的，因為在這種情況下我應該得到精度為 100？ 我有以下數據（例如前 5 點）： 真實標簽： true_list = [1. 1. 1. 1. ...

在不平衡的數據集中：正數 class 占多數 class

[英]In imbalanced datasets: the positive class is the majority class

我使用 Weka 平台。 我正在處理一個不平衡的數據集，大多數 class 是正 class。我的目標是應用不同的分類器並通過使用包括 AUC 在內的多種評估指標來評估它們的性能。 我的問題是：因為正class是大多數class，是否應該做特殊程序？ ...

R 中使用辛普森法則的曲線下面積

[英]Area Under the Curve using Simpson's rule in R

我想計算由一組實驗值定義的曲線下面積。 我創建了一個 function 來使用我在這篇文章中看到的辛普森法則來計算 AUC 的近似值。 但是，function 僅在接收到奇數長度的向量時才起作用。 當輸入向量的長度為偶數時，如何修改代碼以添加最后一個梯形的面積。 這是一個數據示例： ...

具有（基於 AUC 的）早停輪次的 LightGBM 二元分類器是以對數損失為目標 function，還是在優化算法中使用 AUC？

[英]Does LightGBM binary classifier with (AUC-based) early-stopping rounds take log loss as objective function, or use AUC in optimization algorithm?

我有一個用於二進制分類任務的 LightGBM 梯度提升 model。 LightGBM 參數說明state 二分類的目標 function 是對數損失（交叉熵）。 因此，我知道這是 function model 在其優化中使用的目標。 但是，我已將 model 設置為在驗證數據的 AUC 在 ...

順序錯誤（y）：“orderVector1”中未實現的類型“list”

[英]Error in order(y) : unimplemented type 'list' in 'orderVector1'

試圖將 AUC 計算為 plot ROC 然后我去R調試 你可以幫幫我嗎？ ...

部分AUC的值是否可以大於完整的AUC？

[英]Can the value of partial AUC be bigger than the complete AUC?

我在一個 plot 上有兩條 ROC 曲線及其相應的 AUC。 當我計算部分 AUC 時，這些值大於其中一條曲線的實際 AUC。 那可能嗎？ 我正在使用 sklean 通過將 max_fpr 設置為 0.1 來計算部分 AUC。 這個部分AUC是怎么計算的？ ...

使用 MICE（使用 R）進行多重插補后邏輯和順序 model 的 AUC

[英]AUC of logistic and ordinal model following multiple imputation using MICE (with R)

我在問一個關於將變量包含在邏輯變量和序數 model 中的附加預測好處的問題。我正在使用小鼠來估算缺失的協變量，並且很難找到計算 AUC 和 R 合並估算模型平方的方法. 有人有建議嗎？ 摘要讀數僅提供項、估計、std.error、統計、df、p.value 示例代碼： 非常感謝。 ...

WEKA 在哪個 ROC 閾值下計算 TPR？

[英]At which ROC threshold does WEKA calculate TPR?

我正在使用 WEKA 進行分類。 在結果中，它顯示了類和 AUC 的 TPR。 在 1R 旁邊（ROC 曲線中只有一個點）我不明白 TPR 是在哪個閾值計算的：0.50？ WEKA 是否對所有算法使用相同的標准？ 感謝您的澄清。 ...

如何從 scikitplot plot_precision_recall 方法中提取 auc 分數？

[英]How to extract auc scores from scikitplot plot_precision_recall method?

我正在嘗試獲得如下所示的微平均分數： 例如，我有 plot： 微平均為 0.975 我嘗試過將auc方法與precision_recall_curve和average_precision_score一起使用，但結果並不相同。 如果我可以從plot_precision_recall方法本身中提取所 ...

獲取 roc_auc_score nan 用於多類分類的交叉驗證

[英]getting roc_auc_score nan for cross validation of multiclass classification

我正在研究一個多類分類問題，其中包含 3 個類的不平衡數據，我使用 layerifiedkfolds 拆分數據並使用 SMOTE 方法對其進行過采樣。 當我使用交叉驗證來評估我的模型時，我得到了 F1_score 的結果，但對於 roc_auc 我只得到了 nan 值 X_sm 和 y_sm 都是 ...

如何使用我自己的分類數據集計算 python 中的 ROC 曲線？

[英]How to calculate ROC curve in python using my own classified dataset?

我有一個包含兩列的數據集： i) A 列：絕對二進制值（0 和 1）代表基本事實。 ii) B 列：從 0 到 1 的值（例如，0.2、0.33、0.82）代表我的新測試結果。 如何計算靈敏度和特異性（使用約登指數最大化）、ROC 曲線和 AUC？ ...

在 R 中計算低於某個閾值的曲線下面積

[英]Calculate area under a curve below a certain threshold in R

我正在嘗試計算某個點以下的面積，但不確定該怎么做。 我已經看到了這個問題，但它並沒有完全回答我正在尋找的內容。 這是一些示例數據... 我想計算趨勢線的 AUC，但僅適用於低於某個閾值（例如-400）的情況。 所以我可以提取平滑線的值...... 並使用這樣的東西來獲得 AUC 值 我的問題是： 如 ...

精確召回分數與可視化不匹配

[英]Precision Recall scores doesn't match visualization

我正在計算 3 個不同模型的精確召回分數。 對於我的第一個 model，plot 與 0.85 的 auc 分數不匹配，但應該是 0.5。 這是我的代碼： ...

R 中 multiclass.roc 的平均 AUC 的 Plot

[英]Plot of average AUC from multiclass.roc in R

我想 plot 宏平均 AUC 三類。 我的工作示例是： 我發現三類索賠的宏觀平均 AUC 為 0.6905。 然后，我在一個 plot 中繪制了三個類： 我想在上面的 plot 中包含宏觀平均 AUC。 有什么辦法可以將 plot 宏觀平均 AUC 與一個 plot 三類合二為一？ ...

Delong 測試 ROC - 提取表/數據框中的所有值

[英]Delong test ROC - extract all values in a table/dataframe

我通過我想要比較的值列表迭代了 delong 測試。 我得到的結果如下所示： 我想知道是否可以將每個 delong 測試的值（對於 Z、p 值、CI、AUC ROC1 和 AUC ROC2）放入數據幀/表中。 我試圖提取它，但如果你使用它似乎不起作用 有人對此有想法嗎？ 非常感謝！！ 最 ...

R中Roc曲線的置信區間

[英]Confidence interval for Roc curve in R

我創建了代碼，用於顯示邏輯和隨機森林的 ROC 曲線的置信區間。 但我想在 x 軸上有 1- 特異性而不是特異性。 代碼是 和輸出： 任何想法？ ...

數據框列的曲線下面積

[英]Area under curve of a dataframe column

我正在嘗試計算從第一行到當前行的數據幀值的累積 AUC。 前任： 積分 曲線下面積 0 0 0 1 1 0.5 ...

Roc_auc百分比計算給出nan

[英]Roc_auc percentage calculation giving nan

我正在嘗試計算我的數據的 ROC 分數，但結果是 nan。 代碼： df_n 是歸一化值的數組，我也僅使用數據集中的 X 數據值進行了嘗試。 y 是一個二進制值數組。 df_n 形狀：(150, 4) y 形狀：(150,) 我很難過，它應該工作！ ...