OCaml 中的邏輯回歸

Question

我試圖在 OCaml 中使用邏輯回歸。 我需要將它用作我正在解決的另一個問題的黑盒。 我找到了以下網站：

http://math.umons.ac.be/anum/en/software/OCaml/Logistic_Regression/

我將此站點中的以下代碼（進行了一些修改 - 我定義了自己的 iris_features 和 iris_label）粘貼到名為logistic_regression.ml 的文件中：

open Scanf
open Format
open Bigarray
open Lacaml.D

let log_reg ?(lambda=0.1) x y =
  (* [f_df] returns the value of the function to maximize and store
     its gradient in [g]. *)
  let f_df w g =
    let s = ref 0. in
    ignore(copy ~y:g w); (* g ← w *)
    scal (-. lambda) g;  (* g = -λ w *)
    for i = 0 to Array.length x - 1 do
      let yi = float y.(i) in
      let e = exp(-. yi *. dot w x.(i)) in
      s := !s +. log1p e;
      axpy g ~alpha:(yi *. e /. (1. +. e)) ~x:x.(i);
    done;
    -. !s -. 0.5 *. lambda *. dot w w
  in
  let w = Vec.make0 (Vec.dim x.(0)) in
  ignore(Lbfgs.F.max f_df w);
  w


let iris_features = [1 ; 2 ; 3] ;;
let iris_labels = 2 ;;

let proba w x y = 1. /. (1. +. exp(-. float y *. dot w x))
let () =
  let sol = log_reg iris_features iris_labels in
  printf "w = %a\n" Lacaml.Io.pp_fvec sol;
  let nwrongs = ref 0 in
  for i = 0 to Array.length iris_features - 1 do
    let p = proba sol iris_features.(i) iris_labels.(i) in
    printf "Label = %i prob = %g => %s\n" iris_labels.(i) p
      (if p > 0.5 then "correct" else (incr nwrongs; "wrong"))
  done;
  printf "Number of wrong labels: %i\n" !nwrongs

我有以下問題：

1. 在嘗試編譯代碼時，我收到錯誤消息：“ Error: Unbound module Lacaml ”。 我已經安裝了 Lacaml； 做了幾次 opam init，試圖提供一個標志 -package = Lacaml; 我不知道如何解決這個問題？
2. 如您所見，我已經定義了自己的 iris_features 和 iris_labels 版本-類型是否正確，即 function log_reg 中的類型是 x int 列表，而 y 的類型是 int？

Answer 1

iris_features和iris_labels都是 arrays 並且 OCaml 中的數組文字用[|分隔。 , |]樣式括號，例如，

let iris_features = [|(* I don't know what to put here*)|]
let iris_labels = [|2|]

iris_features數組的類型為vec array ，即一個向量數組，而不是一個整數數組，我是不是挖得太深不知道該放什么，但語法如下，

let iris_features =[|
  Vec.of_list [1.; 2.; 3.;];
  Vec.of_list [4.; 5.; 6.;];
|]

自從編寫代碼以來，Lacaml 接口發生了一些變化，並且axpy不再接受標記為~x arguments （x 和 y 向量現在都是位置的）所以你需要刪除~x並修復順序（我假設x.(i)是a*x + y x中的 x 並且g對應於y ，例如，

 axpy ~alpha:(yi *. e /. (1. +. e)) x.(i) g;

這段代碼也依賴於lbfgs ，所以你也需要安裝它，

opam depext --install lbfgs

我建議您使用dune作為您的默認構建系統，但對於快速原型設計，您可以使用ocamlbuild 。 將您的代碼放入名為regress.ml的文件中的空文件夾中（您可以選擇其他名稱，只需相應地更新構建指令），現在您可以將其構建為本機可執行文件，如

ocamlbuild -pkg lacaml -pkg lbfgs regress.native

運行它

./regress.native

如果你在 OCaml 頂層（又名解釋器，即在ocaml解釋器中運行你的代碼），你可以使用以下兩個指令加載lacaml和lbfgs ：

#use "topfind";;
#require "lacaml.top";;
#require "lbfgs";;

（ #不是提示符，而是指令語法的一部分，所以不要忘記鍵入它）。

現在您可以將代碼復制粘貼到解釋器中並使用它。

獎勵軌道 - 用沙丘建造

1. 創建一個空文件夾並在那里放置regress.ml 。
2. 刪除open Bigarray和open Scanf Scanf 因為 dune 對警告非常嚴格並將它們變成錯誤（它會在這些行上警告你，因為它們實際上是未使用的）
3. 創建沙丘項目

dune init exe regress --libs lacaml,lbfgs

4. 構建並運行

dune exec ./regress.exe