在 Rust 中使用 Polars 對時間序列進行重采樣

Question

我正在嘗試通過進行一些數據解析和重新使用我的一些交易工具來學習 rust，但很快就卡住了。

我想將我的數據從 5 分鍾重新采樣到 15 分鍾，而 Polars 似乎能夠以優化的方式做到這一點。

到目前為止，這是我的嘗試。 我設法將時間從 5 分鍾分組到 15 分鍾，但我無法全神貫注於如何將此分組應用於其他列。

use polars::prelude::*;
use std::error::Error;

fn type_of<T>(_: T) {
    println!("--- DATA TYPE: {}", std::any::type_name::<T>());
}

fn main() -> Result<(), Box<dyn Error>> {
    let path = "path/to/.csv";
    let df = LazyCsvReader::new(path)
        .has_header(true)
        .with_parse_dates(true)
        .finish()?
        .fetch(20)?;
   
let tt = df.groupby_dynamic(
        vec![df.column("close")?.clone()],
        &DynamicGroupOptions {
            index_column: "time".into(),
            every: Duration::parse("15m"),
            period: Duration::parse("5m"),
            offset: Duration::parse("0s"),
            truncate: true,
            include_boundaries: false,
            closed_window: ClosedWindow::Left,
        },
    )?;
 
    //type_of(&tt);
    println!("{:?}", tt);

}

OUTPUT

Series: 'time' [datetime[μs]]
[
        2019-09-03 09:00:00
        2019-09-03 09:15:00
        2019-09-03 09:30:00
        2019-09-03 09:45:00
        2019-09-03 10:00:00
        2019-09-03 10:15:00
        2019-09-03 10:30:00
        2019-09-03 10:45:00
        2019-09-03 11:00:00
], [], Slice { groups: [[0, 1], [1, 1], [1, 4], [4, 4], [7, 4], [10, 4], [13, 4], [16, 4], [19, 1]], rolling: false })

一旦我嘗試添加一個系列，我想在“by”字段中分組（groupby_dynamic 中的第一個參數）沒有重新采樣參與，我只得到與放置相同的系列。

function 輸出一個Slice { groups: ..."類型為polars_core::frame::groupby::proxy::GroupsProxy但我不知道該如何處理。

我的 cargo.toml：

[dependencies]
polars = { version = "0.25.1", features = ["lazy"] }

我的.csv 文件：

time,open,high,low,close,volume
2019-09-03 09:00:00,1183.9999,1183.9999,1183.9999,1183.9999,150
2019-09-03 09:30:00,1178.69,1180.69,1178.47,1178.47,5180
2019-09-03 09:35:00,1177.03,1180.6146,1176.0,1179.47,70575
2019-09-03 09:40:00,1180.6345,1186.89,1180.6345,1185.5141,37267
2019-09-03 09:45:00,1185.9,1186.43,1182.43,1182.47,20569
2019-09-03 09:50:00,1183.54,1184.0,1180.0,1181.96,20754
2019-09-03 09:55:00,1182.5,1186.0,1182.49,1184.83,20848
2019-09-03 10:00:00,1185.5,1185.59,1184.03,1185.145,18581
2019-09-03 10:05:00,1184.65,1184.65,1175.5,1175.86,27714
2019-09-03 10:10:00,1175.49,1176.5,1173.65,1175.47,21779
2019-09-03 10:15:00,1175.295,1177.42,1173.5,1173.68,13588
2019-09-03 10:20:00,1173.01,1176.3717,1173.01,1175.44,9853
2019-09-03 10:25:00,1175.7896,1178.985,1175.7896,1177.468,7866
2019-09-03 10:30:00,1178.05,1179.0,1176.0038,1178.72,11576
2019-09-03 10:35:00,1179.005,1179.005,1176.53,1177.0077,9275
2019-09-03 10:40:00,1177.18,1178.02,1176.0201,1178.02,8852
2019-09-03 10:45:00,1178.3,1182.5,1178.3,1181.7113,14703
2019-09-03 10:50:00,1181.74,1181.9952,1180.01,1181.738,10225
2019-09-03 10:55:00,1182.11,1183.428,1181.33,1183.428,7835
2019-09-03 11:00:00,1183.41,1184.665,1183.41,1184.24,9078

接下來的事情是從“封閉”列中獲取第一個、最后一個、最大、最小值（是的，我正在嘗試獲取 OHLC 蠟燭圖）。

很高興有任何幫助！

Answer 1

最后，我解決了！

我沒有正確使用 Lazy-API。 我有並以某種方式使用了group_dynamic的一些其他實現，我猜它用於 Polars 或其他東西的內部工作。 重點是我忘記了.lazy()

但是，這就是我解決它的方式：

use polars::prelude::*;
use std::error::Error;

fn type_of<T>(_: T) {
    println!("--- DATA TYPE: {}", std::any::type_name::<T>());
}

fn main() -> Result<(), Box<dyn Error>> {
    let path = "/home/niklas/projects/ML-trader/Datasets/Raw/GOOG.csv";
    let df = LazyCsvReader::new(path)
        .has_header(true)
        .with_parse_dates(true)
        .finish()?
        .collect()?;

    type_of(&df);
    // println!("{}", &df["close"]);

    let tt = df
        .lazy()
        .groupby_dynamic(
            vec![],
            DynamicGroupOptions {
                index_column: "time".into(),
                every: Duration::parse("15m"),
                period: Duration::parse("15m"),
                offset: Duration::parse("0s"),
                truncate: false,
                include_boundaries: false,
                closed_window: ClosedWindow::Left,
            },
        )
        .agg([
            col("close").first().alias("firstClose"),
            col("close").last().alias("lastClose"),
            col("close"),
        ])
        .fetch(20);

    println!("{:?}", tt);

    Ok(())
}

OUTPUT

--- DATA TYPE: &polars_core::frame::DataFrame
--- DATA TYPE: &core::result::Result<polars_core::frame::DataFrame, polars_core::error::PolarsError>
Ok(shape: (8, 4)
┌─────────────────────┬────────────┬───────────┬─────────────────────────────────┐
│ time                ┆ firstClose ┆ lastClose ┆ close                           │
│ ---                 ┆ ---        ┆ ---       ┆ ---                             │
│ datetime[μs]        ┆ f64        ┆ f64       ┆ list[f64]                       │
╞═════════════════════╪════════════╪═══════════╪═════════════════════════════════╡
│ 2019-09-03 09:00:00 ┆ 1183.9999  ┆ 1183.9999 ┆ [1183.9999]                     │
├╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 2019-09-03 09:30:00 ┆ 1178.47    ┆ 1185.5141 ┆ [1178.47, 1179.47, 1185.5141]   │
├╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 2019-09-03 09:45:00 ┆ 1182.47    ┆ 1184.83   ┆ [1182.47, 1181.96, 1184.83]     │
├╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 2019-09-03 10:00:00 ┆ 1185.145   ┆ 1175.47   ┆ [1185.145, 1175.86, 1175.47]    │
├╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 2019-09-03 10:15:00 ┆ 1173.68    ┆ 1177.468  ┆ [1173.68, 1175.44, 1177.468]    │
├╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 2019-09-03 10:30:00 ┆ 1178.72    ┆ 1178.02   ┆ [1178.72, 1177.0077, 1178.02]   │
├╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 2019-09-03 10:45:00 ┆ 1181.7113  ┆ 1183.428  ┆ [1181.7113, 1181.738, 1183.428] │
├╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 2019-09-03 11:00:00 ┆ 1184.24    ┆ 1184.24   ┆ [1184.24]                       │
└─────────────────────┴────────────┴───────────┴─────────────────────────────────┘)

我的.toml

[dependencies]
polars = { version = "0.25.1", features = ["lazy", "dynamic_groupby"] }

謝謝大家來聽我的 TED 演講！