逐行读取文件（不是utf-8）？

Question

是否可以逐行读取文件，如果它不是 utf-8 编码的std::io::File和std::io::BufReader ？

我查看std::io::Lines并返回Result<String> ，所以我担心，我是否实现了我自己的BufReader做同样的事情，但返回Vec<u8> ，或者我可以重用std::io::BufReader以某种方式？

Answer 1

您不必重新实现BufReader本身，它提供了您的read_until所需的方法：

fn read_until(&mut self, byte: u8, buf: &mut Vec<u8>) -> Result<usize>

您提供自己的Vec<u8>并且将附加文件的内容，直到遇到byte （0x0A为LF）。

有几个潜在的陷阱：

• 缓冲区不仅可以用LF字节结束，而且可以用CR LF序列结束，
• 您可以在后续呼叫之间清除buf 。

很简单while let Ok(_) = reader.read_until(0x0A as u8, buffer)可以让你轻松读取你的文件。

您可以考虑实现一个std::io::Lines等效项，它从编码转换为UTF-8以提供一个不错的API，尽管它会有性能成本。

Answer 2

要逐行读取文件（utf-8 或非 utf-8），我使用：

/*
// Cargo.toml:
[dependencies]
encoding_rs = "0.8"
encoding_rs_io = "0.1.7"
...
*/

use encoding_rs::WINDOWS_1252;
use encoding_rs_io::DecodeReaderBytesBuilder;
use std::{
    fs,
    io::{BufRead, BufReader, Error},
};

fn main() {
    let file_name = "/tmp/file.txt";
    let buffer: Box<dyn BufRead> = read_file(file_name);

    for (index, result_vec_bytes) in buffer.split(b'\n').enumerate() {
        let line_number: usize = index + 1;
        let line_utf8: String = get_string_utf8(result_vec_bytes, line_number, file_name);
        println!("line_utf8");
    }
}

这样：

fn read_file(file_name: &str) -> Box<dyn BufRead> {
    let file = match fs::File::open(file_name) {
        Ok(f) => f,
        Err(why) => panic!("Problem opening the file: \"{file_name}\"\n{why:?}"),
    };
    Box::new(BufReader::new(file))
}

和

fn get_string_utf8(
    result_vec_bytes: Result<Vec<u8>, Error>,
    line_number: usize,
    file_name: &str,
) -> String {
    let vec_bytes: Vec<u8> = match result_vec_bytes {
        Ok(values) => values,
        Err(why) => {
            eprintln!("File: {file_name}");
            panic!("Failed to read line nº {line_number}: {why}")
        }
    };

    // from_utf8() checks to ensure that the bytes are valid UTF-8
    let line_utf8: String = match std::str::from_utf8(&vec_bytes) {
        Ok(str) => str.to_string(),
        Err(_) => {
            let mut data = DecodeReaderBytesBuilder::new()
                .encoding(Some(WINDOWS_1252))
                .build(vec_bytes.as_slice());
            let mut buffer = String::new();
            let _number_of_bytes = match data.read_to_string(&mut buffer) {
                Ok(num) => num,
                Err(why) => {
                    eprintln!("Problem reading data from file in buffer!");
                    eprintln!("File: {file_name}");
                    eprintln!("Line nº {line_number}");
                    eprintln!("Used encoding type: WINDOWS_1252.");
                    eprintln!("Try another encoding type!");
                    panic!("Failed to convert data to UTF-8!: {why}")
                }
            };
            buffer
        }
    };

    line_utf8.trim_end_matches('\r').to_string()
}

请参阅Rust 游乐场。