如何阅读和格式化通过 bash pipe 收到的文本 stream？

Question

目前，我正在使用以下内容来格式化我的 npm 脚本中的数据。

npm run startWin | while IFS= read -r line; do printf '%b\n' "$line"; done | less

它有效，但我的同事不使用 Linux。所以，我想实现while IFS= read -r line; do printf '%b\n' "$line"; done while IFS= read -r line; do printf '%b\n' "$line"; done 在 Go 中while IFS= read -r line; do printf '%b\n' "$line"; done ，并使用 pipe 中的二进制文件。

npm run startWin | magical-go-formater

我试过的

package main

import (
    "fmt"
    "io/ioutil"
    "os"
    "strings"
)

func main() {
  fi, _ := os.Stdin.Stat() // get the FileInfo struct

  if (fi.Mode() & os.ModeCharDevice) == 0 {

    bytes, _ := ioutil.ReadAll(os.Stdin)
    str := string(bytes)
    arr := strings.Fields(str)

    for _, v := range arr {
      fmt.Println(v)
    }
}

目前，该程序使文本流中的任何 output 静音。

Answer 1

您想使用bufio.Scanner进行尾型读取。 恕我直言，您在os.Stdin上所做的检查是不必要的，但是 YMMV。

有关示例，请参见此答案。 ioutil.ReadAll() （现已弃用，只需使用io.ReadAll() ）读取错误/EOF，但它不是循环输入 - 这就是您需要bufio.Scanner.Scan()的原因。

此外 - %b将转换文本中的任何转义序列 - 例如传递行中的任何\n将呈现为换行符 - 你需要吗？ B/c go 没有等效的格式说明符 AFAIK。

编辑

所以我认为，您基于ReadAll()的方法会/可能会奏效……最终。 我猜您期望的行为与bufio.Scanner ——接收进程在写入字节时处理它们（这实际上是一个轮询操作——请参阅Scan()的标准库源以查看肮脏的细节）。

但是ReadAll()缓冲所有读取的内容，并且直到它最终收到错误或 EOF 时才返回。 我破解了ReadAll()的检测版本（这是标准库源的精确副本，只有一点点额外的检测输出），你可以看到它在写入字节时正在读取，但它只是没有' t 返回并产生内容，直到写入过程完成，此时它关闭 pipe（其打开的文件句柄）的末尾，生成 EOF：

package main

import (
    "fmt"
    "io"
    "os"
    "time"
)

func main() {

    // os.Stdin.SetReadDeadline(time.Now().Add(2 * time.Second))

    b, err := readAll(os.Stdin)
    if err != nil {
        fmt.Println("ERROR: ", err.Error())
    }

    str := string(b)
    fmt.Println(str)
}

func readAll(r io.Reader) ([]byte, error) {
    b := make([]byte, 0, 512)
    i := 0
    for {
        if len(b) == cap(b) {
            // Add more capacity (let append pick how much).
            b = append(b, 0)[:len(b)]
        }
        n, err := r.Read(b[len(b):cap(b)])

        //fmt.Fprintf(os.Stderr, "READ %d - RECEIVED: \n%s\n", i, string(b[len(b):cap(b)]))
        fmt.Fprintf(os.Stderr, "%s READ %d - RECEIVED %d BYTES\n", time.Now(), i, n)
        i++

        b = b[:len(b)+n]
        if err != nil {
            if err == io.EOF {
                fmt.Fprintln(os.Stderr, "RECEIVED EOF")
                err = nil
            }
            return b, err
        }
    }
}

我只是破解了一个廉价的脚本来生成输入，模拟长时间运行的东西并且只定期写入，我想象 npm 在你的情况下的行为方式：

#!/bin/sh

for x in 1 2 3 4 5 6 7 8 9 10
do
  cat ./main.go
  sleep 10
done

作为旁注，我发现阅读实际的标准库代码真的很有帮助……或者至少在这种情况下很有趣。

Answer 2

@Sandy Cash 在声明使用Bufio 。 我不知道为什么，如果@Jim 说的是真的，但Bufio了而ReadAll()没有。

谢谢您的帮助。

代码：

package main

import (
    "bufio"
    "fmt"
    "os"
    "strings"
)

func main() {
    scanner := bufio.NewScanner(os.Stdin)
    for scanner.Scan() {
        s := scanner.Text()
        arr := strings.Split(s, `\n`)
        for _, v := range arr {
            fmt.Println(v)
        }
    }
}