在壓縮文件上使用sed

Question

我已經編寫了一個文件處理程序，現在它需要從一個壓縮文件中讀取（.gz解壓縮的文件可能會變成2TB），

是否有sed等效文件（zcat / cat）之類的壓縮文件，否則有效執行以下操作的最佳方法是什么？

    ONE=`zcat filename.gz| sed -n $counts`

$ counts：計數器讀取（逐行）

上面的方法有效，但是對於大文件來說相當慢，因為我需要讀取每一行並在某些字段上執行匹配。

謝謝

編輯

盡管沒有直接幫助，但這里有一組zcommands

Answer 1

好吧，您可以具有更高的速度（例如，使用未壓縮的文件）或更多的可用空間（即，使用壓縮的文件和顯示的管道）...對不起。 使用壓縮文件總會有開銷。

Answer 2

如果您了解壓縮格式的內部結構，則可以編寫一個模式匹配器，該模式匹配器可以在不完全解壓縮的情況下對壓縮數據進行操作，而是通過簡單地從壓縮數據確定模式是否存在於給定片段中來解壓縮的數據。

如果模式根本沒有任何復雜性，這聽起來像是一個相當復雜的項目，因為您將不得不處理兩個（或更多）單獨的解壓輸出的組合可以滿足該模式的情況。