预测文件无损压缩的时间或压缩率？

Question

当使用某种无损压缩算法压缩文件时，人们将如何预测执行时间和/或压缩率？ 我特别关注本地压缩，因为如果您知道本地压缩的时间和压缩率，则可以根据当前可用的网络吞吐量轻松计算网络压缩的时间。

假设您有一些有关文件的信息，例如大小，冗余性，类型（我们可以说文本来保持简单）。 也许我们从实际的先前测量中获得了一些统计数据。 对执行时间和/或压缩率进行预测还需要其他什么（即使是非常粗糙的预测）。

对于仅本地压缩而言，文件的大小将起作用，因为实际在存储介质（sdcard，硬盘驱动器）中读写数据会占据整个执行过程的主要部分。

实际的压缩部分可能取决于冗余/类型，因为大多数压缩算法都是通过压缩小的数据块（大约100kb）来工作的。 例如，较大的HTML / Javascript文件压缩效果更好，因为它们具有更高的冗余度。

我想还有一个调度问题，但是粗略估计可能会忽略它。

有时候，这个问题一直困扰着我。 我想知道是否有一些低开销的代码（例如在服务器上）可以预测执行实际压缩之前压缩文件需要多长时间？

Answer 1

通过从随机位置抽取10-100个小碎片来对文件采样。 分别压缩它们。 这应该给您压缩率的下限。

如果块不太小，这只会返回有意义的结果。 压缩算法必须能够利用一定的历史记录大小来预测下一个字节。

Answer 2

压缩比可以使用以下公式计算：

可以使用V8或Sunspider完成性能基准测试。

您还可以使用DEFLATE或LZMA之类的算法来计算该机制。 PPM（部分通过预测匹配）可用于预测。

Answer 3

这取决于数据，但是对于图像，您可以采集小的样本。 下采样会改变结果。 这是一个示例： PHP-压缩图像以满足文件大小限制 。