使用Boost計算ECMA-128 64位CRC

Question

通過以下程序，我嘗試根據ECMA-128標准計算64位CRC 。

測試數據為“ 123456789”，我嘗試匹配此處提供的相同數據，這表明CRC-64 / ECMA-182的結果應為62ec59e3f1a4f00a。 不幸的是我得到9d13a61c0e5b0ff5這是CRC-64 / WE結果。

我從這里提供的示例代碼開始。 我為ECMA-128 64位crc創建了具有0x42F0E1EBA9EA3693的普通多項式表示形式的64位哈希。

---

我收到以下VS警告：C4293：'<<'：移位計數為負數或太大，不確定的行為。 它用於此宏：

BOOST_STATIC_CONSTANT( least, sig_bits = (~( ~(least( 0u )) << Bits )) );

據我所知， 0正在移位64位的全部范圍，這是未定義的行為。 我很驚訝我沒有看到針對32位crc的警告。

---

如何糾正此程序以正確計算ECMA-128 64bit crc而沒有未定義的行為？

// from https://www.boost.org/doc/libs/1_67_0/libs/crc/crc.html#usage
#include <boost/crc.hpp>      // for boost::crc_basic, boost::crc_optimal
#include <boost/cstdint.hpp>  // for boost::uint16_t
#include <algorithm>  // for std::for_each
#include <cassert>    // for assert
#include <cstddef>    // for std::size_t
#include <iostream>   // for std::cout
#include <ostream>    // for std::endl

//#define SHOW_ERROR

#if defined( SHOW_ERROR )
#define CRC ecma_crc // expected
#else 
#define CRC other_crc // actually received
#endif

int main()
{
    // This is "123456789" in ASCII
    unsigned char const  data[] = {0x31, 0x32, 0x33, 0x34, 0x35, 0x36, 0x37, 0x38, 0x39};
    std::size_t const    data_len = sizeof(data) / sizeof(data[0]);

    // The expected CRC for the given data
    boost::uint16_t const  expected = 0x29B1;
    // Expected CRCs for "123456789" as per https://www.nitrxgen.net/hashgen/
    long long const  other_crc = 0x9D13A61C0E5B0FF5; // Wolfgang Ehrhardt http://www.wolfgang-ehrhardt.de/crchash_en.html
    long long const  ecma_crc = 0x62EC59E3F1A4F00A; // CRC-64-ECMA-128 https://en.wikipedia.org/wiki/Cyclic_redundancy_check

    // Simulate CRC-CCITT
    boost::crc_basic<16>  crc_ccitt1(0x1021, 0xFFFF, 0, false, false);
    crc_ccitt1.process_bytes(data, data_len);
    assert(crc_ccitt1.checksum() == expected);

    // Repeat with the optimal version (assuming a 16-bit type exists)
    boost::crc_optimal<16, 0x1021, 0xFFFF, 0, false, false>  crc_ccitt2;
    crc_ccitt2 = std::for_each(data, data + data_len, crc_ccitt2);
    assert(crc_ccitt2() == expected);

    // Attempt 64 bit CRC
    boost::crc_basic<64>  crc_64_ecma1(0x42F0E1EBA9EA3693, 0xFFFFFFFFFFFFFFFF, 0, false, false);
    crc_64_ecma1.process_bytes(data, data_len);
    assert(crc_64_ecma1.checksum() == CRC);

    boost::crc_optimal<64, 0x42F0E1EBA9EA3693, 0xFFFFFFFFFFFFFFFF, 0, false, false>  crc_64_ecma2;
    crc_64_ecma2 = std::for_each(data, data + data_len, crc_64_ecma2);
    assert(crc_64_ecma2() == CRC);

    std::cout << "All tests passed." << std::endl;
    return 0;
}

Answer 1

仔細逐位查看62ec59e3f1a4f00a和9d13a61c0e5b0ff5。 您看到這兩者之間的關系嗎？

更新：

好！ 看到了 （我不想剝奪其他人獲得發現的樂趣。）至於為什么，您可以查看Greg Cook的CRC目錄 ，以獲取ECMA-182 CRC的定義，在這里簡稱為CRC-64：

width=64 poly=0x42f0e1eba9ea3693 init=0x0000000000000000 refin=false refout=false xorout=0x0000000000000000 check=0x6c40df5f0b497347 residue=0x0000000000000000 name="CRC-64"

這將CRC定義為初始值為零，最終的異或值為零，即不變。 這對於CRC並不常見，因為它會導致具有相同CRC（等於零）的任意長度的零字符串。

在那里也定義了CRC-64 / WE，它給出：

width=64 poly=0x42f0e1eba9ea3693 init=0xffffffffffffffff refin=false refout=false xorout=0xffffffffffffffff check=0x62ec59e3f1a4f00a residue=0xfcacbebd5931a992 name="CRC-64/WE"

這對於初始化和/或異或比較全的情況更常見，因為零字符串的CRC取決於字符串的長度，零長度消息的CRC為零。

但是，這與您提供的鏈接中的計算不一致。 您提供的鏈接計算出的初始值為零，而Greg目錄中的定義將CRC初始化為全1。 其中只有一個是正確的。

更新2：

格雷格的目錄是正確的。 鏈接的在線哈希計算器是錯誤的。 我通過查看Wolfgang Ehrhardt （CRC-64 / WE中的“ WE”） 源代碼（一個zip文件）來驗證CRC定義。 鏈接的計算器是雙重錯誤的，因為它給出了CRC-64 / WE檢查值62ec...作為CRC-64 / ECMA-182結果，並且給出了與CRC-64 / WE都不匹配的結果。 64。 當心您在互連網上發現的東西。

Answer 2

CRC的正確參數

Boost對於CRC-32 / B / BZIP2 / AAL5 / DECT-B具有以下typedef：

typedef crc_optimal<32, 0x04C11DB7, 0xFFFFFFFF, 0xFFFFFFFF, true, true>
  crc_32_type;

同樣，ECMA-128 64位CRC要求最終的異或值（第3個參數）：

boost::crc_basic<64>  crc_64_ecma1(0x42F0E1EBA9EA3693, 0xFFFFFFFFFFFFFFFF, 0xFFFFFFFFFFFFFFFF, false, false);
                                                                           ^^^^^^^^^^^^^^^^^^

警告消息的原因

以下模板

template < std::size_t Bits >
class crc_basic

用途

template < std::size_t Bits >
struct mask_uint_t

並且該mask_uint_t已專門用於各種位數：

• unsigned char -> BOOST_STATIC_CONSTANT( least, sig_bits = (~( least(0u) )) );
• unsigned short -> BOOST_STATIC_CONSTANT( least, sig_bits = (~( least(0u) )) );
• unsigned int -> BOOST_STATIC_CONSTANT( least, sig_bits = (~( least(0u) )) );

但是非專業版本有所不同，並會觸發未定義行為警告：

• BOOST_STATIC_CONSTANT( least, sig_bits = (~( ~(least( 0u )) << Bits )) ）;

在MSVC上，它仍然可以產生正確的值，但是可能不應該依賴它。