使用 POSIX awk 解码 base64 编码文本

Question

在我为 Linux/BSD/Solaris 编写的bash脚本中，我需要解码超过十万个 base64 编码的文本字符串，而且，因为我不想从awk大量派生一个不可移植的base64二进制文件，我写了一个 function 来解码。

这是我的base64_decode function 的代码：

function base64_decode(str,    out,i,n,v) {
    out = ""
    if ( ! ("A" in _BASE64_DECODE_c2i) )
        for (i = 1; i <= 64; i++)
            _BASE64_DECODE_c2i[substr("ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/",i,1)] = i-1
    i = 0
    n = length(str)
    while (i <= n) {
        v = _BASE64_DECODE_c2i[substr(str,++i,1)] * 262144 + \
            _BASE64_DECODE_c2i[substr(str,++i,1)] * 4096 + \
            _BASE64_DECODE_c2i[substr(str,++i,1)] * 64 + \
            _BASE64_DECODE_c2i[substr(str,++i,1)]
        out = out sprintf("%c%c%c", int(v/65536), int(v/256), v)
    }
    return out
}

---

简化的真实示例

假设我运行了以下命令：

ldapsearch -LLL -o ldif-wrap=no -b dc=example,dc=com -h 1.2.3.4 '(|(uid=*)(GroupCode='*'))' uid givenName sn GroupCode memberUid

dn: uid=jsmith,ou=users,dc=example,dc=com
givenName: John
sn: SMITH
uid: jsmith

dn: uid=jdoe,ou=users,dc=example,dc=com
uid: jdoe
givenName:: SmFuZQ==
sn:: RE9F

dn: cn=group1,ou=groups,dc=example,dc=com
GroupCode: 025496
memberUid:: amRvZQ==
memberUid: jsmith

现在我想要 output 作为GroupCode 025496成员的用户的givenName 。 这将是一个awk这样做：

LANG=C command -p awk -F '\n' -v RS='' -v GroupCode=025496 '
    {
        delete attrs
        for (i = 2; i <= NF; i++) {
            match($i,/::? /)
            key = substr($i,1,RSTART-1)
            val = substr($i,RSTART+RLENGTH)
            if (RLENGTH == 3)
                val = base64_decode(val)
            attrs[key] = ((key in attrs) ? attrs[key] SUBSEP val : val)
        }
        if ( /\nuid:/ )
            givenName[ attrs["uid"] ] = attrs["givenName"]
        else
            memberUid[ attrs["GroupCode"] ] = attrs["memberUid"]
    }
    END {
        n = split(memberUid[GroupCode],uid,SUBSEP)
        for ( i = 1; i <= n; i++ )
            print givenName[ uid[i] ]
    }

    function base64_decode(...) { ... }
'

在 BSD 和 Solaris 上，output 是：

Jane
John

在 Linux (GNU awk ) 上，output 是：

John

我做错了什么？

Answer 1

您的 function 在其参数（编码字符串）以填充字符 ( = s) 结尾时生成 NUL 字节。 以下是while循环的更正版本：

while (i < n) {
    v = _BASE64_DECODE_c2i[substr(str,1+i,1)] * 262144 + \
        _BASE64_DECODE_c2i[substr(str,2+i,1)] * 4096 + \
        _BASE64_DECODE_c2i[substr(str,3+i,1)] * 64 + \
        _BASE64_DECODE_c2i[substr(str,4+i,1)]
    i += 4
    if (v%256 != 0)
        out = out sprintf("%c%c%c", int(v/65536), int(v/256), v)
    else if (int(v/256)%256 != 0)
        out = out sprintf("%c%c", int(v/65536), int(v/256))
    else
        out = out sprintf("%c", int(v/65536))
}

请注意，如果解码字节包含嵌入的 NUL，则此方法可能无法正常工作。

Answer 2

问题出在base64_decode function 中，它在 gnu-awk 上输出一些垃圾字符。

您可以使用此 awk 代码，该代码使用系统提供的base64实用程序作为替代：

{
   delete attrs
   for (i = 2; i <= NF; i++) {
      match($i,/::? /)
      key = substr($i,1,RSTART-1)
      val = substr($i,RSTART+RLENGTH)
      if (RLENGTH == 3) {
         cmd = "echo " val " | base64 -di"
         cmd | getline val   # should also check exit code here
      }
      attrs[key] = ((key in attrs) ? attrs[key] SUBSEP val : val)
   }
   if ( /\nuid:/ )
      givenName[ attrs["uid"] ] = attrs["givenName"]
   else
      memberUid[ attrs["GroupCode"] ] = attrs["memberUid"]
}
END {
   n = split(memberUid[GroupCode],uid,SUBSEP)
   for ( i = 1; i <= n; i++ )
      print givenName[ uid[i] ]
}

我已经在 gnu 和 BSD awk 版本上对此进行了测试，在所有情况下我都期望得到 output。

如果您不能使用外部base64实用程序，那么我建议您在此处查看base64 解码的 awk 版本。

Answer 3

本回答仅供参考

这是一个“更正”的base64_decode function（感谢@MNejatAydin 指出了原来的问题）：

function base64_decode(str,    out,bits,n,i,c1,c2,c3,c4) {
    out = ""

    # One-time initialization during the first execution
    if ( ! ("A" in _BASE64) )
        for (i = 1; i <= 64; i++)
            # The "_BASE64" array associates a character to its base64 index
            _BASE64[substr("ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/",i,1)] = i-1

    # Decoding the input string
    n = length(str)
    i = 0
    while ( i < n ) {
        c1 = substr(str, ++i, 1)
        c2 = substr(str, ++i, 1)
        c3 = substr(str, ++i, 1)
        c4 = substr(str, ++i, 1)

        bits = _BASE64[c1] * 262144 + _BASE64[c2] * 4096 + _BASE64[c3] * 64 + _BASE64[c4]

        if ( c4 != "=" )
            out = out sprintf("%c%c%c", bits/65536, bits/256, bits)
        else if ( c3 == "=" )
            out = out sprintf("%c", bits/65536)
        else
            out = out sprintf("%c%c", bits/65536, bits/256)
    }

    return out
}

备注：有趣的是，虽然此代码比base64decode.awk快 2 倍，但它仅比从awk分叉base64二进制文件快 3 倍。

---

笔记：

1. 在一个base64编码的字符串中，4个字节代表3个字节的数据； 输入必须按 4 个字符为一组进行处理。

2. 将一个 integer 乘以和除以 2 的幂相当于进行按位左右移位操作。

   • 262144是2^18 ，所以i * 262144相当于i << 18
   • 4096是2^12 ，所以i * 4096相当于i << 12
   • 64 id 2^6 ，所以i * 4096相当于i << 6
   • 65536是2^16 ，所以i / 65536 （整数除法）相当于i >> 16
   • 256是2^8 ，所以i / 256 （整数除法）相当于i >> 8

3. 在printf "%c", num中发生了什么（使用LANC=C ）：

   num首先转换为 integer（如果需要），然后将其8 个最低有效位用于%c （一个 8 位字符）格式。

4. 处理编码字符串末尾的一个或两个尾随=字符的可能填充。

   • 如果第四个字符不是=那么我们就处于没有填充的情况下。

   • 如果第三个字符是=那么只有一个字节的数据需要解码

   • 如果第四个字符是=而第三个字符不是=则有两个字节的数据要解码。

---