Unicode BASH / shell 中的字符表示：ZAFA0FF8B27B876656A6BDE87251

Question

我有两个相关的“为什么” ——而不是“如何” ——问题：

问题 1

虽然printf和od为 ASCII 字符生成相同的十进制、八进制和十六进制表示 -

ascii_char=A

printf "%d" "'$ascii_char"
65
echo -n $ascii_char | od -A n -t d1
   65
echo -n $ascii_char | od -A n -t u1
  65
printf "%o" "'$ascii_char"
101
echo -n $ascii_char | od -A n -t o1
 101
printf "%x" "'$ascii_char"
41
echo -n $ascii_char | od -A n -t x1
 41

—为什么他们不为 Unicode char 生成相同的表示？

unicode_char=🐕

printf "%d" "'$unicode_char"
128021
echo -n $unicode_char | od -A n -t d1
  -16  -97 -112 -107
echo -n $unicode_char | od -A n -t d
 -1785683984
echo -n $unicode_char | od -A n -t u1
 240 159 144 149
echo -n $unicode_char | od -A n -t u
 2509283312
printf "%o" "'$unicode_char"
372025
echo -n $unicode_char | od -A n -t o1
 360 237 220 225
echo -n $unicode_char | od -A n -t o
 22544117760
printf "%x" "'$unicode_char"
1f415
echo -n $unicode_char | od -A n -t x1
 f0 9f 90 95
echo -n $unicode_char | od -A n -t x
 95909ff0

问题2

While od results for a Unicode char are different from those of printf , how come printf still knows how to convert od results back to a character — while printf cannot convert back its own results?

printf "%o" "'$unicode_char"
372025    # printf cannot convert back its own result
echo -n $unicode_char | od -A n -t o1
 360 237 220 225    # looks different, but printf can convert it back correctly
printf %b '\360\237\220\225'
🐕    # success

printf "%x" "'$unicode_char"
1f415    # printf can convert back this result
printf "\U$(printf %08x 0x1f415)"
🐕    # success
echo -n $unicode_char | od -A n -t x1
 f0 9f 90 95    # looks different, but printf can convert it back correctly
printf %b '\xf0\x9f\x90\x95'
🐕    # success

Answer 1

正如评论中所指出的，您看到的区别是 Unicode代码点与其 UTF-8编码之间的区别。

printf打印代码点，请参阅printf... "'" POSIX 文档：

如果前导字符是单引号或双引号，则该值应是单引号或双引号后字符的基础代码集中的数值。

这个数字总是一样的，不管你选择 UTF-8, UTF-16, UTF-32, ... od另一方面，不知道字符代码集。 od只打印字节/字（= -t字节组），即使编码恰好与其代码点相同（例如，对于 ASCII 编码中的 ASCII 字符，或 UTF-8 编码中的 ASCII 字符），它们也总是被编码。

有代码点 12802 。 UTF-8 尝试将代码点编码为单个字节（因此 UTF- 8 ，因为 1 字节 = 8 位），但 12802 > 2 ⁸ =256 不适合单个字节，因此该数字被拆分为多个字节，标记为特别防止混淆。 每个字节上的这些特殊标记导致与od不同的 output 。

如果您转换为 UTF-32，每个代码点将适合一个单词，允许您使用od显示代码点：

# Assuming little endian system. For big endian systems use UTF-32BE.
echo -n 🐕 | iconv -t UTF-32LE | od -An -tu4
128021

问题2

使用printf %b '\360\237\220\225'您（手动）从od反转八进制转储，以便将原始 UTF-8 编码打印到终端。 在这里， printf根本不关心字符集或编码； 终端是解释编码的终端。

printf %o \' = 372025无法轻易逆转，因为...

1. 八进制数不像十六进制那样与字节对齐。 对于单个字节（2 ⁸ =256），两个八进制数字不足（8²=64），三个八进制数字太多（8³=512）。 因此，如果您将 4 个字节打印为单个八进制数（ printf %o ），则某些数字包含来自两个字节的信息。 因此，您不能简单地通过对现有数字进行分组来将八进制数拆分为 4 个八进制数（每个字节一个）。 相反，您必须转换为以 256 为基数，然后将每个以 256 为基数的数字再次转换为以 8 为基数 - 就像您有一个大十进制数一样。 这就是od所做的；）
   您可以说，这部分是“为什么printf可以读取十进制数，但不能读取以 5 为基数？ ”的高级形式。
2. 生成的字节仍然必须在 UTF-8 中编码，以便您的终端识别它们。 使用printf %b '\360\237\220\225'这部分不是必需的，因为 UTF-8 编码从未被解码为其代码点。

不过，您可以将 ' 代码点的八进制表示转换回来：

printf "\\U$(printf %08x 0372025)"  # leading 0 = octal number
🐕