Ruby編碼ASCII_8BIT和擴展ASCII

Question

關於ASCII_8BIT

Encoding :: ASCII_8BIT是一種特殊的編碼，通常用於字節字符串，而不是字符串。 但是，顧名思義，其在ASCII范圍內的字符被視為ASCII字符。 當您將ASCII-8BIT字符與其他ASCII兼容字符一起使用時，這很有用。

資料來源： ruby-doc.org/core-2.6.4

語境

我想使用ASCII_8BIT，因為我需要對0x00（0d00）和0xff（0d255）之間的所有字符進行編碼，因此ASCII（0-127）加上擴展的ASCII（128-255）。 ASCII（編碼，US-ASCII）是一種7位編碼，只能識別ASCII（字符集）字符（0-127）。 顧名思義，我期望ASCII_8BIT將其擴展到8位以增加對128-255的支持。

問題

當我使用chr時，編碼會自動設置為ASCII_8BIT，但是當我放入時，我直接將128-255（0x80-0xff）之間的一個字符放在字符串中，然后詢問我使用的是UTF-8編碼是什么，以及是否嘗試將其轉換為ASCII_8BIT會出錯。

irb(main):014:0> 0x8f.chr
=> "\x8F"
irb(main):015:0> 0x8f.chr.encoding
=> #<Encoding:ASCII-8BIT>
irb(main):016:0> "\x8f".encode(Encoding::ASCII_8BIT)
Traceback (most recent call last):
        5: from /usr/bin/irb:23:in `<main>'
        4: from /usr/bin/irb:23:in `load'
        3: from /usr/lib/ruby/gems/2.6.0/gems/irb-1.0.0/exe/irb:11:in `<top (required)>'
        2: from (irb):16
        1: from (irb):16:in `encode'
Encoding::InvalidByteSequenceError ("\x8F" on UTF-8)
irb(main):021:0> "\x8F".encoding
=> #<Encoding:UTF-8>

紅寶石核心中是否存在錯誤？ 我需要能夠編碼8之間的所有內容

ASCII 8BIT的另一個名稱是BINARY，因為如前一個引號所述，它應該能夠編碼任何字節。

irb(main):035:0> Encoding::ASCII_8BIT.names
=> ["ASCII-8BIT", "BINARY"]

其他編碼

請告訴我使用其他編碼不是該問題的答案，除非它是一種確實映射了所有255個擴展ASCII字符的編碼。

• 我不想使用UTF-8，因為編碼是多字節而不是單字節。
• ISO / IEC 8859-1（拉丁文1位，8位）僅包含191個字符（ASCII + 63個字符）

  ISO字符集與代碼頁不同的一種值得注意的方式是，盡管ISO字符集經常使用，但對應於具有高位位集的ASCII控制字符的字符位置128至159在ISO標准中並未特別使用和未定義專有代碼頁中的可打印字符，幾乎打破了通用的ISO標准。 參考 擴展的ASCII- ISO 8859和專有的修改

• Windows-1252（CP-1252，8bits）不包含所有255個字符，並且不包含ASCII擴展名

紅寶石可用的編碼：

irb(main):036:0> Encoding.name_list
=> ["ASCII-8BIT", "UTF-8", "US-ASCII", "UTF-16BE", "UTF-16LE", "UTF-32BE", "UTF-32LE", "UTF-16", "UTF-32", "UTF8-MAC", "EUC-JP", "Windows-31J", "Big5", "Big5-HKSCS", "Big5-UAO", "CP949", "Emacs-Mule", "EUC-KR", "EUC-TW", "GB2312", "GB18030", "GBK", "ISO-8859-1", "ISO-8859-2", "ISO-8859-3", "ISO-8859-4", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "ISO-8859-10", "ISO-8859-11", "ISO-8859-13", "ISO-8859-14", "ISO-8859-15", "ISO-8859-16", "KOI8-R", "KOI8-U", "Shift_JIS", "Windows-1250", "Windows-1251", "Windows-1252", "Windows-1253", "Windows-1254", "Windows-1257", "BINARY", "IBM437", "CP437", "IBM737", "CP737", "IBM775", "CP775", "CP850", "IBM850", "IBM852", "CP852", "IBM855", "CP855", "IBM857", "CP857", "IBM860", "CP860", "IBM861", "CP861", "IBM862", "CP862", "IBM863", "CP863", "IBM864", "CP864", "IBM865", "CP865", "IBM866", "CP866", "IBM869", "CP869", "Windows-1258", "CP1258", "GB1988", "macCentEuro", "macCroatian", "macCyrillic", "macGreek", "macIceland", "macRoman", "macRomania", "macThai", "macTurkish", "macUkraine", "CP950", "Big5-HKSCS:2008", "CP951", "IBM037", "ebcdic-cp-us", "stateless-ISO-2022-JP", "eucJP", "eucJP-ms", "euc-jp-ms", "CP51932", "EUC-JIS-2004", "EUC-JISX0213", "eucKR", "eucTW", "EUC-CN", "eucCN", "GB12345", "CP936", "ISO-2022-JP", "ISO2022-JP", "ISO-2022-JP-2", "ISO2022-JP2", "CP50220", "CP50221", "ISO8859-1", "ISO8859-2", "ISO8859-3", "ISO8859-4", "ISO8859-5", "ISO8859-6", "Windows-1256", "CP1256", "ISO8859-7", "ISO8859-8", "Windows-1255", "CP1255", "ISO8859-9", "ISO8859-10", "ISO8859-11", "TIS-620", "Windows-874", "CP874", "ISO8859-13", "ISO8859-14", "ISO8859-15", "ISO8859-16", "CP878", "MacJapanese", "MacJapan", "ASCII", "ANSI_X3.4-1968", "646", "UTF-7", "CP65000", "CP65001", "UTF-8-MAC", "UTF-8-HFS", "UCS-2BE", "UCS-4BE", "UCS-4LE", "CP932", "csWindows31J", "SJIS", "PCK", "CP1250", "CP1251", "CP1252", "CP1253", "CP1254", "CP1257", "UTF8-DoCoMo", "SJIS-DoCoMo", "UTF8-KDDI", "SJIS-KDDI", "ISO-2022-JP-KDDI", "stateless-ISO-2022-JP-KDDI", "UTF8-SoftBank", "SJIS-SoftBank", "locale", "external", "filesystem", "internal"]

為了比較python編碼https://docs.python.org/3/library/codecs.html#standard-encodings

注意事項

通過閱讀擴展ASCII多字節字符編碼 ，似乎唯一真正的擴展ASCII編碼是UTF-8，但是是Multi-byte。 似乎也不存在真正的擴展ASCII單字節編碼。

從字節的角度來看，我可以使用這里所說的任何8位（單字節）編碼擴展的ASCII-在計算機可讀語言中的用法

所有ASCII字節（0x00至0x7F）在擴展ASCII的所有變體中都具有相同的含義，

但是問題在於，像ISO-8859-1這樣的實現專門未定義某些char范圍，因此將以錯誤結尾。

irb(main):009:0> (0..255).map { |c| c.chr}.join.encode(Encoding::ISO_8859_1)
Traceback (most recent call last):
        6: from /usr/bin/irb:23:in `<main>'
        5: from /usr/bin/irb:23:in `load'
        4: from /usr/lib/ruby/gems/2.6.0/gems/irb-1.0.0/exe/irb:11:in `<top (required)>'
        3: from (irb):9
        2: from (irb):9:in `rescue in irb_binding'
        1: from (irb):9:in `encode'
Encoding::UndefinedConversionError ("\x80" to UTF-8 in conversion from ASCII-8BIT to UTF-8 to ISO-8859-1)

---

更新-force_encoding

我發現了字符串方法force_encoding 。

irb(main)> a = "\x8f"
=> "\x8F"
irb(main)> a.encoding
=> #<Encoding:UTF-8>
irb(main)> a.encode(Encoding::ASCII_8BIT)
Traceback (most recent call last):
        5: from /usr/bin/irb:23:in `<main>'
        4: from /usr/bin/irb:23:in `load'
        3: from /usr/lib/ruby/gems/2.6.0/gems/irb-1.0.0/exe/irb:11:in `<top (required)>'
        2: from (irb):42
        1: from (irb):42:in `encode'
Encoding::InvalidByteSequenceError ("\x8F" on UTF-8)
irb(main)> a.force_encoding(Encoding::ASCII_8BIT)
=> "\x8F"
irb(main):040:0> a.encoding
=> #<Encoding:ASCII-8BIT>

什么是使用的危險force_encoding而非encode ？ 僅僅是如果我不小心傳遞了一個多字節字符，它將被轉換為多個單字節字符嗎？ 因此，如果可以確保傳遞給應用程序的所有字符都在擴展的ASCII范圍（單字節）中，但是不安全，並且例如將某些UTF-8字符傳遞給應用程序，將導致無提示轉換問題，這並不危險。

irb(main):044:0> "\ud087".force_encoding(Encoding::ASCII_8BIT)
=> "\xED\x82\x87"
irb(main):045:0> "\ud087".bytes
=> [237, 130, 135]

---

更新-答案

@ mu-is-too-short的答案和@ ForeverZer0注釋表明，我寧願使用pack和unpack來處理原始字節。

因此，與其使用編碼和變通方法

pattern = 'A' * 2606 + "\x8F\x35\x4A\x5F" + 'C' * 390
pattern.force_encoding(Encoding::ASCII_8BIT)

我應該直接使用字節

pattern = ['A'.ord] * 2606 + [0x8F, 0x35, 0x4A, 0x5F] + ['C'.ord] * 390
pattern = pattern.pack('C*')

或者這更易於閱讀的語法

pattern = 'A'.bytes * 2606 + "\x8F\x35\x4A\x5F".bytes + 'C'.bytes * 390
pattern = pattern.pack('C*')

Answer 1

字符串字面量（通常）是UTF-8編碼的，與字節是否有效的UTF-8無關。 因此：

"\x8f".encoding

即使字符串不是有效的UTF-8，也要說UTF-8。 使用String#force_encoding應該是安全的，但是如果您真的想使用原始字節，則最好使用整數數組並使用Array#pack將它們混搭為字符串：

[ 0x8f, 0x11, 0x06, 0x23, 0xff, 0x00 ].pack('C*')
# "\x8F\x11\x06#\xFF\x00" 
[ 0x8f, 0x11, 0x06, 0x23, 0xff, 0x00 ].pack('C*').encoding
# #<Encoding:ASCII-8BIT> 
[ 0x8f, 0x11, 0x06, 0x23, 0xff, 0x00 ].pack('C*').bytes
# [143, 17, 6, 35, 255, 0] 

結果應該是相同的，但是，IMO，這是顯式地使用二進制數據（即原始字節），使您的意圖明確，並且應該避免任何編碼問題。

如果正在讀取的字節有已知的結構，並且您想將其破解，則還有String#unpack 。

Answer 2

如果您正在執行原始數據包操作，則所有內容都必須處於BINARY / ASCII_8BIT模式，因為它不是文本 ，因此不應被視為此類。 如果您有其他編碼方式，Ruby將嘗試對其進行轉換，在最佳情況下，它將嚴重破壞二進制數據，在最壞情況下，由於轉換錯誤而導致崩潰。

用Ruby術語來說， ASCII_8BIT實際上是原始數據緩沖區。

代碼中字符串的默認編碼為UTF-8：

p "example".encoding
# => #<Encoding:UTF-8>

您可以使用# encoding: BINARY為每個文件的內聯字符串設置Ruby編碼：

# encoding: BINARY

p "example".encoding
# => #<Encoding:ASCII-8BIT>

正如mu指出的那樣，通常最好使用pack工具來表示二進制數據，在這種情況下，您不會出錯並且一開始就沒有真正使用字符串。 這很重要，因為8位值易於處理，但是16位和32位值必須正確地進行端序編碼，因此您經常會看到很多這樣的情況：

header = pack('nn', qtype, qclass)

這是組成一個包含兩個16位值的DNS標頭的地方。