在字符集之间转换文本文件的最佳方式？

Question

在字符集之间转换文本文件的最快、最简单的工具或方法是什么？

具体来说，我需要将 UTF-8 转换为 ISO-8859-15，反之亦然。

一切顺利：您最喜欢的脚本语言的单行代码、命令行工具或其他操作系统实用程序、web 站点等。

迄今为止的最佳解决方案：

在 Linux/UNIX/OS X/cygwin 上：

• Troels Arvin建议的 Gnu iconv最好用作过滤器。 它似乎是普遍可用的。 例子：

   $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt

  正如Ben所指出的，有一个使用 iconv 的在线转换器。

• Cheekysoft建议的重新编码（ 手动）将就地转换一个或多个文件。 例子：

   $ recode UTF8..ISO-8859-15 in.txt

  这一个使用较短的别名：

   $ recode utf8..l9 in.txt

  Recode 还支持可用于在不同行尾类型和编码之间进行转换的表面：

  将换行符从 LF (Unix) 转换为 CR-LF (DOS)：

   $ recode../CR-LF in.txt

  Base64编码文件：

   $ recode../Base64 in.txt

  您也可以将它们组合起来。

  将具有 Unix 行结尾的 Base64 编码的 UTF8 文件转换为具有 Dos 行结尾的 Base64 编码的 Latin 1 文件：

   $ recode utf8/Base64..l1/CR-LF/Base64 file.txt

在 Windows 和Powershell （ Jay Bazuzi ）上：

• PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

（虽然不支持 ISO-8859-15；它说支持的字符集是 unicode、utf7、utf8、utf32、ascii、bigendianunicode、default 和 oem。）

编辑

你是说 iso-8859-1 支持？ 例如，使用“String”可以做到这一点，反之亦然

gc -en string in.txt | Out-File -en utf8 out.txt

注意：可能的枚举值为“Unknown, String, Unicode, Byte, BigEndianUnicode, UTF8, UTF7, Ascii”。

• CsCvt - Kalytta 的字符集转换器是用于 Windows 的另一个基于命令行的出色转换工具。

Answer 1

独立效用方法

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

您不必指定这些参数中的任何一个。 它们将默认为您当前的语言环境，通常是 UTF-8。

Answer 2

试试 VIM

如果你有vim你可以使用这个：

未针对每种编码进行测试。

关于这个很酷的部分是你不必知道源编码

vim +"set nobomb | set fenc=utf8 | x" filename.txt

请注意，此命令直接修改文件

---

说明部分！

1. + : vim 打开文件时直接输入命令。 通常用于在特定行打开文件： vim +14 file.txt
2. | : 多个命令的分隔符（如;在 bash 中）
3. set nobomb : 没有 utf-8 BOM
4. set fenc=utf8 : 将新编码设置为 utf-8文档链接
5. x : 保存并关闭文件
6. filename.txt : filename.txt路径
7. " : qotes 在这里是因为管道。（否则 bash 会将它们用作 bash 管道）

Answer 3

在 Linux 下，您可以使用非常强大的recode命令来尝试在不同的字符集以及任何行结束问题之间进行转换。 recode -l将显示该工具可以转换的所有格式和编码。 这可能是一个很长的清单。

Answer 4

图标 (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

还有许多语言的基于 iconv 的工具。

Answer 5

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

最短的版本，如果你可以假设输入的 BOM 是正确的：

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

Answer 6

尝试 iconv Bash 功能

我已将其放入.bashrc ：

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

..能够像这样转换文件：

utf8 MyClass.java

Answer 7

试试记事​​本++

在 Windows 上，我能够使用 Notepad++ 进行从ISO-8859-1到UTF-8的转换。 单击"Encoding" ，然后单击"Encoding" "Convert to UTF-8" 。

Answer 8

Oneliner 使用查找，具有自动字符集检测功能

自动检测所有匹配文本文件的字符编码，并将所有匹配文本文件转换为utf-8编码：

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

要执行这些步骤，子 shell sh与-exec ，运行带有-c标志的单行，并将文件名作为位置参数"$1"与-- {}一起传递。 在两者之间， utf-8输出文件被临时命名为converted 。

其中file -bi表示：

• -b , --brief不要在输出行前添加文件名（简要模式）。

• -i , --mime使 file 命令输出 mime 类型的字符串，而不是更传统的人类可读的字符串。 因此它可以说例如text/plain; charset=us-ascii text/plain; charset=us-ascii而不是ASCII text 。 sed命令根据iconv要求将其剪切为仅us-ascii 。

find命令对于此类文件管理自动化非常有用。 点击查看更多find嘉豪。

Answer 9

DOS/Windows：使用代码页

chcp 65001>NUL
type ascii.txt > unicode.txt

命令chcp可用于更改代码页。 代码页 65001 是 UTF-8 的 Microsoft 名称。 设置代码页后，以下命令生成的输出将是代码页设置。

Answer 10

假设，你不知道输入编码，并仍希望大多数转换的自动化，我得出的结论，从以前的答案总结这一个衬垫。

iconv -f $(chardetect input.text | awk '{print $2}') -t utf-8 -o output.text

Answer 11

PHP iconv()

iconv("UTF-8", "ISO-8859-15", $input);

Answer 12

编写属性文件（Java）通常我在linux（mint和ubuntu发行版）中使用它：

$ native2ascii filename.properties

例如：

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

PS：我用葡萄牙语写了 Execution number one/two 以强制特殊字符。

就我而言，在第一次执行时，我收到了这条消息：

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

当我安装第一个选项（gcj-5-jdk）时，问题就解决了。

我希望这对某人有帮助。

Answer 13

尝试编码检查器

github上的编码检查器

文件编码检查器是一种 GUI 工具，可让您验证一个或多个文件的文本编码。 该工具可以显示所有选定文件的编码，或仅显示没有您指定编码的文件。

文件编码检查器需要 .NET 4 或更高版本才能运行。

对于编码检测，文件编码检查器使用UtfUnknown Charset Detector 库。 没有字节顺序标记 (BOM) 的 UTF-16 文本文件可以通过启发式检测。

Answer 14

在 PowerShell 中：

function Recode($InCharset, $InFile, $OutCharset, $OutFile)  {
    # Read input file in the source encoding
    $Encoding = [System.Text.Encoding]::GetEncoding($InCharset)
    $Text = [System.IO.File]::ReadAllText($InFile, $Encoding)
    
    # Write output file in the destination encoding
    $Encoding = [System.Text.Encoding]::GetEncoding($OutCharset)    
    [System.IO.File]::WriteAllText($OutFile, $Text, $Encoding)
}

Recode Windows-1252 "$pwd\in.txt" utf8 "$pwd\out.txt" 

有关支持的编码名称列表：

https://docs.microsoft.com/en-us/dotnet/api/system.text.encoding

Answer 15

与红宝石：

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

来源： https : //robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

Answer 16

使用此 Python 脚本： https : //github.com/goerz/convert_encoding.py适用于任何平台。 需要 Python 2.7。

Answer 17

我最喜欢的工具是 Jedit（一个基于 Java 的文本编辑器），它有两个非常方便的功能：

• 一种使用户能够重新加载具有不同编码的文本（因此，可以直观地控制结果）
• 另一种使用户能够在保存之前明确选择编码（和行尾字符）

Answer 18

只需在 IntelliJ IDEA IDE 中更改加载文件的编码，在状态栏（底部）的右侧，其中指示当前字符集。 它提示重新加载或转换，使用转换。 确保您提前备份了原始文件。

Answer 19

如果 macOS GUI 应用程序是您的面包和黄油， SubEthaEdit是我经常使用的文本编辑器进行编码处理——它的“转换预览”允许您查看输出编码中的所有无效字符，并修复/删除它们。

现在它是开源的，所以对他们来说是的 😉。

Answer 20

还有一个网页工具可以转换文件编码： https : //webtool.cloud/change-file-encoding

它支持广泛的编码，包括一些罕见的编码，如 IBM 代码页 37。

Answer 21

视觉工作室代码

1. 在Visual Studio Code中打开文件
2. 使用编码重新打开：在底部状态栏的右侧，您应该会看到当前的文件编码（例如“UTF-8”）。 单击此和 select“使用编码重新打开”。
3. Select 文件的正确编码（例如：ISO 8859-2）。
4. 确认您的内容按预期显示。
5. 使用编码保存：底部状态栏现在应该显示您的新编码格式（例如：ISO 8859-2）。 单击此按钮并选择“使用编码保存”和 select UTF-8（或您想要的任何新编码）。

注意：这将覆盖您的原始文件。 首先进行备份。

Answer 22

如如何更正文件的字符编码？ 合成它！ 让您在 OS X 上轻松地在ICU 库支持的所有编码之间进行转换。

此外，您可以显示从所有编码转换为 Unicode 的文件的一些字节，以便快速查看哪个是适合您的文件的字节。