将文件转换为UTF-8：Get-Content：抛出类型'System.OutOfMemoryException'的异常

Question

我正在尝试将大文件的dat文件转换为UTF-8以将它们加载到数据库中（文件上有日文字符）。 最大的文件是17 GB，整个目录是34 GB。 下面是我的PowerShell脚本。

$files = Get-ChildItem 'E:\datamig_bkp_SCMDB\data\bigfiles' -Recurse |
         ? {Test-Path $_.FullName -PathType Leaf}
foreach ($file in $files) {
    $content = Get-Content $file.FullName
    $content | Out-File $file.FullName -Encoding UTF8
}

我得到以下错误：

Get-Content : Exception of type 'System.OutOfMemoryException' was thrown.
At line:3 char:16
+     $content = Get-Content $file.FullName
+                ~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : InvalidOperation: (:) [Get-Content], OutOfMemoryException
    + FullyQualifiedErrorId : ProviderContentReadError,Microsoft.PowerShell.Commands.GetContentCommand

Answer 1

不要将大文件读入内存。 将输出写入新（临时）文件，然后删除原始文件并将临时文件移动到其位置。

$tmp = 'C:\path\to\temp.txt'
Get-ChildItem 'E:\datamig_bkp_SCMDB\data\bigfiles' -Recurse | Where-Object {
    -not $_.PSIsContainer
} | ForEach-Object {
    $file = $_.FullName
    Get-Content $file | Out-File $tmp -Encoding UTF8
    Remove-Item $file -Force
    Move-Item $tmp $file
}

正如TheIncorrigible1在评论中指出的那样，当你有PowerShell v3或更新时，代码可以简化：

$tmp = 'C:\path\to\temp.txt'
Get-ChildItem 'E:\datamig_bkp_SCMDB\data\bigfiles' -Recurse -File | ForEach-Object {
    $file = $_.FullName
    Get-Content $file | Out-File $tmp -Encoding UTF8
    Remove-Item $file -Force
    Move-Item $tmp $file
}