内存不足，无法完成分析

Question

我正面临与强化扫描相关的非常不寻常的错误。 它从昨天晚上开始，我一直在努力解决它，因为它影响了整个团队的工作。 我在 Jenkins 控制台中收到以下错误消息。

我试图通过在 Jenkins 管道代码中使用以下参数增加内存和 java 堆大小来进行故障排除，但这也没有帮助。 fortifyMemory: '-Xmx6G -Xms2400M -Xss48M' 。

我尝试使用sourceExclusions: 'src/main/resources/**/*.*排除更多文件，但这也不起作用。

我在网上发现，也许使用并行处理并将 java 版本类型更改为 64 位 -64 可能会解决问题，但由于没有太多可用信息，因此无法在我的 Jenkins 管道中正确配置它。

如果有人知道如何在下面的管道代码中传递这两个标志，或者是否有其他解决方案，请告诉我。

stage('Fortify Scan') {
    agent {
        label 'docker-fortify-slave'
    }
    steps {
        unstash 'build'
        fortifyscanjava([
            useExternalDependencyDirectory: false,
            buildVersion: "${TAG_VAL}",
            fortifyCredentialsId: "fortify-credentials",

            fortifyJavaVersion: '1.8',

            sourceDirectory: "${env.WORKSPACE}/dist",
            sourceExclusions: '',
            criticalThreshold: 0,
            fortifyMemory: '-Xmx32G -Xms4800M -Xss196M',
            highThreshold: 0,
            mediumThreshold: 1000,
            lowThreshold: 1000,
            fortifyVersion: '17.20',
            failBuildAfterThresholdPassed: true,
            archiveReports: true,
            uploadScan: false,
            sourceAnalyzerArgs: '',
            onlyNewIssues: true,
            outputFormatHtml: true,
            additionalIssueFilters: 'analysis:!Not an Issue'
        ])
    }
}

Answer 1

Fortify SCA 占用大量内存来扫描大中型应用程序。

在示例中的第 13 行，删除“fortifyMemory: '-Xmx1G -Xms600M -Xss24M -mt',”。

在第 17 行左右，如果可能，将您的内存增加到“-Xmx16G”（或任何可能的）。 基本上，继续在问题上投入更多内存，直到 Fortify 的“内存不足”警告/错误消失。

还...

对可能发生的事情的解释

Fortify SCA 的“-mt”选项意味着您要启用并行分析模式，该模式旨在通过创建多个从属进程来协助扫描来尝试并加快源代码的扫描。 使用“-mt”，Fortify 将自动为主机上的每个 cpu 核心创建 1 个从进程，并且由于“-Xmx1GB”，Fortify 将为每个进程分配 1GB 的内存。 因此，您看到的错误可能是因为一个或多个从站内存不足。

结论

对于此初始扫描，不要使用并行分析模式。 这就是我们在您的示例中删除第 13 行的原因。 此外，您在第 17 行再次拥有重复的内存配置设置。在您可以成功生成扫描后，然后尝试拨回内存量，然后尝试使用并行分析模式。 使用并行分析模式时，计算使用“-Xmx”分配多少内存的公式可能是：( - 2GB) / <# of cpu cores>

Answer 2

也许在您的场景中使用 CloudScan 更好。

https://www.microfocus.com/documentation/fortify-software-security-center/1820/CloudScan_Guide_18.20.pdf

“翻译阶段不需要处理器和时间，在构建机器上完成。翻译完成后，CloudScan 生成一个包，然后将其移动到分布式机器（传感器）云中进行扫描。除了释放“构建机器，这个过程可以轻松地向云添加更多资源并根据需要扩展系统，而无需中断构建过程。而且，Fortify 软件安全中心可以指示 CloudScan 将 FPR 文件直接输出到服务器。”

Answer 3

Fortify 扫描期间可能会出现 System.OutOfMemoryException 错误。

对于 .net 文件，我们解决了使用名为 4gb_patch.exe 的小工具修补 Fortify 扫描阶段使用的文件 dotnet-translator.exe 的问题。 该工具修补 x86 可执行文件以允许它们在 x64 平台上拥有 4 GB 的虚拟内存（而不是 2 GB）。 您可以从https://ntcore.com/?page_id=371下载该工具。

dotnet-translator.exe 文件位于以下位置：C:\\Program Files\\HPE_Security\\Fortify_SCA_and_Apps_xx.xx\\Core\\private-bin\\sca\\dotnet-translator.exe

当然，您需要使用 Fortify SCA 版本更改 XX.xx。 ;)