PHP-ML 內存不足

Question

我正在嘗試使用 PHP-ML 實現情感分析。 我有一個大約 15000 個條目的訓練數據集。 我有代碼工作，但是，我必須將數據集減少到 100 個條目才能工作。 當我嘗試運行完整數據集時，出現此錯誤：

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 917504 bytes) in C:\Users\<username>\Documents\Github\phpml\vendor\php-ai\php-ml\src\Phpml\FeatureExtraction\TokenCountVectorizer.php on line 95

我擁有的兩個文件是 index.php：

<?php 

declare(strict_types=1);
namespace PhpmlExercise;

include 'vendor/autoload.php';

include 'SentimentAnalysis.php';

use PhpmlExercise\Classification\SentimentAnalysis;
use Phpml\Dataset\CsvDataset;
use Phpml\Dataset\ArrayDataset;
use Phpml\FeatureExtraction\TokenCountVectorizer;
use Phpml\Tokenization\WordTokenizer;
use Phpml\CrossValidation\StratifiedRandomSplit;
use Phpml\FeatureExtraction\TfIdfTransformer;
use Phpml\Metric\Accuracy;
use Phpml\Classification\SVC;
use Phpml\SupportVectorMachine\Kernel;

$dataset = new CsvDataset('clean_tweets2.csv', 1, true);
$vectorizer = new TokenCountVectorizer(new WordTokenizer());
$tfIdfTransformer = new TfIdfTransformer();
$samples = [];
foreach ($dataset->getSamples() as $sample) {
    $samples[] = $sample[0];
}
$vectorizer->fit($samples);
$vectorizer->transform($samples);
$tfIdfTransformer->fit($samples);
$tfIdfTransformer->transform($samples);
$dataset = new ArrayDataset($samples, $dataset->getTargets());
$randomSplit = new StratifiedRandomSplit($dataset, 0.1);

$trainingSamples = $randomSplit->getTrainSamples();
$trainingLabels     = $randomSplit->getTrainLabels();

$testSamples = $randomSplit->getTestSamples();
$testLabels      = $randomSplit->getTestLabels();

$classifier = new SentimentAnalysis();
$classifier->train($randomSplit->getTrainSamples(), $randomSplit->getTrainLabels());
$predictedLabels = $classifier->predict($randomSplit->getTestSamples());

echo 'Accuracy: '.Accuracy::score($randomSplit->getTestLabels(), $predictedLabels);

和 SentimentAnalysis.php：

<?php

namespace PhpmlExercise\Classification;
use Phpml\Classification\NaiveBayes;

class SentimentAnalysis
{
    protected $classifier;

    public function __construct()
    {
        $this->classifier = new NaiveBayes();
    }
    public function train($samples, $labels)
    {
        $this->classifier->train($samples, $labels);
    }

    public function predict($samples)
    {
        return $this->classifier->predict($samples);
    }
}

我對機器學習和 php-ml 很陌生，所以我不確定如何推斷問題所在，或者是否有辦法在沒有大量內存的情況下解決這個問題。 我能說的最多的是錯誤發生在索引文件第 22 行的 TokenCountVectorizer 中。 有沒有人知道可能導致此問題的原因或以前遇到過這個問題？

PHP-ML 的鏈接在這里： http : //php-ml.readthedocs.io/en/latest/

謝謝

Answer 1

此錯誤來自加載到內存中的內容，而不是 PHP 設置為在一個進程中處理的內容。 還有其他原因，但這些不太常見。

在您的情況下，您的 PHP 實例似乎配置為允許最多使用128MB的內存。 在機器學習中，這不是很多，如果您使用大型數據集，您肯定會達到該限制。

要將允許 PHP 使用的內存量更改為1GB，您可以編輯php.ini文件並設置

memory_limit = 1024M

如果您無權訪問 php.ini 文件但仍有權更改設置，則可以在運行時使用

<?php
    ini_set('memory_limit', '1024M');

或者，如果您運行Apache，您可以嘗試使用.htaccess文件指令設置內存限制

php_value memory_limit 1024M

請注意，大多數共享托管解決方案等對您可以使用的內存量都有嚴格的限制，而且通常很低。

您可以做的其他事情是

• 如果從文件中加載數據，請查看fgets和SplFileObject::fgets以SplFileObject::fgets加載讀取文件，而不是一次將完整文件讀入內存。
• 確保您運行的是盡可能最新的 PHP 版本
• 確保 PHP 擴展是最新的
• 禁用您不使用的 PHP 擴展
• unset數據或您已完成且不再需要在內存中的大對象。 請注意，PHP 的垃圾收集器不一定會立即釋放內存。 相反，根據設計，它會在感覺所需的 CPU 周期存在或腳本即將耗盡內存之前執行此操作，無論先發生什么。
• 您可以使用類似echo memory_get_usage() / 1024.0 . ' kb' . PHP_EOL; echo memory_get_usage() / 1024.0 . ' kb' . PHP_EOL; 在程序中的給定位置打印內存使用情況，以嘗試分析不同部分使用的內存量。