[英]Running out of memory on PHP-ML
我正在尝试使用 PHP-ML 实现情感分析。 我有一个大约 15000 个条目的训练数据集。 我有代码工作,但是,我必须将数据集减少到 100 个条目才能工作。 当我尝试运行完整数据集时,出现此错误:
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 917504 bytes) in C:\Users\<username>\Documents\Github\phpml\vendor\php-ai\php-ml\src\Phpml\FeatureExtraction\TokenCountVectorizer.php on line 95
我拥有的两个文件是 index.php:
<?php
declare(strict_types=1);
namespace PhpmlExercise;
include 'vendor/autoload.php';
include 'SentimentAnalysis.php';
use PhpmlExercise\Classification\SentimentAnalysis;
use Phpml\Dataset\CsvDataset;
use Phpml\Dataset\ArrayDataset;
use Phpml\FeatureExtraction\TokenCountVectorizer;
use Phpml\Tokenization\WordTokenizer;
use Phpml\CrossValidation\StratifiedRandomSplit;
use Phpml\FeatureExtraction\TfIdfTransformer;
use Phpml\Metric\Accuracy;
use Phpml\Classification\SVC;
use Phpml\SupportVectorMachine\Kernel;
$dataset = new CsvDataset('clean_tweets2.csv', 1, true);
$vectorizer = new TokenCountVectorizer(new WordTokenizer());
$tfIdfTransformer = new TfIdfTransformer();
$samples = [];
foreach ($dataset->getSamples() as $sample) {
$samples[] = $sample[0];
}
$vectorizer->fit($samples);
$vectorizer->transform($samples);
$tfIdfTransformer->fit($samples);
$tfIdfTransformer->transform($samples);
$dataset = new ArrayDataset($samples, $dataset->getTargets());
$randomSplit = new StratifiedRandomSplit($dataset, 0.1);
$trainingSamples = $randomSplit->getTrainSamples();
$trainingLabels = $randomSplit->getTrainLabels();
$testSamples = $randomSplit->getTestSamples();
$testLabels = $randomSplit->getTestLabels();
$classifier = new SentimentAnalysis();
$classifier->train($randomSplit->getTrainSamples(), $randomSplit->getTrainLabels());
$predictedLabels = $classifier->predict($randomSplit->getTestSamples());
echo 'Accuracy: '.Accuracy::score($randomSplit->getTestLabels(), $predictedLabels);
和 SentimentAnalysis.php:
<?php
namespace PhpmlExercise\Classification;
use Phpml\Classification\NaiveBayes;
class SentimentAnalysis
{
protected $classifier;
public function __construct()
{
$this->classifier = new NaiveBayes();
}
public function train($samples, $labels)
{
$this->classifier->train($samples, $labels);
}
public function predict($samples)
{
return $this->classifier->predict($samples);
}
}
我对机器学习和 php-ml 很陌生,所以我不确定如何推断问题所在,或者是否有办法在没有大量内存的情况下解决这个问题。 我能说的最多的是错误发生在索引文件第 22 行的 TokenCountVectorizer 中。 有没有人知道可能导致此问题的原因或以前遇到过这个问题?
PHP-ML 的链接在这里: http : //php-ml.readthedocs.io/en/latest/
谢谢
此错误来自加载到内存中的内容,而不是 PHP 设置为在一个进程中处理的内容。 还有其他原因,但这些不太常见。
在您的情况下,您的 PHP 实例似乎配置为允许最多使用128MB的内存。 在机器学习中,这不是很多,如果您使用大型数据集,您肯定会达到该限制。
要将允许 PHP 使用的内存量更改为1GB,您可以编辑php.ini
文件并设置
memory_limit = 1024M
如果您无权访问 php.ini 文件但仍有权更改设置,则可以在运行时使用
<?php
ini_set('memory_limit', '1024M');
或者,如果您运行Apache,您可以尝试使用.htaccess
文件指令设置内存限制
php_value memory_limit 1024M
请注意,大多数共享托管解决方案等对您可以使用的内存量都有严格的限制,而且通常很低。
fgets
和SplFileObject::fgets
以SplFileObject::fgets
加载读取文件,而不是一次将完整文件读入内存。unset
数据或您已完成且不再需要在内存中的大对象。 请注意,PHP 的垃圾收集器不一定会立即释放内存。 相反,根据设计,它会在感觉所需的 CPU 周期存在或脚本即将耗尽内存之前执行此操作,无论先发生什么。echo memory_get_usage() / 1024.0 . ' kb' . PHP_EOL;
echo memory_get_usage() / 1024.0 . ' kb' . PHP_EOL;
在程序中的给定位置打印内存使用情况,以尝试分析不同部分使用的内存量。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.