原则clear（）和多对一关系

Question

我需要从csv文件（约1m条记录）中导入大数据。 为了避免内存泄漏，我尝试从原则文档中进行批量插入：

$batchSize = 20;
for ($i = 1; $i <= 10000; ++$i) {

    //code

    $em->persist($user);
    if (($i % $batchSize) === 0) {
        $em->flush();
        $em->clear(); // Detaches all objects from Doctrine!
    }
}
$em->flush(); //Persist objects that did not make up an entire batch
$em->clear();

问题是我的插入内容包含“多对一”关系，并且每次我使用clear（）对象从该关系中重复条目时。

是否有可能分离实体并避免重复？

Answer 1

就在这里。 您需要执行智能清理。 意味着您提供要清除的实体类型。 范例：

$em->clear(SomeEntity::class);
$em->clear(OtherEntity::class);

这将从EM中仅删除那些类型，并保留其他所有内容。 这样，您可以重用那些其他对象。

Answer 2

使用ORM导入大数据非常浪费时间和内存。 我从来没有找到使用教义快速而又理智的方法的方法。 除了我通过这种方式进行的导入之外，还需要维护PITA。

经过多年的数据导入，我发现最有效的方法是：

• 临时表中的CSV导入（MySQL中的LOAD DATA INFILE或pgsql中的COPY）
• 进行插入或更新查询（在MySQL中，INSERT INTO .. SELECT .. ON DUPLICATE KEY）
• 根据复杂程度，用SQL或PHP做更具体的事情

这样，我可以在几秒钟内导入数十个大CSV文件。

希望对您有所帮助。