如何在插入之前使用CSV（平面文件）更新MySQL数据库并验证数据

Question

我每天大约有40K条记录需要更新到我的php / mysql应用程序中。 推荐的最佳方法是什么？

我对文件中的数据加载进行了一些研究，以将平面文件加载到临时MySQL表中，并在整个列上运行验证，而不是一次一行地进行验证。 以后使用主键并将其插入/更新到数据库中。

但是对于具有MultiSelect选项或多个有效值的数据？ 我如何在更新数据库之前验证它们。

选项使用管道分隔。

因此，例如，多选数据为颜色类型，有效值为红色，绿色，蓝色，棕色，黑色，白色

原始值示例案例方案是

情况1需要验证的原始数据RED | GREEN | YELLOW

如何才能在临时表中验证此数据，以使红色和绿色通过验证，并且黄色被剥夺并进入错误日志？

如何对具有40K加记录的csv / tabdelimited平面文件进行批量验证？

Answer 1

我喜欢您评估列而不是逐行评估的方法，在我看来，这可以提高性能。

为了增加您的想法，为什么不创建一个函数来验证特定的列。 对于具有多个正确值的列，只需将您的check语句放入switch语句或该函数内部的内容中即可。

例：

//Example function validates a field that contains an integer value
function validateField1($x)
{

   //if necessary you could parse apart the value before "switching" it.

   if(isset($x))
   {
      switch($x)
      {
         case 1: //integer 1 is a valid value
            return true;
         case 3: //integer 3 is a valid value
            return true;
         default://for all other values return false
            return false;
      }
   }
}

这样，您可以根据情况评估字段。 除此之外，如果您的validate函数返回false值，则可以在将.csv文件上传到数据库之前以编程方式对其进行编辑。

我不知道这是否对您有用，但是请告诉我们结果如何！

问候，

H