[英]How can I store a huge amount of content from multidiemsional array into mysql database?
这是我的数组:
array(4) {
[0]=>
array(500000) {
["1234"]=>
array(3) {
["fileName"]=>
string(10) "monkey.jpg"
["path"]=>
string(20) "animales/monkey.jpg"
["dateTime"]=>
string(19) "2016-10-12 19:46:25"
}
["3456"]=>
array(3) {
["fileName"]=>
string(9) "horse.jpg"
["path"]=>
string(19) "animales/horse.jpg"
["dateTime"]=>
string(19) "2016-10-12 19:46:25"
}
.... and many more...
}
... and many more...
}
我想将内容存储到我的数据库中:
$sql = "INSERT INTO files (id,fileName,path,dateTime) values(?,?,?,?) ";
foreach($array as $key => $value){
if(is_array($value)){
foreach($value as $key => $v){
foreach($v as $k => $item){
if(is_array($v)){
$s = str_replace("\\","",$v['dateTime']);
$d = strtotime($s);
$dateTime = date('Y.m.d H:i:s', $d);
$q->execute(array($key,$v['fileName'],$v['path'],$dateTime));
}
}
}
}
}
我的问题是,我有超过500.000条目。 所以我的系统崩溃了。 我认为这是因为循环内有太多循环。 有没有一种方法可以仅通过一个循环或以其他方式更快地读取内容?
注意: $array
是这样创建的拼接数组($ array [] = array_splice($ orinal_array,0,count($ original_array));实际上,这样做是为了使系统更快
请看一下这个答案:
MYSQL使用LOAD DATA INFILE从csv导入数据
您应该将数据转换为csv并依靠LOAD DATA INFILE
不是您应该将csv文件上传到mysql服务器以依赖于此Mysql功能
使用序列化或json_encode可能是一种方法。 这样,您就不必遍历所有元素并处理斜线,因为所有元素都变成了一个字符串,以后可以使用json_decode读取或反序列化PHP函数。
旁注:请使用有意义的变量名,以便帮助您的人们不必弄清楚您的意思。 即:
foreach($v as $k => $item){
比...差一点
foreach($fileCollection as $fileIterator => $fileDetails){
如果您确实需要遍历所有数据并将每个文件属性存储在单独的列中,则您需要的只是2x foreach(一个用于收集,一个用于每个文件)。
foreach($globalCollection as $fiveHundredThousandRows){
foreach ($fiveHundredThousandRows as $fileIterator => $fileData){
$timestamp = strtotime($fileData['dateTime']);
$q->execute(array($fileIterator,$fileData['fileName'],$fileData['path'],date( 'Y.m.d H:i:s', $timestamp)));
}
}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.