如何使用Javascript处理Mongo Shell中的文件中的数百万个？

Question

可以说，我的文件具有以下内容，位于/home/usr1/Documents/companyNames.txt

名1

名称2

名称3

数百万个名字...

我尝试了以下代码：

$> var string = cat('home/usr1/Documents/companyNames.txt');
$> string = string.split('\n');
$> db.records.find({field: {$in: string}});

按照链接中的代码， 我可以在Mongo Shell Javascript文件中读取csv文件吗？

如果文件较小，则此方法有效，但是当文件有数百万行时，它将失败。 文件中的整行试图放入内存中，并崩溃了。 还有其他方法可以使用Java脚本在Mongo Shell中处理大文件吗？

Answer 1

Mongo对于大型查询不是很好。

您可能必须采用Javascript方法：

var string = cat('home/usr1/Documents/companyNames.txt');
string = string.split('\n');
let results = [];
string.forEach(string => result.push(db.records.find({field: {$eq: string}})));