繁体 English 中英

优化Solr DataImportHandler设置以实现完全导入速度

[英]Optimizing Solr DataImportHandler settings for full-import speed

原文 2013-12-13 17:04:04 5 1 optimization/ solr/ dataimporthandler

我有一个使用DataImportHandler2的Solr服务器设置。 使用我当前的设置，一次完整导入需要8到9个小时。 我想优化设置以减少时间，但是对于各种设置的作用以及它们的副作用，文档尚不清楚。

该服务器是m2.2xlarge的AWS实例（34.2 GB RAM）。 Solr版本是3.6.1.2012.07.17.12.45.52。 Solr在Tomcat 7.0.30上运行。 Tomcat使用-Xms4096m -Xmx28672m运行。

从solrconfig.xml中，mergeFactor为10，useCompoundFile为false。 在data-config.xml中，autoCommit为true，batchSize为-1。 DataImportHandler正在使用的查询返回600万条记录。

在甚至查看mergeFactor等之前，您应该查看db-data-config.xml中的实体。 如果您在其他实体内部有实体，则这些实体会生成很多sql请求。 您需要在SQL上工作以不做内部实体，或者查看CachedSqlEntityProcessor等

[英]Speed optimizing a JavaScript function

[英]Optimizing pandas code for speed

[英]Optimizing SQL Query speed

[英]Optimizing jQuery speed

[英]optimizing conditions for speed

[英]Optimizing Spark/Scala speed

[英]Optimizing Speed for Populating a Matrix

[英]Optimizing this function for improved speed

[英]Optimizing function for execution speed

[英]Optimizing .txt files creation speed

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 快速优化JavaScript函数优化熊猫代码以提高速度优化 SQL 查询速度优化jQuery速度优化速度条件优化Spark / Scala速度优化填充矩阵的速度优化此 function 以提高速度优化 function 的执行速度优化.txt文件的创建速度

相关标签