[英]How do I optimize the solr indexing using mysql
我正在使用Mysql將數據索引到SOLR。 較早的數據較少,因此索引快速發生而沒有任何滯后。 現在我的數據包含將近300萬行,並且mysql查詢總是超時,並且由於SOLR無法相應地索引數據。是否有任何方法可以使用mysql快速索引SOLR或可以在SOLR中進行任何調整? 請幫忙。
如果您不使用增量/增量索引 ,則應該開始執行此操作。 這樣,只有從上次索引運行以來已更改的行將再次被索引,從而使您可以減少影響和MySQL的行數。
另外,JDBCDataSource(我猜您正在使用) 支持batchSize
參數 ,該參數告訴JDBC驅動程序限制每個查詢中的文檔數量-而是發出多個查詢。
如果要在檢索SQL內容時對SQL內容執行某種形式的過濾(例如,增量導入),則還應注意在數據上具有可用索引。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.