Lucene搜索日本字符

Question

我已經為我的應用程序實現了lucene，除非你介紹了像日語這樣的東西，否則它的效果非常好。

問題是，如果我有日語字符串こんにちは，このバイネイです我用こ搜索是第一個字符比它效果好，而如果我在搜索令牌搜索中使用多個日語字符（こんにち）失敗並且有沒找到文件。

lucene是否支持日文字符？ 讓它運作的設置是什么？

Answer 1

lucene的內置分析儀不支持日語。

你需要安裝一些像sen這樣的分析器，它是mecab的 java端口，非常受歡迎的日本分析器，它的速度很快。

有兩種子類型叫做

1. CJKAnalyzer，支持中文和韓文，並使用bi-gram方法
2. JapaneseAnalyzer，只支持日語，使用Morphological Analyzer，應該非常快。

Answer 2

我不認為可以使用適用於所有語言的分析器。 問題是，不同的語言有關於單詞邊界和詞干（例如，泰語不會在所有單獨的單詞使用空格）不同的規則。 或者，如果有，我當然不想成為維護者！

您需要做的是將文本塊“標記”為一種語言或另一種語言，並使用正確的分析器來處理該特定語言。 您可以通過進行角色分析來嘗試“自動”檢測語言（即主要使用日語片假名的文本很可能是日語）

Answer 3

您應該使用最近在Lucene 3.6.0中發布的新日本分析儀。 它們基於最近在LUCENE-3305中捐贈給Lucene的優秀Kuromoji形態分析儀。

截至撰寫本文時，文檔有點稀疏，所以這里還有一些鏈接......

• 如果您使用Solr，這是一個可以在Websolr上運行的示例模式 。
• 我在2012年4月20日herokujp聚會上的演講中進行了全文搜索，重點是分析日語。

（這完全適用於Lucene的Java版本。）