[英]How to define custom analyzer to do global search with hibernate-search and elasticsearch
我有一个hibernate-search-orm(5.9.0.Final)和hibernate-search-elasticsearch(5.9.0.Final)的实现。
我在一个实体上定义了一个自定义分析器(请参见below),并为两个实体建立了索引:
id: "1"
title: "Médiatiques : récit et société"
abstract:...
id: "2"
title: "Mediatique Com'7"
abstract:...
在标题字段上搜索时,搜索工作正常:
"title:médiatique" => 2 results.
"title:mediatique" => 2 results.
我的问题是,当我使用重音符号进行全局搜索时(或没有):
search on "médiatique => 1 result (id:1)
search on "mediatique => 1 result (id:2)
有办法解决吗?
谢谢。
实体定义:
@Entity
@Table(name="bibliographic")
@DynamicUpdate
@DynamicInsert
@Indexed(index = "bibliographic")
@FullTextFilterDefs({
@FullTextFilterDef(name = "fieldsElasticsearchFilter",
impl = FieldsElasticsearchFilter.class)
})
@AnalyzerDef(name = "customAnalyzer",
tokenizer = @TokenizerDef(factory = StandardTokenizerFactory.class),
filters = {
@TokenFilterDef(factory = LowerCaseFilterFactory.class),
@TokenFilterDef(factory = ASCIIFoldingFilterFactory.class),
})
@Analyzer(definition = "customAnalyzer")
public class BibliographicHibernate implements Bibliographic {
...
@Column(name="title", updatable = false)
@Fields( {
@Field,
@Field(name = "titleSort", analyze = Analyze.NO, store = Store.YES)
})
@SortableField(forField = "titleSort")
private String title;
...
}
搜索方式:
FullTextEntityManager ftem = Search.getFullTextEntityManager(entityManager);
QueryBuilder qb = ftem.getSearchFactory().buildQueryBuilder().forEntity(Bibliographic.class).get();
QueryDescriptor q = ElasticsearchQueries.fromQueryString(queryString);
FullTextQuery query = ftem.createFullTextQuery(q, Bibliographic.class).setFirstResult(start).setMaxResults(rows);
if (filters!=null){
filters.stream().map((filter) -> filter.split(":")).forEach((f) -> {
query.enableFullTextFilter("fieldsElasticsearchFilter")
.setParameter("field", f[0])
.setParameter("value", f[1]);
}
);
}
if (facetFields!=null){
facetFields.stream().map((facet) -> facet.split(":")).forEach((f) ->{
query.getFacetManager()
.enableFaceting(qb.facet()
.name(f[0])
.onField(f[0])
.discrete()
.orderedBy(FacetSortOrder.COUNT_DESC)
.includeZeroCounts(false)
.maxFacetCount(10)
.createFacetingRequest() );
}
);
}
List<Bibliographic> bibs = query.getResultList();
老实说,我对文档1完全匹配感到惊讶,因为在“Médiatiques”上有一个尾随的“ s”,并且您不使用任何词干分析器。
您在这里有一个特殊情况:您正在使用查询字符串并将其直接传递给Elasticsearch( ElasticsearchQueries.fromQueryString(queryString)
这样做的)。 Hibernate Search对正在运行的查询影响很小,它只影响索引内容和此处的Elasticsearch映射。
在Elasticsearch上运行QueryString查询时,如果未指定任何字段,它将使用文档中的所有字段。 我敢打赌,分析查询时使用的分析器与您在“标题”字段中定义的分析器相同。 特别是,它可能不会去除重音。
一种替代解决方案是使用QueryBuilder
构建简单的查询字符串查询。 查询的语法受到更多限制,但对于最终用户而言通常就足够了。 代码如下所示:
FullTextEntityManager ftem = Search.getFullTextEntityManager(entityManager);
QueryBuilder qb = ftem.getSearchFactory().buildQueryBuilder().forEntity(Bibliographic.class).get();
Query q = qb.simpleQueryString()
.onFields("title", "abstract")
.matching(queryString)
.createQuery();
FullTextQuery query = ftem.createFullTextQuery(q, Bibliographic.class).setFirstResult(start).setMaxResults(rows);
用户仍然可以定位特定字段,但是只能在您提供的列表中定位(顺便说一句,它可能更安全,否则,他们可以定位排序字段,等等,您可能不想允许)。 默认情况下,该列表中的所有字段都将作为目标。
这可能会导致结果与查询字符串完全相同,但是好处是,您可以覆盖用于查询的分析器。 例如:
FullTextEntityManager ftem = Search.getFullTextEntityManager(entityManager);
QueryBuilder qb = ftem.getSearchFactory().buildQueryBuilder().forEntity(Bibliographic.class)
.overridesForField("title", "customAnalyzer")
.overridesForField("abstract", "customAnalyzer")
.get();
Query q = qb.simpleQueryString()
.onFields("title", "abstract")
.matching(queryString)
.createQuery();
FullTextQuery query = ftem.createFullTextQuery(q, Bibliographic.class).setFirstResult(start).setMaxResults(rows);
...,这将在查询时使用您的分析器。
或者,您也可以使用更高级的JSON查询,方法是将ElasticsearchQueries.fromQueryString(queryString)
替换为ElasticsearchQueries.fromJsonQuery(json)
。 但是,您将必须自己制作JSON,采取一些预防措施以避免来自用户的任何注入(使用Gson来构建Json),并注意遵循Elasticsearch查询语法 。
您可以在官方文档中找到有关简单查询字符串查询的更多信息。
注意:您可能想将FrenchMinimalStemFilterFactory
添加到自定义分析器中的令牌过滤器列表中。 这不是造成问题的原因,但是一旦您设法在搜索查询中使用分析器,您很快就会发现它很有用。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.