使用Lucene的两段精要代码

Lucene简介:
Lucene是一个基于Java的全文索引工具包。Lucene的发展历程:早先发布在作者自己的www.lucene.com,后来发布在SourceForge,2001年年底成为APACHE基金会jakarta的一个子项目:http://jakarta.apache.org/lucene/.
Jive,Eyebrows,Cocoon,Eclipse中都使用了Lucene
全文检索和数据库应用最大的不同在于:让最相关的头100条结果满足98%以上用户的需求

索引过程中可以看到:
    * 语言分析器提供了抽象的接口,因此语言分析(Analyser)是可以定制的,虽然lucene缺省提供了2个比较通用的分析器 SimpleAnalyser和StandardAnalyser,这2个分析器缺省都不支持中文,所以要加入对中文语言的切分规则,需要修改这2个分析器。或者建立自己的语言分析器
    * Lucene并没有规定数据源的格式,而只提供了一个通用的结构(Document对象)来接受索引的输入,因此输入的数据源可以是:数据库,WORD文档,PDF文档,HTML文档……只要能够设计相应的解析转换器将数据源构造成成Docuement对象即可进行索引。
    * 对于大批量的数据索引,还可以通过调整IndexerWrite的文件合并频率属性(mergeFactor)来提高批量索引的效率。
查询分析器支持逻辑包括and or + - &&||等符号

Hacking Lucene
1.简化的查询分析器 2.添加修改删除指定记录(Document)3.根据某个字段值的排序功能 4.更通用的输入输出接口 5.索引过程优化 6.搜索过程优化

第一个类IndexFields.java(省略了import部分),建立索引

第二个类Search.java(省略了import部分),按关键字在索引中搜索

主要参考自:
基于Java的全文索引引擎Lucene简介
中文语言的切分词
关于基于词表和N-Gram的切分词比较
Utting在Pisa大学做的关于Lucene的讲座:非常详细的Lucene架构解说

类别: Java/JEE. 标签: . 阅读(48). 订阅评论. TrackBack.

Leave a Reply

Be the First to Comment!

avatar