做百度手机网站关键词,wordpress更多,哈尔滨建设信息网,九江seo优化文章目录 一、概念二、引入案例1、数据库搜索2、数据分类3、非结构化数据查询方法1#xff09; 顺序扫描法(Serial Scanning)2#xff09;全文检索(Full-text Search) 4、如何实现全文检索 三、Lucene实现全文检索的流程1、索引和搜索流程图2、创建索引1#xff09;获取原始… 文章目录 一、概念二、引入案例1、数据库搜索2、数据分类3、非结构化数据查询方法1 顺序扫描法(Serial Scanning)2全文检索(Full-text Search) 4、如何实现全文检索 三、Lucene实现全文检索的流程1、索引和搜索流程图2、创建索引1获取原始文档2创建文档对象3分析文档4创建索引 3、查询索引1创建查询2执行查询3渲染结果 四、配置开发环境1、Lucene下载2、需要使用的jar包 五、功能实现1、创建索引库1实现步骤2Field说明3代码实现4使用Luke工具查看索引文件 2、查询索引1实现步骤2IndexSearcher搜索方法3代码实现 3、支持中文分词1分析器Analyzer的执行过程2选择中文分析器3Analyzer使用时机 3、维护索引库1索引库删除2索引库修改 六、Lucene索引库查询重点1、使用query的子类查询2、使用queryparser查询1查询语法2使用 一、概念
Lucene是一个开源的全文搜索引擎库用于实现文本索引和搜索功能。它提供了强大的搜索和排序功能可以用于构建各种类型的搜索应用程序如网站搜索引擎、文档管理系统等。Lucene支持多种编程语言并且具有高性能和可扩展性。它是许多其他搜索引擎和文本处理工具的基础。
二、引入案例
我们要实现一个文件的搜索功能通过关键字搜索文件凡是文件名或文件内容包括该关键字的文件都需要找出来还可以根据中文词语进行查询并且需要支持多个条件查询应该怎么做分析一波~
1、数据库搜索
有没有想过为什么数据库实现搜索很容易 一般都是使用sql语句进行查询而且能很快的得到查询结果。因为数据库中的数据存储是有规律的有行有列而且数据格式、数据长度都是固定的。 2、数据分类
我们生活中的数据总体分为两种结构化数据和非结构化数据。
结构化数据指具有固定格式或有限长度的数据如数据库元数据等。非结构化数据指不定长或无固定格式的数据如邮件word文档等磁盘上的文件。
3、非结构化数据查询方法
那么非结构化数据查询怎么实现
1 顺序扫描法(Serial Scanning)
所谓顺序扫描比如要找内容包含某一个字符串的文件就是一个文档一个文档的看对于每一个文档从头看到尾如果此文档包含此字符串则此文档为我们要找的文件接着看下一个文件直到扫描完所有的文件。如利用windows的搜索也可以搜索文件内容只是相当的慢。
2全文检索(Full-text Search)
将非结构化数据中的一部分信息提取出来重新组织使其变得有一定结构然后对此有一定结构的数据进行搜索从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息我们称之索引。
例如字典。字典的拼音表和部首检字表就相当于字典的索引对每一个字的解释是非结构化的如果字典没有音节表和部首检字表在茫茫辞海中找一个字只能顺序扫描。然而字的某些信息可以提取出来进行结构化处理比如读音就比较结构化分声母和韵母分别只有几种可以一一列举于是将读音拿出来按一定的顺序排列每一项读音都指向此字的详细解释的页数。我们搜索时按结构化的拼音搜到读音然后按其指向的页数便可找到我们的非结构化数据——也即对字的解释。
这种先建立索引再对索引进行搜索的过程就叫全文检索。
虽然创建索引的过程也是非常耗时的但是索引一旦创建就可以多次使用全文检索主要处理的是查询所以耗时间创建索引是值得的。
4、如何实现全文检索
对于数据量大、数据结构不固定的数据可采用全文检索方式搜索比如百度、Google等搜索引擎、论坛站内搜索、电商网站站内搜索等。
可以使用Lucene实现全文检索。Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包以方便的在目标系统中实现全文检索的功能。
三、Lucene实现全文检索的流程
1、索引和搜索流程图 1、绿色表示索引过程对要搜索的原始内容进行索引构建一个索引库 索引过程确定原始内容即要搜索的内容采集文档创建文档分析文档索引文档
2、红色表示搜索过程从索引库中搜索内容 搜索过程用户通过搜索界面创建查询执行搜索从索引库搜索渲染搜索结果
2、创建索引
对文档索引的过程将用户要搜索的文档内容进行索引索引存储在索引库index中。 这里我们要搜索的文档是磁盘上的文本文件根据案例描述凡是文件名或文件内容包括关键字的文件都要找出来这里要对文件名和文件内容创建索引。
1获取原始文档
原始文档是指要索引和搜索的内容。原始内容包括互联网上的网页、数据库中的数据、磁盘上的文件等。
本案例中的原始内容就是磁盘上的文件如下图
从互联网上、数据库、文件系统中等获取需要搜索的原始信息这个过程就是信息采集信息采集的目的是为了对原始内容进行索引。
在Internet上采集信息的软件通常称为爬虫或蜘蛛也称为网络机器人爬虫访问互联网上的每一个网页将获取到的网页内容存储起来。
Lucene不提供信息采集的类库需要自己编写一个爬虫程序实现信息采集也可以通过一些开源软件实现信息采集如下 Nutchhttp://lucene.apache.org/nutch, Nutch是apache的一个子项目包括大规模爬虫工具能够抓取和分辨web网站数据。 jsouphttp://jsoup.org/ jsoup 是一款Java 的HTML解析器可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API可通过DOMCSS以及类似于jQuery的操作方法来取出和操作数据。 heritrixhttp://sourceforge.net/projects/archive-crawler/files/Heritrix 是一个由 java 开发的、开源的网络爬虫用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性方便用户实现自己的抓取逻辑。
本案例我们要获取磁盘上文件的内容可以通过文件流来读取文本文件的内容对于pdf、doc、xls等文件可通过第三方提供的解析工具读取文件内容比如Apache POI读取doc和xls的文件内容。
2创建文档对象
获取原始内容的目的是为了索引在索引前需要将原始内容创建成文档Document文档中包括一个一个的域Field域中存储内容。 这里我们可以将磁盘上的一个文件当成一个documentDocument中包括一些Fieldfile_name文件名称、file_path文件路径、file_size文件大小、file_content文件内容如下图 注每个Document可以有多个Field不同的Document可以有不同的Field同一个Document可以有相同的Field域名和域值都相同 每个文档都有一个唯一的编号就是文档id。
3分析文档
将原始内容创建为包含域Field的文档document需要再对域中的内容进行分析分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元可以将语汇单元理解为一个一个的单词。
原文档内容 Lucene is a Java full-text search engine. Lucene is not a complete application, but rather a code library and API that can easily be used to add search capabilities to applications. 分析后得到的语汇单元 lucene、java、full、search、engine。。。。 每个单词叫做一个Term不同的域中拆分出来的相同的单词是不同的term。term中包含两部分一部分是文档的域名另一部分是单词的内容。
例如文件名中包含apache和文件内容中包含的apache是不同的term。
4创建索引
对所有文档分析得出的语汇单元进行索引索引的目的是为了搜索最终要实现只搜索被索引的语汇单元从而找到Document文档。 一个索引可能对应多个文档
注一个索引可能对应多个文档创建索引是对语汇单元索引通过词语找文档这种索引的结构叫倒排索引结构。
传统方法是根据文件找到该文件的内容在文件内容中匹配搜索关键字这种方法是顺序扫描方法数据量大、搜索慢。
倒排索引结构是根据内容词语找文档如下图 倒排索引结构也叫反向索引结构包括索引和文档两部分索引即词汇表它的规模较小而文档集合较大。
3、查询索引
1创建查询
用户输入查询关键字执行搜索之前需要先构建一个查询对象查询对象中可以指定查询要搜索的Field文档域、查询关键字等查询对象会生成具体的查询语法。 例如语法 “fileName:lucene”表示要搜索Field域的内容为“lucene”的文档
2执行查询
搜索索引过程根据查询语法在倒排索引词典表中分别找出对应搜索词的索引从而找到索引所链接的文档链表。 比如搜索语法为“fileName:lucene”表示搜索出fileName域中包含Lucene的文档。 搜索过程就是在索引上查找域为fileName并且关键字为Lucene的term并根据term找到文档id列表。
3渲染结果
全文检索系统提供用户搜索的界面供用户提交搜索的关键字搜索完成展示搜索结果。
以一个友好的界面将查询结果展示给用户用户根据搜索结果找自己想要的信息为了帮助用户很快找到自己的结果提供了很多展示的效果比如搜索结果中将关键字高亮显示百度提供的快照等。
四、配置开发环境
1、Lucene下载
官方网站http://lucene.apache.org/
Lucene是开发全文检索功能的工具包从官方网站下载Lucene4.10.3并解压。
2、需要使用的jar包
Lucene包
lucene-core-4.10.3.jarlucene-analyzers-common-4.10.3.jarlucene-queryparser-4.10.3.jar
其它包
commons-io-2.4.jarjunit-4.9.jar
五、功能实现
1、创建索引库
1实现步骤
第一步创建一个java工程新建一个文件夹lib并导入jar包添加到工作路径去。第二步新建一个测试类添加测试方法第三步创建一个indexwriter对象。 1指定索引库的存放位置Directory对象 2指定一个分析器对文档内容进行分析。第四步创建document对象。第五步创建field对象将field添加到document对象中。第六步使用indexwriter对象将document对象写入索引库此过程进行索引创建。并将索引和document对象写入索引库。第七步关闭IndexWriter对象。
2Field说明
Field域属性
是否分析是否对域的内容进行分词处理。前提是我们要对域的内容进行查询。是否索引将Field分析后的词或整个Field值进行索引只有索引方可搜索到。 比如商品名称、商品简介分析后进行索引订单号、身份证号不用分析但也要索引这些将来都要作为查询条件。是否存储将Field值存储在文档中存储在文档中的Field才可以从Document中获取 比如商品名称、订单号凡是将来要从Document中获取的Field都要存储。是否存储的标准是否要将内容展示给用户
Field类
3代码实现
import java.io.File;
import java.io.IOException;
import org.apache.commons.io.FileUtils;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.LongField;
import org.apache.lucene.document.StoredField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;
import org.junit.Test;public class FirstLucene {Testpublic void testIndex() throws Exception{//创建一个indexwriter对象Directory directoryFSDirectory.open(new File(F:\\time));//索引库Analyzer analyzernew StandardAnalyzer();//官方分析器IndexWriterConfig confignew IndexWriterConfig(Version.LATEST, analyzer);IndexWriter iwnew IndexWriter(directory, config);//创建field对象并添加到docement对象中File fnew File(F:\\source);File[] listFiles f.listFiles();for (File file : listFiles) {//创建docement对象Document documentnew Document();String file_namefile.getName();Field fileNameFieldnew TextField(fileName,file_name,Store.YES);long file_sizeFileUtils.sizeOf(file);Field fileSizeFieldnew LongField(fileSize,file_size, Store.YES);String file_pathfile.getPath();Field filePathFieldnew StoredField(filePath,file_path);String file_contentFileUtils.readFileToString(file);Field fileContentFieldnew TextField(fileContent,file_content,Store.YES);document.add(fileNameField);document.add(fileSizeField);document.add(filePathField);document.add(fileContentField);//使用indexwriter对象将document对象写入索引库iw.addDocument(document);}//关闭IndexWriter对象iw.close();}
}4使用Luke工具查看索引文件
启动后填入我们的索引路径即可
2、查询索引
1实现步骤
第一步创建一个Directory对象也就是索引库存放的位置。第二步创建一个indexReader对象需要指定Directory对象。第三步创建一个indexsearcher对象需要指定IndexReader对象第四步创建一个TermQuery对象指定查询的域和查询的关键词。第五步执行查询。第六步返回查询结果。遍历查询结果并输出。第七步关闭IndexReader对象
2IndexSearcher搜索方法 3代码实现
//搜索索引Testpublic void testSearch() throws Exception{//创建一个Directory对象也就是索引库存放的位置。Directory directoryFSDirectory.open(new File(F:\\time));//创建一个indexReader对象需要指定Directory对象。IndexReader irDirectoryReader.open(directory);//创建一个indexsearcher对象需要指定IndexReader对象IndexSearcher indexsearchernew IndexSearcher(ir);//创建一个TermQuery对象指定查询的域和查询的关键词。Query querynew TermQuery(new Term(fileName,notice.txt));//执行查询。TopDocs topDocs indexsearcher.search(query, 2);//返回查询结果。遍历查询结果并输出。ScoreDoc[] scoreDocs topDocs.scoreDocs;//文档idfor (ScoreDoc scoreDoc : scoreDocs) {int doc scoreDoc.doc;Document document indexsearcher.doc(doc);//获取文档String fileName document.get(fileName);System.out.println(fileName);String fileContent document.get(fileContent);System.out.println(fileContent);String fileSize document.get(fileSize);System.out.println(fileSize);String filePath document.get(filePath);System.out.println(filePath);System.out.println(-----------------------------);}//关闭IndexReader对象ir.close();}3、支持中文分词
1分析器Analyzer的执行过程
如下图是语汇单元的生成过程 从一个Reader字符流开始创建一个基于Reader的Tokenizer分词器经过三个TokenFilter生成语汇单元Tokens。
要看分析器的分析效果只需要看Tokenstream中的内容就可以了。每个分析器都有一个方法tokenStream返回一个tokenStream对象。
2选择中文分析器
Lucene自带中文分词器
StandardAnalyzer单字分词按照中文一个字一个字地进行分词。如“我爱中国”效果“我”、“爱”、“中”、“国”。CJKAnalyzer二分法分词按两个字进行切分。如“我是中国人”效果“我是”、“是中”、“中国”“国人”。SmartChineseAnalyzer对中文支持较好但扩展性差扩展词库禁用词库和同义词库等不好处理
第三方中文分析器 IK-analyzer 最新版在https://code.google.com/p/ik-analyzer/上支持Lucene 4.10从2006年12月推出1.0版开始 IKAnalyzer已经推出了4个大版本。最初它是以开源项目Luence为应用主体的结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始IK发展为面向Java的公用分词组件独立于Lucene项目同时提供了对Lucene的默认优化实现。在2012版本中IK实现了简单的分词 歧义排除算法标志着IK分词器从单纯的词典分词向模拟语义分词衍化。 但是也就是2012年12月后没有在更新。 IKAnalyzer使用 第一步把IKAnalyzer2012FF_u1.jar包添加到工程中 第二步把配置文件和扩展词典和停用词词典添加到classpath下 测试代码 Testpublic void testTokenStream() throws Exception {// 创建一个标准分析器对象Analyzer analyzer new IKAnalyzer();// 获得tokenStream对象// 第一个参数域名可以随便给一个// 第二个参数要分析的文本内容TokenStream tokenStream analyzer.tokenStream(test,高富帅可以用二维表结构来逻辑表达实现的数据);// 添加一个引用可以获得每个关键词CharTermAttribute charTermAttribute tokenStream.addAttribute(CharTermAttribute.class);// 添加一个偏移量的引用记录了关键词的开始位置以及结束位置OffsetAttribute offsetAttribute tokenStream.addAttribute(OffsetAttribute.class);// 将指针调整到列表的头部tokenStream.reset();// 遍历关键词列表通过incrementToken方法判断列表是否结束while (tokenStream.incrementToken()) {// 关键词的起始位置System.out.println(start- offsetAttribute.startOffset());// 取关键词System.out.println(charTermAttribute);// 结束位置System.out.println(end- offsetAttribute.endOffset());}tokenStream.close();}ext.dic里面保留要的字段 stopword.dic保留不要的字段
3Analyzer使用时机
输入关键字进行搜索当需要让该关键字与文档域内容所包含的词进行匹配时需要对文档域内容进行分析需要经过Analyzer分析器处理生成语汇单元Token。分析器分析的对象是文档中的Field域。当Field的属性tokenized是否分词为true时会对Field值进行分析如下图 对于一些Field可以不用分析 1、不作为查询条件的内容比如文件路径 2、不是匹配内容中的词而匹配Field的整体内容比如订单号、身份证号等。
注意搜索使用的分析器要和索引使用的分析器一致。
3、维护索引库
新建一个class用于测试
1索引库删除
删除全部
package com.it.lucene;import java.io.File;import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;
import org.junit.Test;public class LuceneManager {public IndexWriter getIndexWriter() throws Exception{//创建一个indexwriter对象Directory directoryFSDirectory.open(new File(F:\\time));//索引库Analyzer analyzernew StandardAnalyzer();//官方分析器IndexWriterConfig confignew IndexWriterConfig(Version.LATEST, analyzer);return new IndexWriter(directory, config);}//全删除Testpublic void testAllDelete() throws Exception{IndexWriter indexWritergetIndexWriter();indexWriter.deleteAll();indexWriter.close();}
}指定查询条件删除 //根据条件删除Testpublic void testDelete() throws Exception{IndexWriter indexWritergetIndexWriter();Query querynew TermQuery(new Term(fileName,notice.txt));indexWriter.deleteDocuments(query);indexWriter.close();}2索引库修改
原理就是先删除后添加。 //修改Testpublic void testUpdate() throws Exception{IndexWriter indexWritergetIndexWriter();Document docnew Document();doc.add(new TextField(fileN,测试文件名,Store.YES));indexWriter.updateDocument(new Term(fileName,notice),doc,new IKAnalyzer());indexWriter.close();}六、Lucene索引库查询重点
对要搜索的信息创建Query查询对象Lucene会根据Query查询对象生成最终的查询语法类似关系数据库Sql语法一样Lucene也有自己的查询语法比如“name:lucene”表示查询Field的name为“lucene”的文档信息。
可通过两种方法创建查询对象
1使用Lucene提供Query子类 Query是一个抽象类lucene提供了很多查询对象比如TermQuery项精确查询NumericRangeQuery数字范围查询等。 如下代码
Query query new TermQuery(new Term(name, lucene));2使用QueryParse解析查询表达式 QueryParse会将用户输入的查询表达式解析成Query对象实例。 如下代码
QueryParser queryParser new QueryParser(name, new IKAnalyzer());
Query query queryParser.parse(name:lucene);1、使用query的子类查询
使用MatchAllDocsQuery查询索引目录中的所有文档
public IndexSearcher getIndexSearcher() throws Exception{//创建一个Directory对象也就是索引库存放的位置。Directory directoryFSDirectory.open(new File(F:\\time));//创建一个indexReader对象需要指定Directory对象。IndexReader irDirectoryReader.open(directory);//创建一个indexsearcher对象需要指定IndexReader对象return new IndexSearcher(ir);
}//执行查询结果
public static void printResult(IndexSearcher indexsearcher,Query query) throws Exception{ //执行查询。TopDocs topDocs indexsearcher.search(query, 2);//返回查询结果。遍历查询结果并输出。ScoreDoc[] scoreDocs topDocs.scoreDocs;//文档idfor (ScoreDoc scoreDoc : scoreDocs) {int doc scoreDoc.doc;Document document indexsearcher.doc(doc);//获取文档String fileName document.get(fileName);System.out.println(fileName);String fileContent document.get(fileContent);System.out.println(fileContent);String fileSize document.get(fileSize);System.out.println(fileSize);String filePath document.get(filePath);System.out.println(filePath);System.out.println(-----------------------------);}
}
//查询所有
Test
public void testMatchAllDocsQuery() throws Exception{IndexSearcher indexSearchergetIndexSearcher();Query querynew MatchAllDocsQuery();printResult(indexSearcher,query);indexSearcher.getIndexReader().close();
}
TermQuery指定要查询的域和要查询的关键词。 TermQuery不使用分析器所以建议匹配不分词的Field域查询比如订单号、分类ID号等。
//使用Termquery查询
Test
public void testTermQuery() throws Exception {IndexSearcher indexSearcher getIndexSearcher();//创建查询对象Query query new TermQuery(new Term(fileName, notice));//执行查询TopDocs topDocs indexSearcher.search(query, 10);//共查询到的document个数System.out.println(查询结果总数量 topDocs.totalHits);
}
NumericRangeQuery可以根据数值范围查询
//根据数值范围查询
Test
public void testNumericRangeQuery() throws Exception{IndexSearcher indexSearchergetIndexSearcher();Query queryNumericRangeQuery.newLongRange(fileSize, 1L, 20000L, true, true);printResult(indexSearcher,query);indexSearcher.getIndexReader().close();
}
BooleanQuery可以组合查询条件
//组合条件查询
Test
public void testBooleanQuery() throws Exception {IndexSearcher indexSearcher getIndexSearcher();//创建一个布尔查询对象BooleanQuery query new BooleanQuery();//创建第一个查询条件Query query1 new TermQuery(new Term(fileName, notice));Query query2 new TermQuery(new Term(fileContent, has));//组合查询条件query.add(query1, Occur.SHOULD);query.add(query2, Occur.SHOULD);//执行查询printResult(indexSearcher,query);
}
2、使用queryparser查询
通过QueryParser也可以创建QueryQueryParser提供一个Parse方法此方法可以直接根据查询语法来查询。
注需要使用到分析器的话建议创建索引和查询索引使用的分析器要一致。
1查询语法
1、基础的查询语法关键词查询 域名“”搜索的关键字 例如content:java
2、范围查询 域名“:”[最小值 TO 最大值] 例如size:[1 TO 1000] 范围查询在lucene中支持数值类型不支持字符串类型。在solr中支持字符串类型。
3、组合条件查询
写法1 Occur.MUST 查询条件必须满足相当于and Occur.SHOULD 查询条件可选相当于or空 Occur.MUST_NOT 查询条件不能满足相当于not非- 1条件1 条件2两个条件之间是并且的关系and 例如filename:apache content:apache 2条件1 条件2必须满足第一个条件应该满足第二个条件 例如filename:apache content:apache 3条件1 条件2两个条件满足其一即可。 例如filename:apache content:apache 4-条件1 条件2必须不满足条件1要满足条件2 例如-filename:apache content:apache 写法2
条件1 AND 条件2条件1 OR 条件2条件1 NOT 条件2
2使用
QueryParser
//条件解析的对象查询 Test
public void testQueryParser() throws Exception {IndexSearcher indexSearcher getIndexSearcher();//创建queryparser对象//第一个参数默认搜索的域//第二个参数就是分析器对象QueryParser queryParser new QueryParser(fileName,new IKAnalyzer());//*:* 域值Query query queryParser.parse(notice);//执行查询printResult(indexSearcher,query);
}MultiFieldQueryParser可以指定多个默认搜索域
//条件解析的对象查询 多个默认域
Test
public void testMultiFiledQueryParser() throws Exception {IndexSearcher indexSearcher getIndexSearcher();//可以指定默认搜索的域是多个String[] fields {fileName, fileContent};//创建一个MulitFiledQueryParser对象MultiFieldQueryParser queryParser new MultiFieldQueryParser(fields, new IKAnalyzer());Query query queryParser.parse(java AND apache);System.out.println(query);//执行查询printResult(indexSearcher,query);}
