Nutch搜索引擎是一个构建在Lucene上的开放源代码的搜索引擎。可以通过CVS取得它的最新版本。让nutch支持中文分词的方法和Lucene类似，但是nutch很多时候调用了底层的Lucene API。因此需要我们做更多的工作。 数据挖掘论坛
数据挖掘研究院
一、修改查询分析器 数据挖掘工具
需要修改的文件是：net.nutch.analysis.NutchAnalysis.java。这个文件是从NutchAnalysis.jj使用JavaCC自动生成的，但是我们可以手工修改它以支持中文。
数据挖掘工具
package net.nutch.analysis; 数据挖掘交友
数据挖掘工具
import net.nutch.searcher.Query;
数据挖掘实验室
import java.io.*; 数据挖掘工具
数据挖掘工具
/** The JavaCC-generated Nutch lexical analyzer and query parser. */
public class NutchAnalysis {
数据挖掘工具
数据挖掘实验室
private String queryString;
数据挖掘工具
数据挖掘实验室
/** Construct a query parser for the text in a reader. */ 数据挖掘工具
public static Query parseQuery(String queryString) throws IOException { 数据挖掘论坛
NutchAnalysis parser = 数据挖掘论坛
new NutchAnalysis(); 数据挖掘实验室
parser.queryString = queryString; 数据挖掘工具
//此处需要重写parse()
return parser.parse();
数据挖掘论坛
} 数据挖掘论坛
数据挖掘实验室
/** For debugging. */ 数据挖掘工具
public static void main(String[] args) throws Exception {
String sentence ="厦门大学艺术教育学院副院长李未明教授长期从事音乐教学，"; 数据挖掘论坛
StringReader input= new java.io.StringReader(sentence);
BufferedReader in = new BufferedReader(input); 数据挖掘实验室
//while (true) {
数据挖掘论坛
System.out.print("Query: "); 数据挖掘论坛
String line = in.readLine(); 数据挖掘论坛
System.out.println(parseQuery(line));
数据挖掘研究院
//} 数据挖掘实验室
} 数据挖掘交友
/** Parse a query. */ 数据挖掘研究院
final public Query parse() throws IOException {
数据挖掘研究院
Query query = new Query(); 数据挖掘实验室
StringReader input;
数据挖掘论坛
input = new java.io.StringReader(queryString); 数据挖掘论坛
//猎兔自己开发的CnTokenizer,我可以使用我开发的TjuChineseTokenizer 数据挖掘交友
org.apache.lucene.analysis.TokenStream tokenizer = new seg.result.CnTokenizer(input);
//just a demo 数据挖掘工具
for (org.apache.lucene.analysis.Token t = tokenizer.next(); t != null; t = tokenizer.next()) 数据挖掘实验室
{
数据挖掘工具
String[] array = {t.termText()};
数据挖掘交友
query.addRequiredPhrase(array, t.type()); 数据挖掘实验室
} 数据挖掘交友
return query; 数据挖掘交友
}
}
数据挖掘论坛
二、测试 数据挖掘实验室
在命令行执行： 数据挖掘论坛
数据挖掘论坛
>java "-Ddic.dir=D:/SSeg/Dic" -classpath D:lucennelucene-1.4-final.jar;D:SSeglibseg.jar;D:SSeglib
utch.jar net.nutch.analysis.NutchAnalysis
数据挖掘研究院
返回的查询对象内容是： 数据挖掘论坛
//猎兔没有识别李未明这个人名
数据挖掘研究院
Query: ns:厦门 n:大学 n:艺术 vn:教育 n:学院 b:副 n:院长 nr:李 nr:未明 n:教授 d:长期 v:从事 n:音乐 vn:教学 w:，
在unix的命令行下执行略有不同： 数据挖掘交友
数据挖掘研究院
$java "-Ddic.dir=/home/nutch/Dic" -cp /home/nutch/lib/lucene-1.4-final.jar:/home/nutch/lib/seg.jar:/home/nutch/lib/nutch.jar net.nutch.analysis.NutchAnalysis
数据挖掘交友
