W3CHINA.ORG讨论区--OntoSCORM:一个基于领域本体的知识搜索引擎

姓名：(无权查看)
城市：(无权查看)
院校：(无权查看)

public class ChineseAnalyzer extends Analyzer {

private Reader input ;
private static final int MAX_WORD_LEN = 255;
private static final int IO_BUFFER_SIZE = 1024;
private final char[] buffer = new char[MAX_WORD_LEN];
private final char[] ioBuffer = new char[IO_BUFFER_SIZE];
public TokenStream tokenStream(String fieldName, Reader reader) {

    input = reader ;
    try {
  int dataRead = input.read(ioBuffer);
} catch (IOException e) {
  e.printStackTrace();
}

    final String chiStr = new String(ioBuffer) ;
return new TokenStream()
{
  Sentence sentence = SplitWord.splitWord( chiStr ) ;
  int wordNum = sentence.totalWords() ;
  int i = 0 ;
  int start = 0 ;
  int end ;
  int pos = 0 ;
  public Token next()
  {
   if( i  == wordNum )
    return null;
   else
   {
    Word word = sentence.getWord(i) ;
    String content = word.getWord() ;
    start = pos ;
    end = start + content.length() ;
    pos = end + 1 ;

    i++ ;
    return new Token( content ,
                                                                                            start ,end) ;

   }
  }
} ;
}

public static void main (String[] args)
{
  Analyzer analyzer = new ChineseAnalyzer() ;
     TokenStream stream1 =
         analyzer.tokenStream("contents", new StringReader(
           "巴拿马和美国都是国家地区，汉族是一个民族"));
     TokenStream stream2 =
         analyzer.tokenStream("contents", new StringReader(
           "上海民族交通大学微电子学院陈进法兰西"));

     ArrayList tokenList1 = new ArrayList();
     while (true) {
       Token token = null ;
  try {
   token = stream1.next();
  } catch (IOException e) {
   e.printStackTrace();
  }
       if (token == null) break;

       tokenList1.add(token);
     }

     ArrayList tokenList2 = new ArrayList();
     while (true) {
       Token token = null ;
  try {
   token = stream2.next();
  } catch (IOException e) {
   e.printStackTrace();
  }
       if (token == null) break;

       tokenList2.add(token);
     }

     for (int i = 0; i < tokenList1.size(); i++) {
         Token token = (Token) tokenList1.get(i);

         System.out.println("[" + token.termText() + "] "
           + ": " + token.startOffset + " => "
                                                + token.endOffset) ;
     }

     for (int i = 0; i < tokenList2.size(); i++) {
         Token token = (Token) tokenList2.get(i);

         System.out.println("[" + token.termText() + "] "
           + ": " + token.startOffset + " => "
                                                + token.endOffset) ;
     }
}
}

上面那段代码的结果：
[巴拿马] : 0 => 3
[和] : 4 => 5
[美国] : 6 => 8
[都] : 9 => 10
[是] : 11 => 12
[国家] : 13 => 15
[地区] : 16 => 18
[，] : 19 => 20
[汉族] : 21 => 23
[是] : 24 => 25
[一个] : 26 => 28
[民族] : 29 => 31
[上海] : 0 => 2
[民族] : 3 => 5
[交通] : 6 => 8
[大学] : 9 => 11
[微电子] : 12 => 15
[学院] : 16 => 18
[陈] : 19 => 20
[进] : 21 => 22
[法兰西] : 23 => 26
[民族] : 27 => 29

第一个句子里的"民族"竟然出现在了第二个句子的tokenStream里面，这就是lz所说的ICTCLAS不稳定吗？

姓名：(无权查看)
城市：(无权查看)
院校：(无权查看)

从上面那段代码看来，是因为ICTCLAS分词出来的结果有错误才导致了IDF算错了

以下是引用jpz6311whu在2006-5-30 22:37:00的发言：
我当然希望能和你讨论，但是你描述的不是很详细。基于你所说的，我只能建议说在lucene源代码里面设置几个调试断点看看idf的值到底是多少，大概就是Similarity.java里面吧。
如果你想深入讨论，起码要把你所测试的三个句子贴出来，然后分词结果贴出来，然后把idf的具体值贴一下吧。没有这些数据，你就这样泛泛的一说，我真的没办法弄清楚。

姓名：(无权查看)
城市：(无权查看)
院校：(无权查看)

int dataRead = input.read(ioBuffer);
第一次ioBuffer读了之后没有清空，所以最后那个“民族”还是保留到了到第二次。

最简单的改法：
  Analyzer analyzer1 = new ChineseAnalyzer() ;
  Analyzer analyzer2 = new ChineseAnalyzer() ;
     TokenStream stream1 =
         analyzer1.tokenStream("contents", new StringReader(
           "巴拿马和美国都是国家地区，汉族是一个民族"));
     TokenStream stream2 =
         analyzer2.tokenStream("contents", new StringReader(
           "上海民族交通大学微电子学院陈进法兰西"));

姓名：(无权查看)
城市：(无权查看)
院校：(无权查看)

请教楼主：哪里能找到ICTCLAS的dll动态连接库？我下载了源代码，只能生成exe文件，不能生成dll文件。

姓名：(无权查看)
城市：(无权查看)
院校：(无权查看)

以下是引用wyf_aaa在2006-6-9 15:36:00的发言：
请教楼主：哪里能找到ICTCLAS的dll动态连接库？我下载了源代码，只能生成exe文件，不能生成dll文件。

你可以用c++的ide新建dll工程，然后编译之后就生成dll，不要新建application工程。

姓名：(无权查看)
城市：(无权查看)
院校：(无权查看)

ICTCLAS下载以后已经是一个完整的工程了，新建工程后怎么能把已有工程导入新的工程呢？

姓名：(无权查看)
城市：(无权查看)
院校：(无权查看)

您好!请问您能把您用protege构建的“教育技术”领域的本体发给我好吗？因为我还不知道怎么能详细的构建，您能把您做的发给我，供我参考一下，非常感谢！
liujg2004@126.com thanks!!!!!!!!!!!!!!!!!!!

姓名：(无权查看)
城市：(无权查看)
院校：(无权查看)

用protege构建的“教育技术”领域的本体能给我一份吗？
非常感谢！
stonecl@gmail.com

姓名：(无权查看)
城市：(无权查看)
院校：(无权查看)

“教育技术”领域的本体也给我一份吧.
非常感谢！pyscr2003@yahoo.com.cn

姓名：(无权查看)
城市：(无权查看)
院校：(无权查看)

"教育领域的本体"能给我一份吗?
很需要呀，非常感谢!
liweijiexsf@yahoo.com.cn


	W 3 C h i n a ( since 2003 ) 旗下站点苏ICP备05006046号《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》	125.000ms