标签归档：HyperEstraier

项目主页: http://tokyocabinet.sourceforge.net/dystopiadoc/ 介绍: Tokyo Dystopia 是一个全文检索系统,你可以搜索包含某短语的一系列记录，它的特性如下: 1.搜索的高效。 2.目标文标的高可靠性 3.N-gram 法的高召回率 （我加的，原文中没有:召回率是搜索引擎中对搜索结果能否全面的量化，召回率越高，搜索结果中包含相关文档越多，同时一般来说搜索结果越不精确，精确率越低。） 4.短语匹配，前缀匹配,后缀匹配搜索. 5.Unicode下多语种支持。 6.API的分层架构支持。 值得一提的是,印象中Tokyo Dystopia好像在日本国内社交网站老大mixi.jp上应用了。 本文由蝌蚪安尼友情赞助.相关文章Tokyo Tyrant:Tokyo Cabinet的网络接口Tokyo Cabinet:另一个DBM实现tokyodystopia的python封装社区全文检索引擎Hyper Estraier 学习笔记[2]社区全文检索引擎Hyper Estraier 学习笔记[3]文本挖掘,构造垃圾站[一]Spread 简介(试译)Tokyocabinet/Tokyotyrant文档大合集，十全大补汤，哈。缓慢的drop table 操作

如何搭建一个Web界面的搜索界面 现在我的硬盘上有Linux帮助,php中文文档,mysql文档,C函数手册等文档等，它们一共有500M. 我需要一个索引工具。但是明显在命令行不是太方便。因为这些文档全是HTML格式的，我需要用浏览器来打开它们查看。 我决定在本机架设一个apache,利用hyperestraier来进行索引，提供像Google/baidu那样的web界面。 这是我的操作步骤: 1 准备目录: 我在www目录下新建了两个目录，search/tool和search/search_doc目录，将属主改为apache(这是我的apache运行的用户名). search/tool/用来放置hyperestraier的程序和索引数据库，search_doc/下放置原始的各种帮助文档。 2.索引帮助文档: 在search/tool/目录下: estcmd create man_docs_db find ../search_doc/ -name "*.html" -type f|estcmd gather -cl -fm -cm ./man_docs_db – 然后Hyperestraier就哗啦哗啦地索引这500多M的文要资料。很快就索引完了。 3.进行CGI和estseek.cgi的相关设置。 我们将编译hyperestraier目录下产生的estseek.*复制到search_tool目录下，并修改apache的关于CGI的配置: <directory /home/y/www/search_tool/> Options +ExecCGI addHandler cgi-script cgi pl </directory> 现在search_tool目录下的estseek.cgi能被执行了.当然你得执行chmod a+x … 继续阅读 →

经过摸索，我决定给HyperEstraier加上由Hightman写的scws支持，使之支持中文分词。 实地看了代码之后，发现Hyperestraier的结构划分并不好，这可能决定了他只能是某些Hacker的心血之作，而不适用多人协作开发，大规模推广应用。这是旁话。 既然找到分词默认是使用的estraier.c的est_break_text函数，那我的目标就是改造这个函数,现在这个函数被我改成了: scws_t seg; /* Break a sentence of text and extract words. */ void est_break_text(const char *text, CBLIST *list, int norm, int tail){ // hack by renlu.xu   CBLIST *words;   const unsigned char *word, *next;   unsigned … 继续阅读 →

hyperestraier是在前文已经介绍过一的一个开源搜索引擎程序。 分词:采用N-gram,char_category等来分词，良好地支持中文等东亚文字。 分词程序在:estraier.c中 est_break_text est_break_text_perfng est_break_text_chrcat 等分法。 相关的函数有 276 static int est_char_category(int c); 277 static int est_char_category_perfng(int c); 278 static int est_char_category_chrcat(int c); 等 分词默认采用est_break_text 当创建数据库时采用 estcmd create dbname -apn 时，采用est_break_text_perfng来分词 当创建数据库时是用 estcmd create dbname -acc 时，用est_break_text_chrcat来分词 采用est_break_text来分词时，结果这样样的: 今天 天突 … 继续阅读 →