最近为ruby,ruby on rails的灵活和魔幻而着迷。爽。
上上周一个同事给我们介绍了自然语言处理的一些知识，觉得很不错。事实上虽然是雅虎公司的一名工程师，但是因为我不是搜索／邮箱／平台研发这些部门，基本上没有接触到比较深一点的东西，也许对于这些部门来说很简单的东西，对于我来说还是很难以理解的。
课后自己去找了些东西看了看，然后有这样一思路,可以用来构造一个垃圾站。
基本思路是:
1.首先我需要一个spider.这个spider由两个部分完成，第一部分是由一个feed管理程序来不停地从网上读rss回来，第二部分是常规spider，跟nutch什么的spider无异.
2.第二部分是预处理。这一部分包括：纯文本化、去垃圾。
3.第三部分是运算:分词，关键词提取,提取相关文章。
4.热点呈现,网站部分。
具体实现:
rss 的spider要简单一些,但是根据抓回来的内容，也是很多质量不高的种子。比如新浪新闻的rss基本没有正文,而有些feedsky的种子后面跟着一个小尾巴(广告),需要处理。
对于没有正文的，很简单,将之平均长度算出来，如果某个种子的平均长度都很短，就将这个种子丢弃。
对于很多内容不咱的，但是广告链接一大堆的，也有办法:先纯文本化,一个文档就细化为一系列的段。html标签有的去掉了，有的换成空格了.这时将段按空格分组，如果没组长度都很短,即文章内容中若是大量充满着html标签，这样的多半是广告或是垃圾链接。
比如这一段:

这上面有的地方有很多空格，这一段就要去掉。当然可以再对段做分析，将一段中空格多的地方去掉。
好了经过整理，现在得到了质量稍好一点的文本了。我们进行分析分词。分词,我是在一个叫hightman的开发者的作品的基础上包装了一个ruby库,原文地址是http://www.hightman.cn/bbs/viewthread.php?tid=321.Ruby是一门很好的胶水语言，但是性能较差，因此对性能要求高的部分我选择用c封装ruby模块。
分好词了，我们再抽出一些实词，比如名词(联想集团)，动词(上市,IPO，收购),其实主要思路是跟IT、商业有关的（q我们事先整理一张表，将这些词放进来）,将无意义的词(很好，缓慢,深深地…)去掉，对频度，权值排个序，取出前20个，
记为主题词。
现在这个也做好了以后我们将文本、主题词入库。再对每一篇文本计算相似文章。这个，我开始是打算就将关键词和文章都存入数据库，然后按照文章之间主题词的重合度来算，但是后来发现文章数越多这个计算就越复杂，并且运算量随文章数的增长而增长，而且增长更快（指数的而不是线性的增长).
后来想了个办法，我正好也需要一个全文索引，于是利用这个全文检索来完成。全文检索当然不是自己做，现成的有不少系统。用一篇文章的关键词去搜索，搜索结果中的文章就是这篇文章的相似文章。
至于热点事件挖掘，现在还不知道如何去实现一个demo.可能首先要依赖分词引擎的新词发现比较准确吧。
搞定以后，有一个问题，我的抓取和分析模块都在我的台式机上完成，但是我需要把数据传输到远程主机上。这点到后面也就用了不到100行代码搞定了（我自己手工写的代码，在40行以内!).因为，一个rails2.0的组件叫activerecord,还有一个叫activeResource,而rails的scaffold可以帮我生成rest协议的相关代码。需要我手工写的代码是:

简单明了，谁都看得懂.这是一段运行在我的台式机上的代码，但是他保存的时候，却与远程的主机交互将数据保存在了服务器上，走的是HTTP通道，数据交换格式是HTML/XML.
Ruby 果然很适合用来替代很多难度不大但是需要大段废话的场合。
下一篇就写如何搞中文分词的ruby包装。

中文分词一直是一个看起来似乎比较神秘的东西。记得java中的lucene好像自带了两个分词器。一个是按汉字分，就是一个字分成一个词。比如”我要到饭馆吃饭“，就被分成”我/要/到/饭/馆/吃/饭”.别一个是相邻的两个字分成一个词，分出来的结果是”我要/要到/到饭/饭馆/馆吃/吃饭”.然而这两种虽说在做搜索时建索引什么的操作时也是相当有用的，但是毕竟是一种权宜之计，咱不能一直停留在这个水平上。

下面是来自Rlucene的一段示例代码，154行，利用sogou的词库搞定了中文分词。代码如下:

#! /usr/bin/ruby
require “socket”
#通过网络得到分词结果
def segChinese_net(line)
@conn=TCPSocket.open(”localhost”,1099)
@conn.write(line)
line=@conn.read
return line.split(” “)
end
@f= open(”dict/sogou.txt”)
@datas=@f.read.split(”\n”)
@f.close

@f2=open(”dict/firstword.txt”)
@firstwords=@f2.read.split(”\n”)
@f2.close
@maintable=Hash.new()
@firstwords.each{|x|
@maintable[x]=[x]
}
@datas.each{|x|
@maintable[x[0].chr+x[1].chr+x[2].chr].push(x)
}
def segChinese(line)
temp=0
max=(line.length/3)
words=[]
while(temp
pos=temp*3
str1=line[pos].chr+line[pos+1].chr+line[pos+2].chr
str12=str1
str1234=str1
if(temp<(max-1))
str2=line[pos+3].chr+line[pos+4].chr+line[pos+5].chr
str12=line[pos].chr+line[pos+1].chr+line[pos+2].chr+line[pos+3].chr+line[pos+4].chr+line[pos+5].chr
end
if(temp<(max-3))
str1234=line[pos].chr+line[pos+1].chr+line[pos+2].chr+line[pos+3].chr+line[pos+4].chr+line[pos+5].chr+line[pos+6].chr+line[pos+7].chr+line[pos+8].chr+line[pos+9].chr+line[pos+10].chr+line[pos+11].chr
end
if(!@maintable[str1].nil?)
if(!@maintable[str1].index(str1234).nil?)
temp+=4
words.push(str1234)
else
if(!@maintable[str1].index(str12).nil?)
temp+=2
words.push(str12)
else
words.push(str1)
temp+=1
end
end
else
words.push(str1)
temp+=1
end
end
return words
end
#return an array of the segemention.
#得到当前句子的分词结果.
def segment(str)

chars=Hash.new(0)
chars["char"]=”~!@#$\%^&*()_+}{[]\\|\”‘:;/?><,. \t\n\b\a”
chars["num"]=”0123456789″
chars["alpha"]=”abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ”
bytes=Hash.new(0)
i=0
buffer=”"
#oldtype 表示上一个字符的种类:字符还是字母还是数字
#newtype表示本字符的种类
#type:1,表示字符,2表示数字,3表示字母,4表示属于汉字(多字节字符)
#Buffer用来存储当未完成的一个词.
#只有当当前字符类型与前一个字符类型不一致时才输出buffer,并清空buffer,改为当前字符值.
#当与前一字符类型相同时，仅是把当前字符推入buffer(加到buffer的后面)
#oldtype为4时，当输出一个buffer时,还需要对当前buffer进行中文分词
oldtype=0
newtype=0
flag=0
words=[]
0.upto(str.length-1){|a|
if(flag>0)
flag=flag-1
else
x=str[a]
if(!chars["char"].index(x.chr).nil?)
newtype=1
if(newtype==oldtype)
buffer=buffer+x.chr
else
if(oldtype==4)
words.concat(segChinese(buffer.strip))
buffer=x.chr
else
words.push( buffer) if (buffer.strip!=”")
buffer=x.chr
end
end
oldtype=1
end
if(!chars["num"].index(x.chr).nil?)
newtype=2
if(newtype==oldtype)
buffer=buffer+x.chr
else
if(oldtype==4)
words.concat(segChinese(buffer.strip))
buffer=x.chr
else
words.push(buffer) if (buffer.strip!=”")
buffer=x.chr
end
end
oldtype=2
end
if(!chars["alpha"].index(x.chr).nil?)
newtype=3
if(newtype==oldtype)
buffer=buffer+x.chr
else
if(oldtype==4)
words.concat(segChinese(buffer.strip))
buffer=x.chr
else
words.push(buffer) if (buffer.strip!=”")
buffer=x.chr
end
end
oldtype=3
end
if(x>127)
flag=+2
newtype=4
if(newtype==oldtype)
buffer=buffer+str[a].chr+str[a+1].chr+str[a+2].chr
else
words.push(buffer) if(buffer.strip!=”")
buffer=str[a].chr+str[a+1].chr+str[a+2].chr
end
oldtype=4
end
end
}
if(oldtype==4)
words.concat(segChinese(buffer.strip))
else
words.push(buffer) if(buffer.strip!=”")
end
total=”"
words.each{|x| total=total+x+” “}
return total
#puts total
end

ruby果然就是牛B极了。在学着用BCB折腾nsapi的时候 ，发现了asp,于是我觉得asp真是一个比较牛B的东西。接着发现了php,于是我扔掉了asp, 接着发现python比php有前途，现在，python还没摸透，又瞅 上ruby了。世界变化真是太快了，我快跟不上啦。

不过要实用，可能还得做些调整。 一般来说，分词的词库得自己整，sogou这个示例可以，真起来肯定有问题。而且要实用，在结果准确度上还要下功能。