(1 votes, average: 4 out of 5)
Loading ...不容易啊，终于能轻松出入深水区了。
这几天坚持天天去健身房,
但是一直是在水里瞎扑腾，不敢过深水区。狗刨我倒是会，不过一来毕竟不好意思跟人说我会狗刨，二来狗刨太累，从泳池这头到那头，我肯定坚持不下去。
前几天刚去是，那个教练老头老是诱惑我跟他学，主意是好主意，一想到那费用，我还是决定慢慢在水里扑腾好了。
现在终于能轻松地过深水区了，看来瞎琢磨也还是蛮有效的,嘿嘿。
昨天去还被鄙视了，原由是：我正在浅水区瞎整时，看到从入口一下进来四个穿着很漂漂的泳衣的身材不错的MM,直接就下来在我旁边站着，也没有要游泳的意思，还一个劲儿把我瞅着，欲言又止的样子。我心里想着，干嘛呀,难道是…..这时地面上那个身高足有1.9往上的MM教练走近我大声说：先生，我们要在这上课，请您到那边甬道游那吗?……
就为这，我一怒之下冲过了深水区…..发现原来深水区我也能过了…..
今天统计里面一排排的搜索来源关键词，全是兰董兰董,兰董同学暴发了吗?
2008-5
3
In：未分类 by xurenlu
地址是:http://www.phpcup.cn/
对PHP我基本没什么更高的追求,看上去php似乎已经无以复加,在web领域没有什么不能干的了。
但是对小亮同学组织人开个php论坛支持新手的行为，还是表示支持。赞一个。
我在这儿做了基础版版主,我这水平也就能糊弄糊弄新手:(
欢迎大拿们去评点评点…
2008-5
2
In：未分类 by xurenlu
“立春一过，城市里还没有什么春天的迹象，但风真的就不一样了。”
-<<立春>>
《立春》的投资高达2000万元，其时代背景比《孔雀》晚了十多年。片中，蒋雯丽扮演一个自认为怀才不遇的女高音歌唱家，在一家音乐学院担任老师。这个有些自恋的老师经常梦想能被国外的乐团发掘，并跟随国外乐团到世界各地巡回演出。但这只是她个人的一个梦想而已，现实和梦想的巨大差异让她开始构筑一个属于自己的精神世界，并且沉迷于其中。
看完全片，累。
影片海报一张大大的裸照，吊足了人们的胃口，然而，全片却就是王彩玲给黄四宝做模特的这一场，算是补上了色这一节。其实，整场电影下来，一点儿不色。不过片中也有几段音效不适合儿童，一处是王彩玲在国家剧院外面的时候，我老觉得听到恐怖片的配乐，一直在想，是幻觉吗？我最近没看恐怖片啊。最后悟过来，原来高音歌唱家们在剧院里唱的声音传到场外，就是这调调儿啊，真像恐怖片。另一处，其实多次出现，就是经常在王彩玲的家里这听到隔壁美少妇的“哦。。。啊。。。。。啊”的叫床声，我开始也没反应过来这哪来的声音，呵呵。导演整这么一出，估计是为了验证美少妇“我老公每天都有要求”的口头禅吧。这么一来，电影也能搭上”很黄很暴力”的边了，票房肯定不会差了。
一出场的王彩玲，天生一幅好嗓子，热爱艺术，但是小地方对此并不感冒，她却沉浸在自己的梦境里，一如以往去常去北京听歌剧，拿出积蓄上京买户口。当她演唱的时候，周边观众一下子全部散去，老天爷在此时下起不大不小的雪，她的内心冷到冰点。同病相怜的舞蹈老师受不了人们的冷眼，求她说要假借婚。我以为她一定会答应，因为这是一般小说的套路。然而电影中王彩玲没有答应，她说，你是人们喉咙中的一根骨头，我只是不甘于庸俗，人们总想除去你，而我撑不住的时候我可以妥协退于平庸。
张瑶饰演的高贝贝找到王彩玲，她自称身患绝症，唯一的心愿就是可以参加全国歌手大赛并获奖。在北京求职多次碰壁已经让王彩玲深深失望，同时为了帮助高贝贝，王彩玲放弃了进京的梦想，将这笔金钱用来资助后者打通关系。却没想到，自己的好心面对的是一场精心策划的谎言。
美少妇到处宣扬她的老公多么能挣钱，她们的婚姻是多么幸福，然而豪无征兆地，她的老公忽然之间卷走所有存款消失，美少妇找到王彩玲诉苦，说”我现在连你都不如了”,王彩玲一针见血地说：你跟我说这些，把我当朋友，只是因为我比你更不幸福”.
王彩玲回家过了一个春节，在初一这个早上起床很早，听到母亲在院子里放炮竹，马上起来对母亲说，妈，给您拜年了。其实老人并不指望女儿给带多少东西回家，她们所要的，只是自己女儿嫁人，只是要自己女儿有一个平静但幸福的家庭。我一时想起了论语－里仁:
子曰：父母之年不可不知也；一则以喜，一则以惧。
孔子说，父母的生日，做子女的不能不明白。一来高兴，寿日，当庆贺。一来又担忧，父母的年齡大一岁，说明他们在人世的时间又短了一年，陪自己的时间又短了一年。所以，尽孝要趁早，不然，”子欲养而亲不在”，空留遗憾。
北京的钱被骗了，歌唱家做不成了，梦彻底毁灭了。而美少妇邻居的遭遇又说明了男人不可靠（色戒说女人不可靠，投名状说兄弟不可靠,集结号说组织不可靠,这下男人不可靠也凑齐活了),但是生活还得继续。王彩玲这次彻彻底底地向生活妥协了，反正婚介所也不可靠,干脆下决心单身过日子，领养了一个唇裂的孤儿，在街上卖起了羊肉，后来生活还很富足，虽不能相夫，然教子颇有成效，也是一乐。后来，她医好了孩子的唇裂，带着孩子在天安门唱儿歌，对着这个让她无数次梦里向往的地方若有所思。
影片结束,王彩玲身着华服，在国家大剧院在众多伴奏中高唱”我常把珠宝缀满了圣母的衣襟，把我的歌声献给上帝和天上灿烂的群星；在绝望的时刻，为何，为何，上帝啊，为何对我这样残酷无情？”，神圣而肃穆，终于潸然泪下。我看不懂，这是梦境呢,还是事实呢?其实我认为这是导演的祝福而已，一如片后“谨以此片献给王彩玲”的文字附注。做为观者，我知道，王彩玲已经寻到了幸福。
祝愿王彩玲的路，不再在王小凡的身上重演。但这，又何其艰难。凡高之所以成为凡高。因为全世界几百年也才能出一个凡高。每个县城出凡高，每年都出凡高，那凡高又如何是凡高。王小凡名字带着凡字，但我敢说她基本也就没可能成为凡高了。我只是祈求，王小凡放弃她的理想的妥协过程能更…..更生活一些。
2008-5
1
最近为ruby,ruby on rails的灵活和魔幻而着迷。爽。
上上周一个同事给我们介绍了自然语言处理的一些知识，觉得很不错。事实上虽然是雅虎公司的一名工程师，但是因为我不是搜索／邮箱／平台研发这些部门，基本上没有接触到比较深一点的东西，也许对于这些部门来说很简单的东西，对于我来说还是很难以理解的。
课后自己去找了些东西看了看，然后有这样一思路,可以用来构造一个垃圾站。
基本思路是:
1.首先我需要一个spider.这个spider由两个部分完成，第一部分是由一个feed管理程序来不停地从网上读rss回来，第二部分是常规spider，跟nutch什么的spider无异.
2.第二部分是预处理。这一部分包括：纯文本化、去垃圾。
3.第三部分是运算:分词，关键词提取,提取相关文章。
4.热点呈现,网站部分。
具体实现:
rss 的spider要简单一些,但是根据抓回来的内容，也是很多质量不高的种子。比如新浪新闻的rss基本没有正文,而有些feedsky的种子后面跟着一个小尾巴(广告),需要处理。
对于没有正文的，很简单,将之平均长度算出来，如果某个种子的平均长度都很短，就将这个种子丢弃。
对于很多内容不咱的，但是广告链接一大堆的，也有办法:先纯文本化,一个文档就细化为一系列的段。html标签有的去掉了，有的换成空格了.这时将段按空格分组，如果没组长度都很短,即文章内容中若是大量充满着html标签，这样的多半是广告或是垃圾链接。
比如这一段:
- 2006-09-11 charon 写道 我现在对这类动态语言的非本质实现抱很大的怀疑态度。 最近除了这个新闻以外，IronPyton(python的.net版本)1.0也发布了。但看了一下，感觉虽然不是特别差，也是差得可以。也许这是给那些熟悉.net同时又想找一个动态语言的人一个选择？ 两个语法相同但是标准库有差异(jruby可能语法上也略有差异)，支持库有重大差异的语言，还能算是一个语言吗？ 当年不论出于什么原因，Sun对于MS污染java的行为举起了大棒，现在这几个开源社区的动态语言，却纷纷搞出这么些方言来，不好说阿。 IronPython和JRuby可能还是不太一样的。dotnet平台实际上提供了自己统一的dotnet fraemwork类库，所谓不同的编程语言支持，更像是一种语法糖衣而已。但是JRuby其实实现了大部分ruby自己的库，用JRuby并非仅仅用一个ruby语法而已，关键是ruby本身的方便的库和rails框架，至于Java库的支持，只是辅助了。 Sun对JRuby的支持表明了一种态度，这种态度是承认ruby在企业快速开发方面的优势，而对ruby提供更好的支持。而Microsoft支持的IronPython更像是用python语法写C#程序那种感觉，换汤不换药。 charon
- robbin 浏览: 1653543 次 性别: 来自: 上海 详细资料 搜索本博客 博客分类 全部博客 (119) 杂感 (38) Java (27) Ruby (31) System (5) JavaEye (19) 我的相册 游乌镇 共 33 张 其他分类 我的收藏 (19) 我的论坛帖子 (4506) 我的精华良好贴 (97) 最近加入圈子 JavaEye沙龙 广州JavaEyer饭局群 Ubuntu For Fun JavaEye水源 英语学习 链接 javaeye 存档 2008-04 (2) 2008-03 (6) 2008-01 (7) 更多存档... 最新评论 Warp framework - 一个相 ...
- 当然新的东西是可以尝试的，我 ... 吧？
- -- by dhxyu 总结一下大家对JavaEye网 ...
- 支持`~~
- -- by hgz123 关于JavaEye网站未来发展 ...
- javaeye前途无量！ 今天认真看了这篇文章，
- -- by ahkai SAAS(软件即服务) 离我们 ...
- 呵呵，在中国，我不看好这种模式，对个人也许有用，但在企业领域，恐怕很难推广。如楼 ...
- -- by zlxym 以无法为有法，以无限为有 ...
- 呵呵，楼主还是单纯技术人员的创办思路。缺少营销、商业气味！这道也不是什么坏事，但 ...
- -- by cljhyjs 评论排行榜 Warp framework - 一个相当有前途的Java轻 ... 《太阳照常升起》观后感 关于JavaEye网站未来发展的思考 从分布式系统的角度看REST Java已经过时了吗？ [什么是RSS?]
- 声明：JavaEye文章版权属于作者，受法律保护。没有作者书面许可不得转载。若作者同意转载，必须以超链接形式标明文章原始出处和作者。
- © 2003-2008 JavaEye.com. All rights reserved. 上海炯耐计算机软件有限公司 [ 沪ICP备05023328号 ]
这上面有的地方有很多空格，这一段就要去掉。当然可以再对段做分析，将一段中空格多的地方去掉。
好了经过整理，现在得到了质量稍好一点的文本了。我们进行分析分词。分词,我是在一个叫hightman的开发者的作品的基础上包装了一个ruby库,原文地址是http://www.hightman.cn/bbs/viewthread.php?tid=321.Ruby是一门很好的胶水语言，但是性能较差，因此对性能要求高的部分我选择用c封装ruby模块。
分好词了，我们再抽出一些实词，比如名词(联想集团)，动词(上市,IPO，收购),其实主要思路是跟IT、商业有关的（q我们事先整理一张表，将这些词放进来）,将无意义的词(很好，缓慢,深深地…)去掉，对频度，权值排个序，取出前20个，
记为主题词。
现在这个也做好了以后我们将文本、主题词入库。再对每一篇文本计算相似文章。这个，我开始是打算就将关键词和文章都存入数据库，然后按照文章之间主题词的重合度来算，但是后来发现文章数越多这个计算就越复杂，并且运算量随文章数的增长而增长，而且增长更快（指数的而不是线性的增长).
后来想了个办法，我正好也需要一个全文索引，于是利用这个全文检索来完成。全文检索当然不是自己做，现成的有不少系统。用一篇文章的关键词去搜索，搜索结果中的文章就是这篇文章的相似文章。
至于热点事件挖掘，现在还不知道如何去实现一个demo.可能首先要依赖分词引擎的新词发现比较准确吧。
搞定以后，有一个问题，我的抓取和分析模块都在我的台式机上完成，但是我需要把数据传输到远程主机上。这点到后面也就用了不到100行代码搞定了（我自己手工写的代码，在40行以内!).因为，一个rails2.0的组件叫activerecord,还有一个叫activeResource,而rails的scaffold可以帮我生成rest协议的相关代码。需要我手工写的代码是:
- for item in @items
- post=Post2s.new
- post.title=item.title
- post.md5=item.md5
- post.body=item.description
- post.rss_pub_date=item.pubDate
- post.service_id="blog"
- ....
- post.save
- end
简单明了，谁都看得懂.这是一段运行在我的台式机上的代码，但是他保存的时候，却与远程的主机交互将数据保存在了服务器上，走的是HTTP通道，数据交换格式是HTML/XML.
Ruby 果然很适合用来替代很多难度不大但是需要大段废话的场合。
下一篇就写如何搞中文分词的ruby包装。