系统说明
该系统是一个能够在网上抓取BT数据并维护的爬虫程序。这个爬虫做这样一个事情。自动访问internet,并得到torrent链接,下载它们,供用户访问。同时得到mp3,exe的链接,让用户下载(这是盗链);包括这样几个部分:全站资源抓取程序(解析script版,VB 写成),全站资源抓取程序(忽略script版,不解析javascript 和vbscript ,加快速度), web界面的task管理器,search engine web interface.BT文件小偷程序。
整个系统可以都在windows server系列上运行。也就是说,你只要有一台PC就可以跑起来了。
想做一个bt站,但又没有初始的访问量,这是最好的一个得到种子的方法。
安装步骤:
1. 安装spider:setup.exe .
2. 新建search数据库,新建数据用户search,密码search,给这个用户访问search数据库的权限。(附加data目录下的sql server数据文件。)
3. 设置web目录为http://localhost的根目录。
4. 运行spider程序就可以了.
5. 运行java 版本的spider可以得抓取web 数据。
6. 本程序正在开发中,更多信息请到http://www.ansys.org.cn/blog查询.
系统运行平台(均为unicode 版本)
数据库平台:
Microsoft windows server 2003 standard Edition/2000 server
Microsoft Sqlserver 7.0/2000
Web服务器平台:
Microsoft windows server 2003 standard Edition
Microsoft IIS 6.0
Spider 运行平台:
Microsoft windows任一平台(2000,nt,xp,2003)
系统开发平台:
Microsoft server 2003 standard edition
Microsoft Visual Basic 6.0
Microsoft sqlserver 2000
Microsoft IIS 6.0
Java2 Standard Edition 1.42

spider 说明
功能说明:通过内置的简单的浏览器访页面,并解析其中的链接,最后用探测器得到链接的属性(分别有bt,emule,其他p2p,mp3,ftp,swf,图片等),加入到数据库中去。
一个java写成的多线程的抓取程序会读出torrent种子文件存到服务器上,并提供给用户下载。
Spider能够自己在完成任务以后主动申请新任务。
Spider能够访服务器,通过下载固定页面来获得进一步的指令。
忽略弹出窗口的javascript vbscript.
遇到javascript vbscript错误自动跳过。