NWebCrawler

项目介绍:

NWebCrawler是一款开源的C#网络爬虫程序

License:

GNU General Public License v2.0 or later

链接:

暂无版本信息

讨论

同类项目

Scrapy
Scrapy 是一套基于基于Twisted的异步处理框架,纯python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便~
OpenWebSpider
OpenWebSpider是一个开源多线程Web Spider(robot:机器人,crawler:爬虫)和包含许多有趣功能的搜索引擎。
CrawlZilla
crawlzilla 是一個幫你輕鬆建立搜尋引擎的自由軟體,即基于Java JavaScript SHELL开发的Web爬虫程序,有了它,你就不用依靠商業公司的收尋引擎,也不用再煩惱公司內部網站資料索引的問題。由 nutch 專案為核心,並整合更多相關套件,並開發設計安裝與管理UI,讓使用者更方便上手。除了爬取基本的 html 檔外,還能分析網頁上的檔案,如( doc、pdf、ppt、ooo、rss )等多種文件格式,讓你的搜尋引擎不只是網頁搜尋引擎,而是網站的完整資料索引庫,擁有中文分詞能力,讓你的搜尋更精準。crawlzilla的特色與目標,最主要就是提供使用者一個方便好用易安裝的搜尋平台,
Ebot
Ebot 是一个基于 ErLang 语言开发的跨平台的可伸缩的分布式网页爬虫,URLs 被保存在数据库中可通过 RESTful 的 HTTP 请求来查询。授权协议为GPLv3
Grub Next Generation
Grub Next Generation是一个分布式的网页爬虫系统,支持Windows和Linux操作系统,它包含客户端和服务器可以用来维护网页的索引。

相关讨论组

该项目还没有关联的讨论组