36大数据专稿，本文由36大数据收集整理，转载必须标明来源36大数据且附上本文连接。
要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。
爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总。虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟只是想爬取数据，而非运营一个搜索引擎。
Java爬虫1、Arachnid
Arachnid是一个基于Java的webspider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Webspiders并能够在Web站上的每个页面被解析之后增加几行代码调用。Arachnid的下载包中包含两个spider应用程序例子用于演示如何使用该框架。
特点：微型爬虫框架，含有一个小型HTML解析器
许可证：GPL
、crawlzilla
crawlzilla是一个帮你轻松建立搜索引擎的自由软件，有了它，你就不用依靠商业公司的搜索引擎，也不用再烦恼公司內部网站资料索引的问题。
由nutch专案为核心，并整合更多相关套件，并卡发设计安装与管理UI，让使用者更方便上手。
crawlzilla除了爬取基本的html外，还能分析网页上的文件，如（doc、pdf、ppt、ooo、rss）等多种文件格式，让你的搜索引擎不只是网页搜索引擎，而是网站的完整资料索引库。
拥有中文分词能力，让你的搜索更 。
crawlzilla的特色与目标，最主要就是提供使用者一个方便好用易安裝的搜索平台。
授权协议：ApacheLicense开发语言：JavaJavaScriptSHELL操作系统：Linux