要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。
发布时间：2022-11-09 10:53:49 所属栏目：大数据 来源：
导读： 这个项目目前还很不成熟，但是功能基本都完成了。要求使用者熟悉XML，熟悉正则表达式。目前通过这个工具可以抓取各类论坛，贴吧，以及各类CMS系统。像Discuz!,phpbb,论坛跟博客的文章，通过本工具都可以轻松抓取
|
这个项目目前还很不成熟，但是功能基本都完成了。要求使用者熟悉XML，熟悉正则表达式。目前通过这个工具可以抓取各类论坛，贴吧，以及各类CMS系统。像Discuz!,phpbb,论坛跟博客的文章，通过本工具都可以轻松抓取。抓取定义完全采用XML，适合Java开发人员使用。 使用方法： 下载右边的.war包导入到eclipse中，使用WebContent/sql下的wcc.sql文件建立一个范例数据库，修改src包下wcc.core的dbConfig.txt，将用户名与密码设置成你自己的mysql用户名密码。然后运行SystemCore,运行时候会在控制台，无参数会执行默认的example.xml的配置文件，带参数时候名称为配置文件名。 系统自带了3个例子，分别为baidu.xml抓取百度知道，example.xml抓取我的javaeye的博客，bbs.xml抓取一个采用 discuz论坛的内容。 特点：通过XML配置文件实现高度可定制性与可扩展性 12、Spiderman Spiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。 怎么使用？ 首先，确定好你的目标网站以及目标网页（即某一类你想要获取数据的网页，例如网易新闻的新闻页面） 然后，打开目标页面，分析页面的HTML结构，得到你想要数据的XPath，具体XPath怎么获取请看下文。 最后，在一个xml配置文件里填写好参数，运行Spiderman吧！ 特点：灵活、扩展性强，微内核+插件式架构，通过简单的配置就可以完成数据抓取，无需编写一句代码 13、webmagic webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。 webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。 webmagic包含强大的页面抽取功能，开发者可以便捷的使用css selector、xpath和正则表达式进行链接和内容的提取，支持多个选择器链式调用。 webmagic的使用文档： 查看源代码： 特点：功能覆盖整个爬虫生命周期，使用Xpath和正则表达式进行链接和内容的提取。 备注：这是一款国产开源软件，由 黄亿华贡献 14、Web-Harvest Web-Harvest是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有用的数据。Web-Harvest主要是运用了像XSLT,XQuery,正则表达式等这些技术来实现对text/xml的操作。 其实现原理是，根据预先定义的配置文件用httpclient获取页面的全部内容（关于httpclient的内容，本博有些文章已介绍），然后运用XPath、XQuery、正则表达式等这些技术来实现对text/xml的内容筛选操作，选取精确的数据。前两年比较火的垂直搜索（比如：酷讯等）也是采用类似的原理实现的。Web-Harvest应用，关键就是理解和定义配置文件，其他的就是考虑怎么处理数据的Java代码。当然在爬虫开始前，也可以把Java变量填充到配置文件中，实现动态的配置。 特点：运用XSLT、XQuery、正则表达式等技术来实现对Text或XML的操作，具有可视化的界面 15、WebSPHINX WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理Web页面的程序。WebSPHINX由两部分组成：爬虫工作平台和WebSPHINX类包。 授权协议：Apache 开发语言：Java 特点：由两部分组成：爬虫工作平台和WebSPHINX类包 16、YaCy YaCy基于p2p的分布式Web搜索引擎.同时也是一个Http缓存代理服务器.这个项目是构建基于p2p Web索引网络的一个新方法.它可以搜索你自己的或全局的索引,也可以Crawl自己的网页或启动分布式Crawling等. 特点：基于P2P的分布式Web搜索引擎 Python爬虫 17、QuickRecon QuickRecon是一个简单的信息收集工具,它可以帮助你查找子域名名称、perform zone transfe、收集电子邮件地址和使用microformats寻找人际关系等。QuickRecon使用python编写，支持linux和 windows操作系统。 特点：具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能 18、PyRailgun 这是一个非常简单易用的抓取工具。支持抓取javascript渲染的页面的简单实用高效的python网页爬虫抓取模块 特点：简洁、轻量、高效的网页抓取框架 备注：此软件也是由国人开放 github下载： 19、Scrapy Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～ github源代码： 特点：基于Twisted的异步处理框架，文档齐全 C++爬虫 20、hispider HiSpider is a fast and high performance spider with high speed 严格说只能是一个spider系统的框架, 没有细化需求, 目前只是能提取URL, URL排重, 异步DNS解析, 队列化任务, 支持N机分布式下载, 支持网站定向下载(需要配置hispiderd.ini whitelist). 特征和用法: 工作流程: 授权协议： BSD 开发语言： C/C++ 操作系统： Linux 特点：支持多机分布式下载, 支持网站定向下载 21、larbin larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。Larbin只是一个爬虫，也就 是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。一个简单的larbin的爬虫可以每天获取５００万的网页。 利用larbin，我们可以轻易的获取/确定单个网站的所有链接，甚至可以镜像一个网站；也可以用它建立url 列表群，例如针对所有的网页进行 url retrive后，进行xml的联结的获取。或者是 mp3，或者定制larbin，可以作为搜索引擎的信息的来源。 特点：高性能的爬虫软件，只负责抓取不负责解析 22、Methabot Methabot 是一个经过速度优化的高可配置的 WEB、FTP、本地文件系统的爬虫软件。 特点：过速度优化、可抓取WEB、FTP及本地文件系统 源代码： C#爬虫 23、NWebCrawler NWebCrawler是一款开源，C#开发网络爬虫程序。 特性： 授权协议： GPLv2 开发语言： C# 操作系统： Windows 项目主页： 特点：统计信息、执行过程可视化 24、Sinawler 国内第一个针对微博数据的爬虫程序！原名“新浪微博爬虫”。 登录后，可以指定用户为起点，以该用户的关注人、粉丝为线索，延人脉关系搜集用户基本信息、微博数据、评论数据。 该应用获取的数据可作为科研、与新浪微博相关的研发等的数据支持，但请勿用于商业用途。该应用基于.NET2.0框架，需SQL SERVER作为后台数据库，并提供了针对SQL Server的数据库脚本文件。 另外，由于新浪微博API的限制，爬取的数据可能不够完整（如获取粉丝数量的限制、获取微博数量的限制等） 本程序版权归作者所有。你可以免费: 拷贝、分发、呈现和表演当前作品,制作派生作品。 你不可将当前作品用于商业目的。 5.x版本已经发布！ 该版本共有6个后台工作线程：爬取用户基本信息的机器人、爬取用户关系的机器人、爬取用户标签的机器人、爬取微博内容的机器人、爬取微博评论的机器人，以及调节请求频率的机器人。更高的性能！最大限度挖掘爬虫潜力！ 以现在测试的结果看，已经能够满足自用。 本程序的特点： 6个后台工作线程，最大限度挖掘爬虫性能潜力！界面上提供参数设置，灵活方便抛弃app.config配置文件，自己实现配置信息的加密存储，保护数据库帐号信息自动调整请求频率，防止超限，也避免过慢，降低效率任意对爬虫控制，可随时暂停、继续、停止爬虫良好的用户体验 授权协议： GPLv3 开发语言： C# .NET 操作系统： Windows 25、spidernet spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和utf8编码的资源; 存储于sqlite数据文件. 源码中TODO:标记描述了未完成功能, 希望提交你的代码. github源代码： 特点：以递归树为模型的多线程web爬虫程序大数据爬虫，支持以GBK (gb2312)和utf8编码的资源，使用sqlite存储数据 26、Web Crawler mart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫可以从单个链接或一个链接数组开始，提供两种遍历模式：最大迭代和最大深度。可以设置 过滤器限制爬回来的链接，默认提供三个过滤器ServerFilter、BeginningPathFilter和 RegularExpressionFilter，这三个过滤器可用AND、OR和NOT联合。在解析过程或页面加载前后都可以加监听器。介绍内容来自Open-Open 特点：多线程，支持抓取PDF/DOC/EXCEL等文档来源 27、网络矿工 网站数据采集软件 网络矿工采集器（原soukey采摘） Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件，也是网站数据采集软件类型中唯一一款开源软件。尽管Soukey采摘开源，但并不会影响软件功能的提供，甚至要比一些商用软件的功能还要丰富。 特点：功能丰富，毫不逊色于商业软件 PHP爬虫 28、OpenWebSpider OpenWebSpider是一个开源多线程Web Spider（robot：机器人，crawler：爬虫)和包含许多有趣功能的搜索引擎。 特点：开源多线程网络爬虫，有许多有趣的功能 29、PhpDig PhpDig是一个采用PHP开发的Web爬虫和搜索引擎。通过对动态和静态页面进行索引建立一个词汇表。当搜索查询时，它将按一定的排序规则显示包含关 键字的搜索结果页面。PhpDig包含一个模板系统并能够索引PDF,Word,Excel,和PowerPoint文档。PHPdig适用于专业化更 强、层次更深的个性化搜索引擎，利用它打造针对某一领域的垂直搜索引擎是最好的选择。 演示： 特点：具有采集网页内容、提交表单功能 30、ThinkUp ThinkUp 是一个可以采集推特，facebook等社交网络数据的社会媒体视角引擎。通过采集个人的社交网络账号中的数据，对其存档以及处理的交互分析工具，并将数据图形化以便更直观的查看。 github源码： 特点：采集推特、脸谱等社交网络数据的社会媒体视角引擎，可进行交互分析并将结果以可视化形式展现 31、微购 微购社会化购物系统是一款基于ThinkPHP框架开发的开源的购物分享系统，同时它也是一套针对站长、开源的的淘宝客网站程序，它整合了淘宝、天猫、淘宝客等300多家商品数据采集接口，为广大的淘宝客站长提供傻瓜式淘客建站服务，会HTML就会做程序模板，免费开放下载，是广大淘客站长的首选。 演示网址： 授权协议： GPL 开发语言： PHP 操作系统： 跨平台 ErLang爬虫 32、Ebot Ebot 是一个用 ErLang 语言开发的可伸缩的分布式网页爬虫，URLs 被保存在数据库中可通过 RESTful 的 HTTP 请求来查询。 github源代码： 项目主页： 特点：可伸缩的分布式网页爬虫 Ruby爬虫 33、Spidr Spidr 是一个Ruby 的网页爬虫库，可以将整个网站、多个网站、某个链接完全抓取到本地。 （编辑：均轻资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐