hadoop 实现大数据存储
发布时间：2022-11-11 11:13:51 所属栏目：大数据 来源：
导读： 今天，大数据几乎被所有行业所采用，包括银行，政府，制造业，航空公司和酒店等。
有许多用于存储和管理数据的开源软件框架，而Hadoop就是其中之一。它具有巨大的存储数据能力，高效的数据处理能力和做无
有许多用于存储和管理数据的开源软件框架，而Hadoop就是其中之一。它具有巨大的存储数据能力，高效的数据处理能力和做无
|
今天，大数据几乎被所有行业所采用，包括银行，政府，制造业，航空公司和酒店等。 有许多用于存储和管理数据的开源软件框架，而Hadoop就是其中之一。它具有巨大的存储数据能力，高效的数据处理能力和做无数任务的能力。它是由Apache开发的基于Java的编程框架。有很多组织使用Hadoop —— 包括Amazon Web Services，Intel，Cloudera，Microsoft，MapR Technologies，Teradata等。 Hadoop的历史 Doug Cutting和Mike Cafarella是Hadoop历史上两位重要人物。他们希望通过将数据分布在多台机器上并行计算来更快地返回网络搜索结果，以便同时执行多个作业。那时，他们正在开发一个名为Nutch的开源搜索引擎项目。但是，与此同时，谷歌搜索引擎项目也在进行中。所以，Nutch被分成两部分(其中一部分涉及数据处理)，这两个部分被命名为Hadoop——一个属于Cutting儿子的玩具大象。Hadoop于2008年由雅虎发布为开源项目。今天，Apache软件基金会维护着Hadoop生态系统。 使用Hadoop的先决条件 基于Linux的操作系统如Ubuntu或Debian是建立Hadoop的首选。有关Linux命令的基本知识很有帮助。此外，Java在Hadoop的使用中扮演着重要的角色。但人们可以使用他们喜欢的语言，如用Python或Perl来编写方法或函数。 Hadoop中有四个主要的库。 Hadoop Common：这提供了Hadoop中所有其他模块使用的公用程序。Hadoop MapReduce：这是一个用于调度和处理数据的并行框架。Hadoop YARN：这是Yet Another Resource Navigator(另一个资源导航器)的首字母缩写。它是MapReduce的改进版本，用于Hadoop上运行的进程。Hadoop分布式文件系统(Hadoop Distributed File System ) - HDFS：存储数据并维护各种机器或群集上的记录。它也允许数据以可访问的格式存储。 HDFS将数据发送到服务器一次，并根据需要多次使用它。当引发查询时，NameNode管理提供给定查询的所有DataNode从属节点。Hadoop MapReduce执行所有按顺序分配的作业。Pig Hadoop和Hive Hadoop被用于更好的性能表现上，而不是MapReduce。 下面列出了其他可以支持Hadoop的软件包。 Hadoop的重要性 Hadoop能够存储和处理各种类型的大量数据。在存储数据之前不需要预处理数据。Hadoop具有高度的可扩展性，因为它可以在并行运行的多台机器上存储和分发大型数据集。这个框架是免费的，并使用经济高效的方法。 使用Hadoop时面临的挑战 Hadoop不提供简单的工具来清除数据中的噪音; 因此，保持这些数据是一个挑战。它有许多数据安全问题，如加密问题。流式作业和批处理作业不能有效执行。MapReduce编程对于涉及高度分析技能的工作而言效率低下。它是一个低级API的分布式系统。一些API对开发人员无用。 但也有好处。Hadoop有许多有用的功能，如数据仓库，欺诈检测和市场活动分析。这些有助于从收集的数据中获取有用的信息。Hadoop能够自动复制数据。因此有多份数据可被用作备份来防止数据丢失。 类似于Hadoop的框架 没有提及Hadoop的任何关于大数据的讨论都不是完整的。但是与其他技术一样，许多类似于Hadoop的框架已经被开发了。其他广泛使用的框架包括Ceph，Apache Storm，Apache Spark，DataTorrentRTS，Google BiqQuery，Samza大数据存储，Flink和HydraDataTorrentRTS。 MapReduce需要很多时间才能执行分配的任务。Spark可以通过对数据进行内存中的处理来解决这个问题。Flink是另一个比Hadoop和Spark工作速度更快的框架。Hadoop对实时处理数据效率不高。Apache Spark使用对数据进行连续输入和输出的数据进行流处理。Apache Flink还为数据流和批处理提供单一运行时。 但是，Hadoop因其可扩展性，低成本和灵活性而成为大数据分析的首选平台。它提供了一系列数据科学家需要的工具。带有YARN的Apache Hadoop将大量原始数据转换为易于使用的特征矩阵。Hadoop使机器学习算法更简单。 （编辑：均轻资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐