大数据计算框架Hadoop, Spark和MPI
发布时间：2022-11-03 11:12:06 所属栏目：大数据 来源：
导读： 今天做题，其中一道是
请简要描述一下Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景。
一直想对这些大数据计算框架总结一下，只可惜太懒，一直拖着。今天就借这个机会好好学
请简要描述一下Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景。
一直想对这些大数据计算框架总结一下，只可惜太懒，一直拖着。今天就借这个机会好好学
|
今天做题，其中一道是 请简要描述一下Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景。 一直想对这些大数据计算框架总结一下，只可惜太懒，一直拖着。今天就借这个机会好好学习一下。 一张表 Hadoop Hadoop就是解决了大数据的可靠存储和处理。现在的Hadoop主要包含两个框架 大规模存储系统HDFS：在由普通PC组成的集群上提供高可靠的文件存储，通过将块保存成多个副本的办法来解决服务器或硬盘坏掉的问题。以低功耗、高性能的方式储存数据，并且能优化大数据的种类和读取速度。 计算引擎YARN：可以承载任何数量的程序框架，原始的框架是MR，通过Mapper和Reduccer的抽象提供一个编程模型，可以在一个或上百个PC组成的不可靠集群上并发的、分布式的处理大量数据集，而把并发、分布式和故障恢复等计算细节隐藏起来。 Hadoop的局限和不足 Spark Apache Spark是一个新兴的大数据处理的引擎，主要特点是提供了一个集群的分布式内存抽象，以支持需要工作集的应用。 这个抽象就是RDD(Resilient Distributed Dataset)，RDD就是一个不可变的带分区的记录集合，RDD也是Spark中的编程模型。Spark提供了RDD上的两类操作，转换和动作。转换是用来定义一个新的RDD，包括map, flatMap, filter, union, sample, join, groupByKey, cogroup, ReduceByKey, cros, sortByKey, mapValues等，动作是返回一个结果，包括collect, reduce, count, save, lookupKey。 在Spark中，所有RDD的转换都是是惰性求值的。RDD的转换操作会生成新的RDD，新的RDD的数据依赖于原来的RDD的数据，每个RDD又包含多个分区。那么一段程序实际上就构造了一个由相互依赖的多个RDD组成的有向无环图(DAG)。并通过在RDD上执行动作将这个有向无环图作为一个Job提交给Spark执行。 Spark对于有向无环图Job进行调度，确定阶段(Stage)，分区(Partition)，流水线(Pipeline)，任务(Task)和缓存(Cache)，进行优化，并在Spark集群上运行Job。RDD之间的依赖分为宽依赖(依赖多个分区)和窄依赖(只依赖一个分区)，在确定阶段时，需要根据宽依赖划分阶段。根据分区划分任务。 Spark支持故障恢复的方式也不同，提供两种方式，Linage，通过数据的血缘关系大数据计算框架，再执行一遍前面的处理，Checkpoint，将数据集存储到持久存储中。 Spark为迭代式数据处理提供更好的支持。每次迭代的数据可以保存在内存中，而不是写入文件。 那么Spark解决了Hadoop的哪些问题呢? （编辑：均轻资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐