云计算时代下，看极道ABC融合计算系统的应对打法
发布时间：2022-11-11 11:27:17 所属栏目：云计算 来源：
导读： 近年来人工智能、大数据、云计算等概念涌入人们的视野，放眼四周，这些概念也正在切实地影响着我们的生活。云计算也正在从量变走向质变，ABC（A代表AI，B代表大数据Big Data，C代表Computing即传统的高性能/高通
|
近年来人工智能、大数据、云计算等概念涌入人们的视野，放眼四周，这些概念也正在切实地影响着我们的生活。云计算也正在从量变走向质变，ABC（A代表AI，B代表大数据Big Data，C代表Computing即传统的高性能/高通量计算和新兴的图计算）的融合也已经成为当前信息技术的主流应用模式。 云计算面临的挑战 云计算其实可以分为公有云、容器云、虚拟化、混合云等等。但真正运行在HPC（高性能计算）或者更复杂的计算类业务的话，无论是虚拟化的公有云还是容器云（例如架在公有云上的k8s），都不是为HPC或计算类业务优化的基础架构，都会面临几个挑战：1. 如何做到不同的计算框架静态共享物理硬件资源？ 2. 如何做到可以自由组合多种不同的计算框架解决复杂业务问题？ 3. 如何在要求多台登录节点的同时访问同一个存储空间时，不影响计算吞吐量？ 4. 如何在节省人力的情况下，还可以完成计算系统的运维智能化？ 极道ABC融合计算系统以不变应万变 云计算其实可以分为公有云、容器云、虚拟化、混合云等等。但真正运行在HPC（高性能计算）或者更复杂的。 >>什么是ABC融合计算系统 ABC融合计算系统是以跨“ABC”不同类型计算的智能数据流系统将各种异构计算汇聚，共享硬件资源，按需动态地构建计算框架，调度各种类型的数据计算、处理和分析任务，使用户不再需要同时维护多套集群，轻松构建跨同构、甚至异构的数据分析流程。 >>极道ABC融合计算系统Achelous的独有优势 作为极道科技“存、管、算”协同一体化的数据系统中的“算”担当-极道ABC融合计算系统Achelous的集合了独有的优势从而实现了在一个集群内实现高性能计算、基于容器的批量计算、机器学习、深度学习计算等训练。 1. 模块组件容器化 面对生物信息领域，大量的生物分析流程都会使用不同的框架，容器化技术可以帮助解耦硬件和执行环境，将框架打包成容器使得框架可以在任何机器上运行或者迁移。Achelous支持Docker和Singularity容器化技术，也支持直接将二进制程序运行在操作系统上，支持传统HPC用户的无缝迁移。 2. 多计算框架资源按需调度 Achelous的SRM服务将系统中所有物理机器的所有硬件资源组成资源池，支持但不限于CPU、Memory、GPU、FPGA等等。SRM接受各个应用框架的资源分配/释放请求，并负责监控和管理任务状态。Achelous通过灵活丰富的分配策略和算法在这个层面解决了异构资源调度的问题。并且Achelous实现了多种类型的调度器，支持多种不同类型的框架。Paladin调度一次性容器（类似于SGE），Partisaner调度一组容器（用于支持MPI、Tensorflow等等）。基于容器的调度器是跨框架计算的基础组件。 3. 感知数据，智能调度 企业计算系统需要访问各种各样的存储，包括各种分布式文件系统、分布式块存储和对象存储。不同的应用对存储介质和访问协议的要求不一样，对数据访问一致性要求也各不相同。 感知数据的核心功能在于为特定应用程序匹配最优的存储和IO策略，并打通应用之间的数据流。Achelous存储调度根据应用Task的特点自动选择合适的存储，自动确保下一个阶段执行时数据在合适的位置，无需用户干预。 存储调度依赖计算系统和存储系统之间的协同设计。例如Achelous的数据流执行引擎，支持用户描述任务IO特点，自动帮助应用优化IO访问，提升计算性能。 4. 支持领域编程语言简化用户数据分析 Achelous实现了两种DSL（BSL和WDL），通过特有的runtime特性，打通了应用、调度和存储之间的边界。它自动解析任务之间的数据依赖，确保最大并行效率；根据应用类型，自动构建和销毁框架，实现实时动态资源共享；根据应用IO特点，自动优化数据访问，解决关键应用性能。它不需要用户重新编程，即可获得计算云带来的红利。 5. 可视化构建数据流，实现智能运维 Achelous提供全套可视化的能力云计算调度系统，不仅帮助用户从繁重的IT系统搭建工作中解脱出来，而且Achelous的AIOPS系统支持无人运维，自动故障检测和恢复。让用户可以将更多精力投入到业务中。 最终性能体现 以HPC中典型的生命科学场景为例，某医学公司采用了极道Achelous融合计算系统后，显著提升了作业并行度与效率，简化了分析流程开发。生产集群实现了： 写在最后 在云计算时代下，极道“存管算”一体化协同的智能数据系统，实现了“数据感知”，“应用感知”和“数据智能”。数据存储过程中实时建立复杂索引（数据特征标签），动态组织数据集（文件物理位置无关）投入计算，融合多种异构计算框架，高度并行，计算资源可调配，计算结果可溯源。让数据价值发挥最大价值。 （编辑：均轻资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐