这里有一篇阿里巴巴对于大数据技术的系统架构介绍，值得一看
发布时间：2022-10-15 11:11:45 所属栏目：大数据 来源：
导读： 数据采集日志采集体系
阿里建立标准的数据采集体系方案，高效完成海量数据的采集，并将其传输到大数据平台。
日志采集体系方案包括两大体系：
面向各个场景的数据埋点规范
数据
阿里建立标准的数据采集体系方案，高效完成海量数据的采集，并将其传输到大数据平台。
日志采集体系方案包括两大体系：
面向各个场景的数据埋点规范
数据
|
数据采集日志采集体系 阿里建立标准的数据采集体系方案，高效完成海量数据的采集，并将其传输到大数据平台。 日志采集体系方案包括两大体系： 面向各个场景的数据埋点规范 数据传输体系数据同步体系数据计算数据存储及计算云平台 离线计算平台 MaxCompute 和实时计算平台StreamCompute 阿里数据仓库--数据加工链路 从数据计算频率角度来看，阿里数据仓库可以分为两类 数据整合及管理体系--OneData OneData 是数据整合及管理的方法体系和工具，在这一体系下，构建统一、规范、可共享的全域数据体系 ，避免数据的冗余和重复建设 ，规避数据烟囱和不一致性，充分发挥在大数据海量、多样性方面的独特优势 数据管理--元数据模型整合及应用 数据服务数据服务&数据源 针对不同的需求，数据服务层的数据源架构在多种数据库之上，如 MySQL HBase 等。后续将逐渐迁移至阿里云云数据库 ApsaraDB for RDS （简称“ RDS ”）和表格存储（ Table Store ）等。 数据服务&基础工具层 数据服务层主要是通过统一的数据服务平台（简称为“OneService ”）对外提供数据服务。 OneService 以数据仓库整合计算好的数据作为数据源，对外通过接口的方式提供数据服务，主要提供简单数据查询服务、复杂数据查询服务（承接集团用户识别、用户画像等复杂数据查询服务）和实时数据推送服务三大特色数据服务。 数据应用 阿里对数据的应用表现在各个方面，如搜索、推荐、广告、金融、信用、保险、文娱、物流等。商家 ，阿里内部的搜索、推荐、广告、金融等平台 ，阿里内部的运营和管理人员等大数据计算框架，都是数据应用方； ISV、 研究机构和社会组织等也可以利用阿里开放的数据能力和技术。 对内，阿里数据平台产品主要有实时数据监控、自助式的数据网站或产品构建的数据小站、宏观决策分析支撑平台、对象分析工具、行业数据分析门户、流量分析平台等。 （编辑：均轻资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐