大数据技术应用场景
发布时间：2022-10-20 11:24:30 所属栏目：大数据 来源：
导读： 现在的社会是一个科技与信息高速发展的社会，人们之间的交流越来越密切，生活也越来越方便，大数据技术不知不觉地渗入人们生活的方方面面。人不仅生产大数据，同是也在使用大数据
阿里巴巴创办人马云在一
阿里巴巴创办人马云在一
|
现在的社会是一个科技与信息高速发展的社会，人们之间的交流越来越密切，生活也越来越方便，大数据技术不知不觉地渗入人们生活的方方面面。人不仅生产大数据，同是也在使用大数据 阿里巴巴创办人马云在一次演讲中提到，未来的时代将不是IT时代 ，而是DT时候 DT就是 Data Technology，数据科技，表明了大数据对于阿里巴巴集团来说举足轻重。 有人把数据比喻为蕴藏能量的煤矿。大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是赢得竟争的关键。 1．1 大数据概念及价值 大数据本身是一个比较抽象的概念，单从字面来看，它表示数据规模的庞大。但是仅仅数量上的庞大显然无法看出大数据这一概念和以往的“海量数据”（Massive Data）、“超大规模数据”（Very Large Data）等概念之间有何区别。针对大数据，目前存在多种不同的理解和定义。 麦肯锡在其报告《Big data: The next frontier for innovation, competition and productivity》中给出的大数据定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。 维基百科对“大数据”的解读是：“大数据”（Big Data），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。 百度百科对“大数据”的定义为：“大数据”（Big Data），或称巨量资料，指的是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 研究机构Gartner认为，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，“大数据”指的是无法使用传统流程或工具处理或分析的信息。它定义了哪些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。 按照美国国家标准与技术研究院（National Institute of Standards and Technology，NIST）发布的研究报告的定义，大数据是用来描述在我们网络的、数字的、遍布传感器的、信息驱动的世界中呈现出的数据泛滥的常用词语。大量数据资源为解决以前不可能解决的问题带来了可能性。 大数据代表着数据从量到质的变化过程，代表着数据作为一种资源在经济与社会实践中扮演越来越重要的角色，相关的技术、产业、应用、政策等环境会与之互相影响、互为促进。从技术角度来看，这种数据规模质变后带来新的问题，即数据从静态变为动态，从简单的多维度变成巨量维度，而且其种类日益丰富，超出当前分析方法与技术能够处理的范畴。这些数据的采集、分析、处理、存储和展现都涉及复杂的多模态高维计算过程，涉及异构媒体的统一语义描述、数据模型、大容量存储的建设，涉及多维度数据的特征关联与模拟展现。然而，大数据发展的最终目标还是挖掘其应用价值，没有价值或者没有发现其价值的大数据从某种意义上讲是一种冗余和负担。 1.1.1大数据的特征（特点） （1）规模性（Volume） 随着信息化技术的高速发展，数据开始爆发性增长。大数据中的数据不再以几个GB或几个TB为单位来衡量，而是以 PB（1千个T）、EB（1百万个T）或ZB（10亿个T）为计量单位。 （2）多样性（Variety） 多样性主要体现在数据来源多、数据类型多和数据之间关联性强这三个方面。 ①数据来源多，企业所面对的传统数据主要是交易数据，而互联网和物联网的发展，带来了诸如社交网站、传感器等多种来源的数据。 而由于数据来源于不同的应用系统和不同的设备，决定了大数据形式的多样性。大体可以分为三类：一是结构化数据，如财务系统数据、信息管理系统数据、医疗系统数据等，其特点是数据间因果关系强；二是非结构化的数据，如视频、图片、音频等，其特点是数据间没有因果关系；三是半结构化数据，如HTML文档、邮件、网页等，其特点是数据间的因果关系弱。 ②数据类型多，并且以非结构化数据为主。传统的企业中，数据都是以表格的形式保存。而大数据中有70％-85％的数据是如图片、音频、视频、网络日志、链接信息等非结构化和半结构化的数据。 ③数据之间关联性强，频繁交互，如游客在旅游途中上传的照片和日志大数据概述，就与游客的位置、行程等信息有很强的关联性。 （3）高速性（Velocity） 这是大数据区分于传统数据挖掘最显著的特征。大数据与海量数据的重要区别在两方面：一方面，大数据的数据规模更大；另一方面，大数据对处理数据的响应速度有更严格的要求。实时分析而非批量分析，数据输入、处理与丢弃立刻见效，几乎无延迟。数据的增长速度和处理速度是大数据高速性的重要体现。 （4）价值性（Value） 尽管企业拥有大量数据，但是发挥价值的仅是其中非常小的部分。大数据背后潜藏的价值巨大。由于大数据中有价值的数据所占比例很小，而大数据真正的价值体现在从大量不相关的各种类型的数据中。挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，并运用于农业、金融、医疗等各个领域，以期创造更大的价值。 1．2 大数据数据源 大数据的来源，主要通过各种数据传感器、数据库、网站、移动App等产生大量的结构化和非结构化数据，互联网公司是天生的大数据公司，在搜索、社交、媒体、交易等各自核心业务领域，积累并持续产生海量数据. 例如：百度公司 阿里巴巴 腾讯公司 此外还有一些行业大数据，如电信、金融与保险、电力与石化、制造业、医疗、教育和交通运输等行业大数据。 数据从哪里来是我们评价大数据应用的重要指标，如果一个应用没有可靠的数据来源，再好、再高超的数据分析技术都是无本之木 1．3 大数据技术应用场景 大数据无处不在，大数据应用于各个行业，包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的社会各行各业都已经融入了大数据的印迹。 制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。 电商行业，零售行业可以利用大数据技术进行精准营销。 金融行业，大数据金融行业主要应用于，精准营销、风险管控、决策支持、效率提升、产品设计中发挥重大作用。 交通领域：通过交通数据分析，合理的规则出行道路，其次可以通过大数据分析人流高峰，调控信息灯，提高运行能力。 教育领域：可以收集学生的学习数据，优化教学过程，从而达到个性化教学;还可以通过数据分析优化学习方法，更好的提高成绩 汽车行业，利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活。 互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。 电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。 能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。 物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。 城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。 （编辑：均轻资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐