发布时间:2022-12-19 22:30
我们谈论数据中台之前, 我们也听到过数据平台、数据仓库、数据湖的相关概念,它们都与数据有关系,但他们和数据中台有什么样的区别, 下面我们将围绕数据平台、数据仓库、数据湖和数据中台的区别进行介绍。
数据仓库(Data Warehouse),也称为企业数据仓库,它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合存储系统,它将来自不同来源的结构化数据聚合起来,用于业务智能领域的比较和分析,数据仓库是包含多种数据的存储库,并且是高度建模的。
数据仓库系统的作用能实现跨业务条线、跨系统的数据整合,为管理分析和业务决策提供统一的数据支持。数据仓库能够从根本上帮助你把公司的运营数据转化成为高价值的可以获取的信息(或知识),并且在恰当的时候通过恰当的方式把恰当的信息传递给恰当的人。
数据仓库的作用主要体现在企业决策、分析、计划和响应以下几个方面:
数据仓库针对实时数据处理和非结构化数据处理能力较弱,以及在业务在预警预测等方面应用有一定的限制。
数据湖(Data Lake)是Pentaho公司CTO James Dixon提出来一种数据存储理念—即在系统或存储库中以自然格式存储数据的方法。数据湖作为一个集中的存储库,可以在其中存储任意规模的结构化和非结构化数据。在数据湖中,可以存储不需要对其进行结构化的数据,这样就可以运行不同类型的分析。下面的定义是维基百科所给出的“数据湖”定义。
数据湖(Data Lake)是一个存储企业的各种各样原始数据的大型仓库,其中的数据可供存取、处理、分析及传输。数据湖是以其自然格式存储的数据的系统或存储库,通常是对象Blob或文件。数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,日志,XML,JSON),非结构化数据(电子邮件,文档,PDF)和二进制数据(图像,音频,视频)。
以下是关于数据湖的示意图(图片来源于网络):
数据湖能够帮助企业实现数据的集中式管理等多种能力;数据湖融合了先进的数据科学、机器学习和人工智能技术,帮助企业构建更加优化的数据运营模型,为企业提供预测分析、推荐模型等能力,这些模型能够刺激企业能力的持续增长,不断赋能于企业增长。数据湖能从以下方面帮助到企业:
实现数据治理;
通过应用机器学习与人工智能技术实现商业智能;
预测分析和模型推荐,例如:领域特定的推荐引擎 ;
信息追踪与一致性保障;
基于历史数据分析生成新的数据维度,挖掘数据深度价值;
提供集中式存储的企业数据中心,并提供基于数据传输优化的数据服务;
协助企业实现灵活的增长决策。
GBDT(梯度提升决策树)与GBRT(梯度提升回归树)原理详解
常用类学习(String类和StringBuffer类详解)
Docker是什么?它的优点与作用是什么?我们为什么使用docker?
linux版微信 能发表情包的,仿微信在对话框文字中插入Emoji表情包
阿里面试官必问:LockSupport 是什么?怎么用?享10万字面试手册
2022年 windows11安装Vmware蓝屏问题,VMware Workstation 与 Device/Credential Guard 不兼容问题
视频图像识别——基于ZYNQ7020的低成本低功耗嵌入式AI计算模组