全域数据资产管理平台 | SimbaFabric
谈到数据资源管理,企业往往都会遇到以下内容:
· 管理困难,不知道数据分布在哪里,由谁负责;
· 维护成本高、效率低,出了问题不知道有哪些影响,无法快速定位问题源头;
· 质量缺乏保障,缺少自动化检测质量的手段,出了问题无法提前感知,往往靠投诉驱动。
针对上述问题,奇点云基于 SimbaOS Kernel,构建了新一代全域数据资产管理产品 SimbaFabric,提供元数据采集、数据盘点、数据标准、数据质量等功能,帮助客户搭建企业级数据资产管理中心,实现数据资产的可见、可管、可用,并进一步为数据交换、资产入表等打好基础。
在不久前的StartDT Day数智科技大会上,奇点云CTO王乐珩谈到自己的观察和理解:
观察一,越来越多的企业关注全域的元数据治理而不是局部。
观察二,数据资产入表是全域元数据治理的一个典型应用。
下文编辑自2024 数智科技大会 SimbaFabric 发布
01 数据资产管理痛点
首先,我们看一个真实的客户案例。
有一个多业态的泛零售集团,共有 8 个子公司,16 个业务线,20 多个上游业务系统,多数业务系统是由第三方软件供应商提供。更加恐怖的是,企业内部并存了 3 套大数据平台,且使用了不同的技术栈和存算引擎。经过多年的建设,企业内部有海量的表、指标、标签和API服务,且这些数据资产之间互相依赖,形成了非常复杂的关联关系。
这并不是一个个例,而是企业普遍存在的真实写照。对于许多已经开始数字化建设的企业来说,数据资产的维护常常困难重重。主要体现在:
· 管理困难
· 维护成本高
· 质量缺乏保障
02 怎么帮客户解决
去年的 12 月份,奇点云自研的 SimbaOS 正式亮相,具备跨云原生、全域集成、混合调度、高效建模、安全合规、智能运维等特性,帮助客户建立企业级的数据能力,管好、用好全域数据资产。
大家都知道 SimbaOS Kernel 可以支撑几十种数据库和数据源。只需要把元数据抓取出来,形成血缘网络的信息,在此基础上进行各种监控和分析,即可很好地支撑全域数据资产管理和分析工作。
我们的优势是非常大的,主要包括这4个方面。
· 自动化资产盘点,支持手动及周期性对资产进行盘点,形成盘点报告;
· 全链路血缘管理,可自动解析表级、字段级血缘关系,支持端到端的血缘视图;
· 智能质量检测及告警,内置几十种常见质量校验规则,开箱即用;
· 开放式架构,对外开放 OpenAPI,支持系统级对接,包含但不限于元数据、数据查询、数据血缘、数据质量等能力。
企业数据资产化要经过三个关键阶段:
· 数据资源化
将不同来源的数据经过清洗加工、整合和处理后,形成可用的数据集合。
可通过 DataSimba 来完成,主要使用数据集成、数据开发、运维管理等功能模块。
· 数据产品化
基于清洗后的数据,构建一系列的数据产品、服务、应用等。
可通过 SimbaMetric(指标工厂)、SimbaML(算法工厂)、SimbaAPI(服务工厂) 等工具来实现。
· 产品价值化
数据产品可以通过自用、开放、交易等形式实现价值化。
这一阶段,则可以使用 SimbaFabric 对企业全域数据资产做一站式管理和运营,包含构建数据目录、授权管理、质量治理等。同时,SimbaFabric 可独立购买和交付,支持对接企业自研数据平台或数据库。
因此,奇点云具备完整的数据资产化产品体系和解决方案。
03 如何助力企业数据资产入表
数据资产入表是近期很受业内关注的大事。
本质上,数据资产入表是全域元数据治理的一个典型应用。
过去,元数据治理只是数据基础设施团队内部的一个技术话题。但自今年 1 月份,国家正式试行《企业数据资源相关会计处理暂行规定》,让这个技术被业务团队关注,甚至达到战略财务的层面。
SimbaFabric 可以通过以下几点,助力企业更好地完成数据资产入表:
· 数据资产盘点编目;
· 全链路血缘,帮助计量和价值评估;
· 数据质量保障和监控。
原文地址:https://blog.csdn.net/StartDT/article/details/145131967
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!