江南平台网址数字化转型的核心能力——数据模型

2024-03-25 22:09:57| 来源:江南平台app体育 作者:江南官方体育app
9

  我们可以先看一下生活中的模型的例子,房屋平面图、地图等都是很好的模型的示例。对于下图的房屋平面图来说,我们基本看一眼就能知道这是一个三室两厅两卫的房子,有一个玄关和一个阳台,哪里是门,哪里是墙,哪里是窗户,每个房间的平米数是多少,全部都用各种符号表示得一清二楚。对于地图来说,我们也知道绿色的部分一般都表示公园,蓝色的部分表示湖,的粗线表示高速公路…

  数据模型是用于描绘、沟通数据需求的一组简单的、容易被人理解的,并且便于计算机实现的标准符号的集合。

  我们都知道数据库很强大,但数据在其中的关系却错综复杂,成千上万个表通过各种关系或约束互连以形成复杂的结构。没有数据模型,利益相关者很难看到现有数据库的结构、理解关键概念,当需要描述数据需求的时候,也很难准确地表达出来,这也是数据模型很重要的一个最主要的原因。下图是一个简单数据模型的示例:

  与实物模型不同,数据模型不是等比例模拟出来的真实事物,而是一组能表示数据需求、数据结构的符号集合。在房屋平面图中,中间有条线的矩形表示窗户,用直角扇形表示门。在数据模型中,用矩形框或圆角矩形表示实体,用线以及线上的符号表示实体之间的关系、基数或约束,用写在线上的词或词组表示标签,所有的这些符号组成了各种各样的数据模型。

  就像是建筑设计师在盖房之前先画出每一层的房屋平面图,建筑工人就可以看着这些平面图来盖房子,房子盖完之后还可以把这些房屋平面图展示给客户,这样即使客户不去现场看实体房就可以大概了解房屋结构。数据模型也是专门设计出来描绘数据需求,给技术实现人员来建造数据库,并且实现数据需求无障碍沟通的“图纸”。

  模型之所以可以让人们实现快速沟通,是因为足够标准并且简单易懂。自古以来,无论是盖房子还是造火箭,都不可能事先把庞大复杂的实物拿过来给大家介绍,相反只需要一些最基本的简单标准的符号,表示清楚具体的意思。一旦读者看到标准的模型语言,他们能马上开始讨论这个模型是否准确,而不需要浪费任何额外的时间去探讨建模用的符号是什么意思。

  数据模型从一个抽象层次描述了数据的静态特征、动态行为和约束条件,最终是要通过技术实现人员转化成能被计算机理解的程序语言,在数据库中实现出来的。所以在设计数据模型的时候,必须将便于计算机实现作为模型设计的原则之一。

  不同技术背景和业务经验的各类人员在讨论数据需求时缺少一种有效的沟通工具,在讨论中经常因为对各种符号理解不一致,导致沟通效率低下,不同观点之间很难协调,达成共识。

  当系统出现故障或发现数据问题时,没有可以观察系统的整体视角,技术人员对当前数据库内的状况全然不知,导致系统问题排查困难,数据问题无从下手。

  不同部门对业务规则的理解不一致,关于“客户”、“产品”等关键概念含义多种多样,数据库中同名不同义,同义不同名现象随处可见,极大地影响了数据的识别和应用。

  数据模型作为不同技术背景和业务经验的各类人员有效沟通数据需求的重要媒介,可以帮助描述与沟通数据需求、增加数据的精确性与易用性、降低系统的维护成本并增加数据可重用性,极大地减少了以上问题出现的频率。

  在企业中,来自不同部门、具有不同技术背景的业务人员、业务分析师、数据分析师、建模人员、架构师、数据库设计人员、开发人员等各类人员经常需要共同讨论数据问题与数据需求,数据模型作为一种理想的沟通工具,可以快速使相关人员达成共识,跳过对符号的理解而直接讨论深层需求。

  数模型中的标准精确的定义为数据强加了一个规范的结构,帮助解释数据上下文的边界,减少了访问和保存数据时发生数据异常的可能性。通过说明数据中的结构和关系,数据模型使数据更易于使用。

  数据模型有助于我们从整体视角了解业务与数据现状,并有助于人们分析目前可能存在的业务、数据问题,分析修改现有数据结构是否可行和每次修改可能会带来的影响。另外,数据模型以明确的形式保留了关于企业系统或项目的记忆,可以作为可重用性资产供未来项目使用,从而降低构建新应用程序的成本。

  数据建模与设计作为数据管理11大职能领域之一(DAMA-DMBOK2,DAMA International),与各个领域之间有着千丝万缕的关系。

  数据模型是真正立足于企业的数据需求,创建出来的元数据集合。其中包括实体名、属性名等技术元数据,还包括业务规则等业务元数据,主外键等关系是元数据血缘分析主要来源之一。同时,数据模型也为元数据提供了参考标准和元数据质量评分的指标参考。

  为了在数据集成时创建一个单一、一致的数据版本,在数据集成时充分分析现有数据模型就显得尤为重要。保证数据模型中关键元素的一致是数据集成时需要首要考虑的问题。

  数据模型的精确标准的定义为数据提供了一个规范的结构,这成为数据存储和操作的一层基本保障,减少了数据存储和操作时发生数据异常的可能性。

  数据模型是数据安全管控的对象之一,数据模型中需要根据具体的数据安全需求标注出敏感字段/表,参考着数据模型制定出具体的数据安全技术实现需求与业务规则,判断出那些字段可以被哪些人查看,那些字段需要脱敏等。

  数据建模过程中的各种模型设计文档,可以通过文档和内容管理模块实现合理存储,形成企业数据模型记忆库,供未来其他部分数据建模参考,或供数据模型维护阶段参考。另外,文档和内容的有效管理,将为初始数据建模阶段提供更加详细的参考。

  数据模型为数据质量管理提供关键元数据与业务规则输入,以便针对性地根据企业现状制定数据质量检核标准与数据质量检核规则。同时数据模型本身也需要符合数据质量管理标准,需要通过数据质量管理的检核。

  数据模型能为数据仓库的建设提供全面的业务梳理,建设整体数据视角,通过数据模型,业务人员、开发人员能够在数据仓库需求、范围以及长远建设规划上的共识,真正形成业务到数据仓库的映射。通过专门为BI数据分析而设计的的维度模型,更好地分析BI数据分析的数据需求。没有数据模型,数据仓库与BI就无从谈起。

  参考数据与主数据管理是通过管理共享数据,去满足组织目标、减少数据冗余风险、保证更高的数据质量、减少数据集成成本的过程。(DAMA-DMBOK2,DAMA International)。

  在全面的MDM环境中,逻辑数据模型将在多个平台中进行物理实例化,逻辑数据模型为主数据管理体用了清晰、一致的数据定义,它指导MDM解决方案的实施,并提供数据集成服务的基础。它应指导如何配置应用程序以利用数据协调和数据质量验证功能。

  数据科学与AI的使用离不开数据,而数据模型是为后续算法与分析,提供基础的数据保障。数据模型建立能够让数据管理领域各个能力有着力点,而能够提供更准确的数据给数据科学家分析业务,AI算法更准备的得出相应的结果。

  作为不同技术背景和业务经验的各类人员有效沟通数据需求的重要媒介,数据模型可以帮助描述与沟通数据需求、增加数据的精确性与易用性、降低系统的维护成本并增加数据可重用性。数据模型在数据管理中处于向上承接业务,向下引导数据的关键地位,是承载着数据需求的元数据、数据集成与互操作的起点、数据存储和操作的结构保障、数据安全需求分析的参考、数据质量校验的对象、是形成数据质量规则的基础、是数据仓库和BI的抽象化支撑、是参考数据与主数据的一致性指导。


江南平台网址