深入了解:元数据与源数据库的关系 (元数据和源数据库)

随着数字信息的快速增长和传输速度的不断提高,数据管理变得日益重要。在过去,数据管理是建立在传统的关系型数据库上的。但是以这种方式管理数据的问题是容易出现重复、冗余的数据,而且难以为各种数据源提供集成管理。因此,针对这些问题,元数据管理应运而生。元数据是用于描述数据的数据,集成管理的基础就是为不同的数据源编写、管理元数据。

元数据是一项非常广泛的概念,其定义和范围通常取决于具体领域和应用场景。在数据管理中,元数据是指描述数据的代码和文档,包括数据名称、字段、大小、格式、类别、数据类型、数据范围,以及数据来源、处理方式和其他元素。元数据透露的是数据的本质特征,可以为各种应用程序提供管理、集成和提取数据的支持。 元数据可以说是数据集成的基础,没有良好的元数据管理机制,各种数据源无法进行集成管理。

元数据和源数据库的关系密不可分。在数据管理中,元数据往往是从源文档、源数据库、数据字典中提取的。源数据库中存储了公司内部所有的信息数据,我们可以通过数据库的各种查询语言访问其中的数据。而在随后的数据处理中,需要通过元数据来管理和使用这些数据。

具体来说,元数据与源数据库的关系如下:

1. 元数据来自源数据库:元数据和源数据库是相互依存的。元数据是通过源数据库中的数据字段、数据类型来定义的。例如,元数据可以描述源数据库中的表结构、列信息、关系和约束。

2. 元数据支持源数据库管理:元数据的目的是为了帮助源数据库进行管理。通过元数据,可以帮助管理人员理解源数据库中的信息。元数据包含了数据项的定义、数据字段类型、数据格式、数据长度限制等信息,这些信息将会用来定义数据库的架构和设计数据模型。在进行数据操作时,元数据可以帮助确保数据的正确性和一致性。

3. 元数据支持源数据库备份和恢复:管理人员可以使用元数据来帮助备份源数据库中的重要数据。在源数据库的备份过程中,元数据将通过源数据库服务器导出数据,并保存到备份文件中。 如果出现任何故障,管理员可以使用这个备份来恢复源数据库,以便继续对重要业务进行支持。

4. 元数据可以通过源数据库进行更新:元数据很可能需要随着时间的推移而变化。例如,当我们需要添加一个新的数据字段或表时,需要进行元数据的更改。这样,所以使用该数据库的应用程序将被更改,元数据将被更新,并且所有的数据项也必须进行更新以保证数据的一致性。

元数据是数据管理的核心,它描述了数据的特征,为各种应用程序提供管理、集成和提取数据的支持。在源数据库管理过程中,应该始终牢记元数据的重要性,通过完整、准确的元数据来确保数据的可靠性、完整性、安全性和一致性。

相关问题拓展阅读:

什么是元数据(MetaData)及元数据的用途

元数据(Metadata),又称中介饥散数据、中继数据,为描述数燃启据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

温馨提示:以上信息仅供参考。

应答时间:,最新业务变化皮肢如请以平安银行官网公布为准。

想要知道更多?快来看“平安银行我知道”吧~

元数据

(Meta Data)是关于数据的数据,当人们描述现实世界的现象时,就会产生抽象信息,这些抽象信息便可以看作是元数据,元数据主要用来描述数据的上下文信息。

通俗的来讲,假若图书馆的每本书中的内容是数据的话,那么找到每本书的索引则是元数据,元数据之所以有其它方法无法比拟的优势,就在于它可以帮助人们更好的理解数据。

发现和描述数据的来龙去脉,特别是那些辩首即将要从OLTP系统上升到DW/BI体系建设的企业,元数据可以帮他们形成清晰直观的

数据流图

,元数据是数据管控的基本手段。

元数据是为了提升共享、重新获取和理解企业信息资产的水平,元数据是企业

信息管理

的润滑剂,不对元数据携枝数进行管理或管理不得当。

信息将被丢失或处于隐匿状态而难以被用户使用,

数据集成

将十分昂贵,不能对业务进行有效支撑。终端用户要识别相关的信息将十分困难,最终用户将失去对数据的信任。

扩展资料

元数据分类

元数据管理的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息,帮助用户理解数据来龙去脉、关系及相关属性。按其描述对象的不同可以划分为三类元数据:技术元数据、业务元数据和管理元数据。这三种元数据的具体描述如下:

1、技术元数据 技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据,主要包括对

数据结构

、数据处理方面的特征描述,覆盖数据源接口、

数据仓库

与数据集市存储、ETL、OLAP、数据封装和前搭乎端展现等全部数据处理环节;

2、业务元数据 业务元数据是描述数据系统中业务领域相关概念、关系和规则的数据,主要包括业务术语、信息分类、指标定义和业务规则等信息;

3、管理元数据 管理元数据是描述数据系统中管理领域相关概念、关系和规则的数据,主要包括人员角色、岗位职责和管理流程等信息。

参考资料来源:

百度百科-元数据

了解元数据,可以看下下面这篇文章,是一个90后的小美女写的,通俗易懂。

近几年,随着90后群体逐步迈入职场,逐渐出现在社会大众的视野当中。本文出自一名90后美女程序员之手,他们是极具个性的一代,他们这代技术人的新奇想法,正是现代企业需要的创新源泉…

关于作者:

龚菲 普元信息大数据产品部 90后美女程序员

公司大数据治理正做得风生水起,各种核心产品在国内市场数一数二,终极大BOSS们将数据治理方面的经验总结成文章,篇篇干货,堪称经典。(有兴趣的同学可以看下公众号的历史文章,不过据说有一批干货文章还没发表出来,敬请期待)。作为尚未正式入职的小菜鸟,我也只能在极浅的层面发表一些我自己的和裂看法…

我将文章分为两大部分,之一部分介绍元数据概念,第二部分从几个方面说明元数据管理的应用,最后一部分总结一下元数据的重要性,仅代表我的一些个人观点,还请各位前辈们不要见笑。

一、元数据什么鬼?

我入职的时候刚好赶上公司的元数据产品升级换代,同事们的研发气氛正火热,作为新入职菜鸟,总得先了解一下元数据概念,不然日后怎么和小伙伴们愉快地玩耍,于是查找国内外相关材料:

一段时间之后有了一些知识积累,才发现用“关于数据的数据”来给元数据下定义确实再准确不过了,但同时也略微抽象,新人难于快速理解,待到上周我们数据治理专家从心理学的角度来阐述元数据之后,我终于也算理解了戚缓元数据到底是个啥,今天也算是站在“巨人”的肩膀上,用一种更简单的方式来回答“元数据究竟是什么”这个问题…

元数据是关于数据的描述,存储着关于数据的信息,为人们更方便地检索信息提供了帮助。咦?检索信息?小蝌蚪找妈妈的过程也是一个检索信息的过程,是不是看懂这个故事就能懂元数据是什么了?

池塘里有一群小蝌蚪,他们看见鲤鱼妈妈在教小鲤鱼捕食,就迎上去,问:“鲤鱼阿姨,我们的妈妈在哪里?”

此时蝌蚪们意识到,不对啊,我们的数据库里不是应该存在着一张Mother表吗,但是蝌蚪们竟然对这张表一无所知,不知道有什么字段,也不知道各个字段对应的具体数值:

  鲤鱼妈妈说:“你们的妈妈有四条腿,宽嘴巴。你们到那边去找吧!”

鳄鱼笑着说:“你们的妈妈有两只大眼睛,披着绿衣裳。你们到那边去找吧!”…

乌龟笑着说:“我不是你们的妈妈,你们的妈妈肚皮是白的,到前面去找吧。”…

青蛙听了“各各”地笑起来,说“唉!傻孩子,我就是你们的妈妈呀”

整个过程可以看成是Mother这张表逐步完善的过程,数据来源分别是鲤鱼妈妈、鳄鱼妈妈和乌龟妈妈,如下图所示:

对蝌蚪们最终获取到的信息进行进一步抽象,就可以形成一种“元数据”,该元数据描述了Mother这张表的结构:

刚才不是说元数据能为检索信息提供帮助吗,那是不是也说明元数据能为小蝌蚪找妈妈提供帮助?我们将在第二部分试着对这个故事进行改编,详细介绍小蝌蚪利用元数据快速找到妈妈的过程。

二、元数据管理的应用

通常一款元数据管理工具应具备元模型设计、元数据采集、元数据分析、数据地图展现等核心功能,我们试着改编小蝌蚪找妈妈这个故事,在改编的过程中理解这几个核心功能,前提是我们假设所有动物共同构成了一个庞大的数据体系,小蝌蚪们Mother的具体数据已经存在于此体系之中(鲤鱼系统、鳄鱼系统、乌龟系统)。

1、元模型设计

先解释一下元模型。如果说元数唤仔闭据是对数据的描述,那么元模型就是对元数据的描述,是对元数据的进一步抽象,三者的关系如下图所示:

再讲一下元模型设计的过程。首先获取到系统中的所有元数据,将这些元数据汇总并进行合理规划,进一步抽象成元模型,从一定角度来说,可以把这个抽象的过程看成元模型设计的过程。

元模型定义了各种元数据的结构以及元数据之间的关系,是元数据管理的基础,也就是说,如果我们想用元数据帮助小蝌蚪找妈妈,需要先设计出合理的元模型。下图是我试着给它们设计出的元模型(对于企业来说,真正的元模型设计过程非常复杂,受多方面因素影响):

我们认为小蝌蚪的妈妈(Mother)由若干个属性(Property)组成,每个属性的名称用Name表示,每个属性的类型用Type表示。

现在元模型有了,下一步就是按照这个设计好的元模型采集小蝌蚪们需要的元数据信息,也就是我们常说的元数据采集。

2、元数据采集

设计好元模型之后,元数据管理工具能通过全自动的方式采集到企业所需要的元数据,在这个故事中,按照我设计好的元模型,元数据管理工具的元数据采集结果应该如下图所示:

小蝌蚪们拿着这份元数据再去针对性地检索关于妈妈的信息,就能一步到位,将目标直接锁定到青蛙,整个故事将因元数据的出现而成功改写。

说明:在真实的企业数据环境中,数据与元数据是已经存在于系统之中的,元数据管理就是根据企业现有的元数据设计出适合企业的元模型,然后将系统之中的元数据按照元模型集中汇总并关联到一起,达到企业对数据统一管理与应用的目的。

3、元数据分析

a、血缘分析

假设动物园园长慢羊羊正管理着整个动物园的数据信息,有一天园长发现自己这里有个数据不对,需要找出错误数据的提供者并追究责任,那么这个错误数据来自于哪个动物家庭呢?挨家挨户去敲门核对数据显然不够高效,元数据管理工具的血缘分析功能会自动帮助园长分析这个错误数据的上游路径,比如这个数据是由鲤鱼妈妈交给鳄鱼妈妈,鳄鱼妈妈再提交给园长的,那么此时园长只需要去敲鲤鱼和鳄鱼家的门就可以了。

  b、影响分析

数据终于更正了,此时园长需要及时提醒大家这个数据的更正信息,只需要通知这个数据影响到的动物家庭就可以了,这让园长十分苦恼,整个动物园的数据传递这么复杂,怎么判断哪个家庭会受到这个数据的影响呢,元数据管理工具的影响分析功能会分析出这个数据的影响范并能用可视化的方式展现出来,园长只需要通知受影响的动物家庭就可以了。

  c、数据地图展现

随着动物园规模的日益扩大,入住的动物种类日益增多,有一天园长想了解动物园的整体情况,有多少动物家庭,哪个家庭和哪个家庭比较要好,哪个家庭和哪个家庭又从来没有联系,此时元数据管理工具的数据地图可以帮助园长获取到他想要的信息,数据地图展现功能可以通过可视化的方式,让园长对整个动物园的情况了如指掌,帮助它更好地观察整个动物园的情况。

  三、元数据的重要性

在大数据时代的背景下,数据即资产,元数据实现了信息的描述和分类的格式化,从而为机器处理创造了可能,它能帮助企业更好地对数据资产进行管理,理清数据之间的关系。元数据管理是企业提升数据质量的基础,也是企业数据治理中的关键环节。元数据管理不当,信息很容易被丢失,进而不能对业务进行有效支撑,企业内部业务人员要识别相关信息就会变得十分困难,最终用户也将失去对数据的信任。

写在最后:

公司正在研发针对企业级用户的数字化企业云平台,并且全面公开研发文档与技术细节,由我担任的群主的微信讨论群也会对架构设计过程进行公开,欢迎对此感兴趣的前辈和朋友入群,与我们共同讨论,共商“云”是。感兴趣或者想学习相关技术,可在百度中搜EAii了解。

什么是元数据?

元数据最本质、最抽象的定义为:data about data (关于数据的数据)。它是一种广泛存在的现象,在许多领域有其具体的定义和应用。  在数据仓库领域中,元数据被定义为:描述数据及其环境的数据。一般来说,它有两方面的用途。首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次,元数据能支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说,在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:(1)描述哪些数据在数据仓库中;(2)定义要进入数据仓库中的数据和从数据仓库中产生的数据;(3)记录根据业务事件发生而随之进行的数据抽取工作时间安排;(4)记录并检测系统数据一致性的要求和执行情况;(5)衡量数据质量。  在软件构造领域,元数据被定义为:在程序中不是被加工的对象,而是通过其值的改变来改变程序的行为的数据。它在运行过程中起着以解释方式控制蔽祥程序行为的作用。在程序的不同位置配置不同值的元数据,就可以得到与原来等价的程序行为。  在图书馆与信息界,元数据被定义为:提供关于信息资源或数据的一种结构化的数据,是对信息资源的结构化的描述。其作用为:描述信息资源或数据本身的特征和属性,规定数字化信息的组织,具有定位、发现、证明、评估、选择等功能。  此外,元数据在地理界,生命科学界等顶域也有其相应的定义和应用。  元数据(Meta Data)是关于数据仓库的数据,指在数据仓库建设过程中所产生的有关数据源定义,目标定义,转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息,所有这些信息都应当妥善保存,并很好地管理。为数据仓库的发展和使用提供方便。  元数据是一种二进制信息,用以对存储在公共语言运行库可移植可执行文件 (PE) 文件或存储在内存中的程序进行描述。将您的代码编译为 PE 文件时,便会将元数据插入到该文件的一部分中,而将代码转换为 Microsoft 中间语言 (MSIL) 并将其插入到该文件的另一部分中。在模块或程序集中定义和引用的每个类型和成员都将在元数据中进行说明。当执行代码时,运行库将元数据加载到内存中,并引用它来发现有关代码的类、成员、继承等信息。  元数据以非特定语言的方式描述在代码中定义的每一类型和成员。元数据存储以下信息:  程序集的说明。  标识(名称、版本、区域性、公钥)。  导出的类型。  该程昌正序集所依赖的其他程序集。  运行所需的安全权限。  类型的说明。  名称、可见性、基类和实现的接口。  成员(方法、字段、属性、事件、嵌套的类型)。  修饰类型和成员的其他说耐并悔明性元素。

元数据和源数据库的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于元数据和源数据库,深入了解:元数据与源数据库的关系,什么是元数据(MetaData)及元数据的用途,什么是元数据?的信息别忘了在本站进行查找喔。


数据运维技术 » 深入了解:元数据与源数据库的关系 (元数据和源数据库)