数据资产价值实现（三）| 优化数据治理生态

随着越来越多的企业熟悉到数据作为生产要素的价值，加速了企业数字化转型，把完善企业级的数据治理系统作为企业数字化转型的一个目的。AG电投厅科技在大数据领域始终坚持足够的手艺敏锐度，并积累了富厚的履历与资产。为此，我们组织了一个系列专文，分期揭晓，与您一起探索更适合当下行业生长的数据观，接待各人一连关注。

作者｜AG电投厅科技大数据研究院

内容｜本篇共4694字，预计阅读时间18分钟

企业数据治理包括数据架构、数据集成、元数据、数据质量、数据建模、主数据与参考数据等多个治理职能领域，数据架构是治理数据的基础。站在企业架构的高度，数据架构与企业应用架构、手艺架构有细密的关系，最终影响数据资产的质量。恒久以来，一些组织没有把数据看成产品来开发，没有把数据看成资产来治理。险些每个组织的每个数据治理职能领域以及应用架构，都保存提升空间，但不要妄想短期内获得周全提升，应该梳理整个组织的数据治理生态系统，找出合适的某些领域先行优化，纵然少量的投入，也可能很快产出价值。

01 盘货数据资产

数据的多样性与数据量爆炸式增添使数据的治理日益重大，数据需求的激增使数据效劳的提供部分穷于应付，迫切需要尽早盘货存量数据资产。

l 盘货库存资产及资产使用状态

盘货组织规模有哪些数据以及数据状态，数据所代表的准确界说，有什么用途，梳理清晰数据资产起源于那里，怎样在组织中移动，形成清晰的库存资产目录与资产漫衍地图与血缘。

盘货跟踪数据资产被差别用户、差别需求使用的情形，包括使用的广度、深度与频度等，评估使用爆发的价值，从而发明可重用的高价值数资产据，并质疑不被使用的数据资产的保存意义。

l 提高高价值资产的使用效率与重用率

盘货数据资产，发明有价值的数据资产，形成数据资产目录，提高数据效劳的质量、使用效率。在盘货历程中可能发明差别职员开发了相似或相同的数据资产，在没有数据资产目录的情形下，重复开发的征象是一定保存的�？獯嬷械氖葑什�，无论几多份重复的数据，只能算统一资产，除了备份之外，其它都是多余的，不但占用存储空间本钱，还要支付治理维护本钱。数据资产目录可以提升资产重用率，从而阻止资产无序增添。

l 数据资产目录，应该包括问题资产目录

盘货数据资产，目的不但仅是为了获得一份可供使用的数据资产清单，还要为问题资产治理提供输入。若是不是简朴地为了输出资产目录，在界说数据资产与以及数据资产之间关系的历程中一定会发明许多问题，诸如种种数据质量问题、数据流转与漫衍不对理、信息孤岛、烟囱式应用、使用了不对适的数据源（没有使用权威数据，镌汰负资产的使用与影响）、数据使用不对规等等。

数据资产的“目录”看法，弱化了数据资产的内在意义，取代不了数据架构的职能。数据资产的寄义要比一样平常图书目录、商品目录富厚得多，数据资产之间是有关系的，可以带来更多潜在的衍生价值。

02 完善基础元数据

盘货数据资产需要可靠的元数据对数据资产举行界说、归类，建设数据之间关系与血缘关系。组织的运营取决于共享信息的能力，在大大都组织中，元数据治理方面的历史欠账太多。

l 缺乏元数据

启动盘货数据资产事情，面临的第一个问题是缺乏数据资产的元数据。许多营业系统只能从生产库上导出没有营业逻辑的物理库表结构。银行营业数据不是凭空爆发的，应该先有数据的元数据后才华爆发数据，不是先有鸡照旧先有蛋的问题。现实是一些营业系统设计时并没有思量到数据的使用，数据被看成营业系统的副产品，尤其是快速迭代的互联网系统爆发的种种大数据，一样平常没有把元数据作为最终产品交付件。

l 元数据不可靠

纵然在系统建设初期维护了部分元数据，也没有纳入设置治理中，投产之后更新不实时或再也没有更新，不可坚持一致且最新，差别文档之间内容纷歧致。元数据宣布也不到位，经常遗漏下游用户，差别职员的版本纷歧样。数据客栈中的基础数据元数据也不齐全，衍生数据的元数据也很少维护，所谓的统一指标，不是建设在统一的基础之上的�Ｔ勇业脑莶畋穑ㄊ萁峁埂⒚煤椭档氖褂貌畋穑┍燃蚱拥氖莨в跋煅现氐枚�。

数据生命周期前期阶段事情的不认真任，没有交付可靠的元数据，下游用户无法较量与关联数据，也就不可准确使用这些数据，更无法将数据作为资产举行治理，增添了数据使用本钱与危害，拖延了数据项目实验周期，后期需要支付更大的调解价钱。

由于元数据治理不善，也因此衍生出大宗纷歧致的元数据。如一些银行数十万数据项，足以说明其数据与元数据治理的杂乱。

需要及早梳理、增补完善基础元数据，如最基本的数据库设计说明书、每项数据资产的营业寄义，要害数据元的界说与规则等等，无论价钱多大，都无法回避这些事情�；≡莸耐晟埔谎匠Ｓο扔谑葑什袒趸蜃魑葑什袒跸钅康那捌谑虑橥瓿�。

03 优化数据架构

许大都据资产问题可能因数据架构的缺陷导致的。企业数据架构形貌数据应该怎样组织与治理数据，作为企业架构的一部分，是治理数据资产的蓝图。数据架构的设计贯串于数据全生命周期，没有数据架构也就没有数据治理的基础，导致数据治理种种本钱的大幅增添。

许多组织没有设计数据架构，架构部分的职责规模不包括对数据架构的治理，可能仅限于治理手艺架构或部分应用架构，架构设计与治理的能力弱，也不具备对供应商计划的把控治理能力，整个组织看法杂乱，数据漫衍与数据流转杂乱。

只有少量组织建设了数据架构，重大的数据架构需要足量的高端架构师举行一连管控维护。架构本应该恒久相对稳固的，某些组织却每五年甚至两到三年大幅度修改架构。一些从业职员试图用营业领域来分类数据，把营业分类与数据分类混为一谈。

某些组织意图对某些主数据举行集中治理，但没有配套的治理组织、职员、流程与步伐，好比开发安排了ECIF系统，但仅能包管客户三要素或四要素是企业一致的，包管键的唯一，差池主数据实质属性治理，这些数据照旧杂乱的，爆发不了客户简单视图。

与已往数据模子仅保存于数据客栈的认知一样，不少数据专业职员对数据架构的认知仅限于数据客栈的分层。虽然对数据客栈的分层仍有差别的明确，在数据客栈实验历程中，确实倒逼了企业数据架构与应用架构的建设、提升优化。

随着营业与产品的立异，营业与手艺试图突破已有的种种治理限制，使数据的治理日益杂乱，成今日益增添。组织需要具备优异治理的数据架构，尽快形成企业的数据分类，开发看法数据模子，从对基本看法告竣一致的熟悉最先，指导盘货资产、数据的爆发与使用、数据标准等事情，及早实现数据资产治理的价值。

04 优化应用架构

应用架构是对实现营业能力、支持营业生长的应用功效的结构化形貌。应用架构重点回覆营业功效在那里实现的问题，数据架构重点回覆数据在那里爆发又在那里使用的问题。许多组织整体上缺少对营业、营业流程与信息数据的明确，没有很好妄想应用架构。

一些应用系统由历史演变而来，可能包括原始所有的营业，设计扩展性差，已经不可顺应一直转变的营业需求，没有一个大而全的应用系统能支持大型组织所有的营业。应该从应用架构与手艺架构上举行拆分。

有些营业应用系统的功效过于简单，开发差别的营业系统处置惩罚相同或相似的营业功效，除了导致看法不统一（如对私、小我私家、零售三个名称差别但内在相同的看法，“小我私家贷款欠据表”中的营业主键的名称是“零售贷款欠据编号”，给使用者造成营业主键与表划分表达了差别营业的误解），每个系统必需具备完整的营业操作与处置惩罚流程，无论设计开发，照旧系统设置、运维职员设置，都造成资源铺张，导致腾贵的本钱�？梢韵胂笠幌�，当两个营业功效相似的系统整合为一个系统的时间，会带来哪些收益。

流程关系细密的营业功效疏散在多个应用系统中实现被拆分为多个系统，如贷款营业申请、客户评级、授信、担保、押品、条约放款、贷后、核销等所谓对公信贷全流程，营业功效划分在多个系统实现，从一个或2个集中的系统被太过拆分，数据集成与交互的重大性指数级增添，同样的数据在多个系统中存放，一定导致数据的纷歧致性，同时爆发了杂乱的看法，如贷款申请流程中没有营业意义的手艺主键，流转到授信、条约放款等系统中时，被转义为贷款申请编号，而用企业笼统通用的营业编号体现真正的贷款申请编号，还爆发了贷款欠据、贷款支用、贷款账户等看法。

应用架构影响数据架构与数据的集成。不对理的、杂乱的应用架构编织了重大的蜘蛛网，不但制造了杂乱的看法，还造成数据集成的难题甚至集成了过失的数据，给营业治理与数据治理带来疑心，增添数据治理本钱与危害。

需要从企业视角优化整合各条线、部分应用，解决功效过于疏散、功效交织重叠与分工不清晰的问题。优异的数据资产治理，离不开营业架构、应用架构、数据架构以及手艺架构顶层设计来降低数据资产总拥有本钱，给营业提供高质量的数据。架构方面一项小的优化步伐，可能带来大的价值提升。

05 有用实验数据标准

一些组织已经实验了十多年数据标准，制订了包括数千或超万的数据标准信息项，可是十多年已往，落地实验的标准并未几，纵然最基本的数据项也大多没有落地。好比某行建设了币种、币种代码、币种编码、币种码、钱币种类代码、币种类型代码、币种种类编码、币种种类代码、钱币代码、币种代码值、币种信息等近千名称差别、数据类型差别的币种代码相关数据项。

数据标准自己界说禁绝确或不严谨，数据标准的内在明确保存较量大的差别，合标要求不明确或不严谨，或多或少都保存一些问题，流于形式与表象，没有捉住实质。好比：

分类是治理数据很要害的一项事情，有些数据标准，除了凭证主题域分类外，没有进一步的分类，好比产品分类、协议分类、事务分类，数据设计职员有了随意施展的空间。

l 有些标准术语/数据项甚至没有界说，标准维护职员在没有准确相识现存标准的情形下一直新增标准术语与数据项，导致一直膨胀。

l 属性名称只落标中文名，虽然建设了词根中英文名称比照，可是没有通过工具强制执行，造成物理名称与逻辑名称的纷歧致。在物理建表时，纵然提供了字段的中文说明，但Hive不支持将字段中文注释显示为盘问效果的问题，这种情形下的落标没有起到作用。

l 客户名称的手艺属性标准，如界说为VARCHAR（80），标准的诠释为只要长度不凌驾80位即是合标的，可是若是某些营业系统的界说没有遵照标准，在数据仓落标时经常被截断。关于这些要害属性，严谨的标准还应该限制最小长度，以确保数据质量。

l 没有治理代码类数据项的枚举值，或数据项的码值没有经由严谨设计，仅是简朴的枚举，如设计了生命周期状态数据项，用于各数据主题域相关实体的生命周期的状态，包括数千个码值，中文名称为“正常”的码值凌驾20多个，从而失去了使用价值。

数据标准应该是严谨的，标准应少而精，易于明确掌握，逐步推进事情。把实验宽泛的大而全的数据标准作为数据治理的切入点或启动项目不是一个有用的选择。数据标准所能表达的意义有限，数据标准仅是权衡数据质量的参考依据之一，并不可取代数据架构来治理数据。

06 实时解决数据质量问题

任何组织的数据都可能保存质量问题，包括大宗冗余与垃圾数据。数据质量问题一经发明，应找到问题的基础缘故原由及早解决，由于剖析问题与解决问题都要支付本钱，质量剖析职员天天都需要剖析质量问题，需要占用资源，本钱随着拖延的时间一直增添。

只管在上游解决数据质量问题，阻止问题发散。由于统一个问题从源头被传到数据湖与数据客栈，再进一步传导到各个下游应用，相关职员都需要重复剖析与解决问题，价钱指数级增添，解决计划也可能差别，最终用户看到的可能纷歧致。

数据质量问题内在重大，涉及跨部分、跨专业相助，关于数据质量问题的识别与处置惩罚往往依赖于质量剖析职员的能力与组织执行力，应把质量问题的爆发、解决时间与本钱价值联系起来，建设数据质量问题认责与审核机制，阻止扯皮推卸责任征象。关于已经积累多年的陈年宿债，要剖析分类，从架构出发，解决基础问题。

一些组织的治理和信息资产项目由合规性驱动，是被动型项目，而不是由数据作为资产所衍生的潜在价值驱动。由于种种历史缘故原由，各企业的数据治理保存很大的提升空间，基于本钱收益基准，从优化现有的数据及数据治理生态最先，不懈地关注架构、标准、质量和流程等，打好数据价值基础。

数据资产价值实现（二）｜把数据看成资产治理

金融科技

2024.12.23