AG电投厅科技携手头部股份制银行，落地海内首个大数据集群资源治理项目！

于是，文章开头抛出的问题，想必我们心里都有了谜底——在金融机构纷纷加大 IT 投入的大配景下，大数据集群的建设已初具规模，但随之而来的采购、运维、人力等本钱需要终年破费巨额资金。高昂投入下怎样提升资源使用效率以实现降本增效，成为摆在大数据集群建设者和使用者眼前的一道必答题，一套与之匹配的科学治理要领论亟需快速落地。

“大数据集群资源治理”这一看法走向前台。

大数据集群资源治理的细腻化运营之路

“大数据集群资源治理”并不是什么新造词汇，这一看法的降生与生长，可以说是与金融行业大数据系统的演变历程同频共振。

看法源起

早期商业银行的数据系统建设以ODS为主。这个阶段，行内各部分纷纷自力建设大数据集群和数据应用系统，竖井式疏散的治理模式导致大数据集群资源无法被充分使用，资源大宗铺张的问题已然起源展现。

2008年伊始，海内银行已经意识到数据集中治理的主要意义，纷纷睁开数据客栈的建设事情。这个阶段，随着数据规�Ｗ钕瓤焖僭鎏�，银行在大数据存储与盘算上投入了大宗物理资源，大数据集群无序治理的问题日益显著，保存分派不平衡、资源铺张的征象，针对大数据集群资源使用举行评估、剖析与治理的理念逐步形成。

粗放式治理

大数据集群的建设者和使用者最先使用种种工具辅助治理，譬如大数据平台治理工具、硬件平台治理工具等，并在大数据集群资源的申请、接纳历程中增添了评审环节，但依然保存诸多问题：

首先，数据整体是疏散、不聚合的状态，评估指标也不敷细腻，因此在大数据集群资源申请或接纳的评审环节，缺乏强有力的标准支持；

其次，过多依赖人工介入，缺乏自动化手段及工具，造成大数据集群资源的调配效果保存适用性及可靠性差等问题。

这个阶段，受限于自动化水平不高、监控指标权威性缺乏，在大数据集群的现实治理中，依然未能有用解决投入资源增添过快和接纳不实时等问题。

细腻化运营

陪同着数据架构从简单平台架构走向混搭式协同平台架构、包括多种手艺的综合架构，数据形式也由简单的批量结构化数据，迈向结构化数据、非结构化数据、准实时数据、实时数据等多种形态，整体数据体量已由TB级向PB级迈进。

关于规模较大的银行来说，大数据集群节点的数目高达几千，面临云云大规模的数据集群情形，怎样解决资源难以管控和本钱急剧攀升等问题，已刻禁止缓。粗放式的人工治理显然无法一连，细腻化的大数据集群资源治理势在必行，暨通过建设科学评估、剖析与治理系统，追踪和监控大数据集群资源的使用情形，基于评估指标举行细腻化管控，从而有用控制集群过快增添、合理分派资源。

大偏向既定，但详细到实验层面，“大数据集群资源治理”从看法到落地，尚需要先行者走出一条可行蹊径。

海内首个大数据集群资源治理项目乐成落地！

2022 年头，某头部股份制银行正式启动大数据集群资源治理项目。

彼时在大数据集群资源使用的评估剖析系统建设方面，业界尚无一套科学成熟的评估要领可供参考。AG电投厅科技作为该项目的承建商，从该行的营业场景出发，围绕集群野蛮增添、资源占用不对理等焦点问题，以推动资源优化刷新、提升资源使用效率、实现降本增效为目的，为该行量身打造了一套大数据集群资源治理建设计划。

构建科学评估要领：构建集群资源、硬件资源、节点资源、模子、使命等多维度的评价指标，实现大数据集群资源的科学计量与评估；

资源使用可视化监控：建设集群资源设置及消耗信息可视化页面，并支持全行视角、中心/团队视角、开发者视角的监控剖析，为资源的优化设置及合理使用提供决议支持；

完善资源治理机制：基于资源剖析和模子剖析计划，建设资源治理事前、事中、事后的治理与评估系统，通过大数据资源治理平台，落实资源治理的闭环治理建设。

近期，该股份制银行大数据集群资源治理项目已乐成上线，通过对大数据集群举行细腻化治理，有用控制了在线大数据集群的数目，增进低效集群下线、合并、缩容降配，提升集群的综合使用率。该行资源的过快增添获得了有用控制，并逐步建设资源的有用评估机制，AG电投厅科技再度助力客户打造了一个业内首创！

纵然已经迈出了第一步，但大数据集群资源评估、剖析与治理系统的建设，绝对不会是一项一劳永逸的事情。陪同着各大金融机构大数据系统的一连演变，AG电投厅科技将与时俱进、一直迭代解决计划，驻足于大数据集群资源侧与应用侧的全局视角，资助金融机构周全提升资源使用效率，打造面向未来的新一代“数字经济基础设施”，让数字生产力创立更大价值！

问鼎巅峰｜AG电投厅科技夺得2023鲲鹏应用立异大赛天下总决赛金奖

AG电投厅动态

2023.11.03

一图看懂AG电投厅科技集中账户治明确决计划

AG电投厅动态

2023.10.13