手艺实践| 基于Flink手艺组件，助力实时数仓建设

随着互联网的生长进入下半场，数据的时效性对企业的细腻化运营越来越主要。阛阓如战场，在天天爆发的海量数据中，怎样实时挖掘有价值的信息并快速触达客户，对企业的运营决议调解、用户体验提升等都有很大资助。为了让数据更高效的反哺营业、更实时地支持决议，最大化施展数据价值，企业最先探索通过构建实时数仓来知足快速获取数据的需求。

实时数据客栈集实时数据收罗、实时数据处置惩罚、离线数据校正和数据定制化展示4大功效一体，可支持实时谋划剖析、实时营销、实时风控等场景的需求。新场景的泛起催产出新的手艺，新一代实时盘算引擎Flink的兴起，在超高性能、数据一致性包管、SQL化编程方法等特点下也推动了实时数仓的生长�；贔link架构的实时数仓为种种实时应用场景提供数据基础，在数据中台系统中起着至关主要的作用。

AG电投厅科技作为金融科技领先企业，也对实时数仓建设做了大宗的实验和实践。本文将以AG电投厅科技加入建设的某城商行实时数仓建设项目为引子，分享基于Flink手艺组件建设实时数仓的履历。

某城商行实时数仓建设计划

实时数仓建设在包管数据准确性的情形，最优先思量的问题就是怎样包管数据的实时性，因此Kafka、Hbase这类读写效率较高的手艺组件成为实时数仓数据交流组件的首选。凭证选型组件的特征以及实时性的要求，实时数仓架构分层需注重以下几点：

· 简化链路，尽可能缩减数据处置惩罚链路，最大化包管数据实时性；

· 实时数仓数据流转在Kafka去结构化新闻行列，数仓各层需分工明确，利便操作职员对数据举行回溯、定位；

· 准备离线数据对实时数据的校验，避免盘算过失或者遗漏的情形；

· 由于实时数仓使命均为7x24不中止运行，若是泛起意外情形某一层链路终端，实时数仓就会泛起断数的情形，这时间需要离线数据包管盘问效劳可以正常返回数据。

综上所述，实时数仓构建分为4层，各层详细说明如下：

· RTL：手艺剖析层，通过数据收罗工具网络各个营业源数据，数据结构坚持一致；

· ROL：贴源层，分为实时区和离线区两个区域，实时区存放经由一定洗濯/标准化的数据，离线区存放逐日同步的离线维度数据；

· RCL：汇总共享层，存放轻度汇总和可以共享的数据，数据凭证一定规则举行分类，抵达可以复用的目的；

· RDL：数据效劳层，将RCL层数据举行指标化加工，包括剖析、应用汇总类指标以及明细数据；分为实时区和离线区，实时区存放实时指标效果，离线区存放逐日离线指标效果，用于数据保底与实时数据校验。

差别场景下的实时数据处置惩罚链路

实时数据应用包括实时指标盘算、流式传输、实时风控、实时营销、实时对客等多种营业场景�；贔linkSQL+OLAP的生产链路，实时数据通过收罗工具同步至新闻行枚举行承载，再经由实时数仓举行营业加工后，落地到种种存储，最后由下游营业系统吸收处置惩罚或者由数据效劳平台推送给种种终端举行展示，整条链路兼顾了数据的时效性与盘问的高效性。

在某城商行实时数仓建设项目中，其主要营业场景包括实时资产欠债、实时治理驾驶舱以及实时羁系数据监测等。

场景一：实时资产欠债：实时获取各营业系统用户动账后的余额，通过关联相关维度信息增补数据到效果表，后续由前端盘问实时效果表返回数据；

通过构建实时、离线两张Hbase效果表并实时比对的方法应对用户对实时生意、不动帐的实时盘问需求，相比于接纳“昨日离线余额+今日实时爆发额”的原始盘问计划，更能提升盘问效果的时效性，规避了逐日日切时间与跑批时间段的空窗期数据时效性的问题。

场景二：实时治理驾驶舱：通过实时获取生意动账，对全行级别的资金流入流出金额、客户资产、申贷金额及人数等指标举行实时展示；

以实时资金流入流出统计为例，对当日生意动账数据凭证指标粒度举行分组聚合，包管每个粒度在RDL层rowkey相同，每获取到一条动账信息，盘算出最新的资金金额后凭证rowkey实时更新hbase表效果数据。

场景三：实时羁系数据监测：凭证制订的羁系掷中逻辑对当日生意流水举行监控，切合掷中逻辑的数据发送到下游举行生意限制等处置惩罚；

以涉赌涉诈需求为例，羁系掷中逻辑为在非柜面系统中，一连爆发涉及5个差别用户名及以上的收款、转账等资金生意，且每笔生意距离不凌驾3分钟、每笔金额在0.01-10元。此类场景可基于Flink的over窗口功效与事务时间，通过盘算生意流水前后一段时间内敌手客户数目及生意金额，判断是否知足掷中逻辑，从而打上掷中标记发往下游系统。

通过接纳Flink手艺构建实时数仓，我们将数据生产的各个环节笼统化形成实时数仓的各层架构，实现了全栈实时数据应用的数据源统一，包管了应用数据指标和维度的口径一致，助力获取实时数据的便捷性和时效性大大提升，从而提升客户的整体运营效率。

结语：

在目今数字化转型大潮中，实时数据客栈的建设作为数据中台系统的主要组成部分，对金融机构而言意义重大。而AG电投厅科技在实时数据处置惩罚领域有富厚的实验履历，已为中国银行、南京银行、柳州银行等差别规模的银行提供了实时数据处置惩罚解决计划。未来，AG电投厅科技将在实时数仓领域探索更多新营业形态的落地，助力客户高效挖掘数据价值、反哺营业生长！

手艺专栏 | 全篇干货！AG电投厅科技企业级微前端应用实践

金融科技

2023.01.04

DevOps实践｜践行迅速迭代，让研发团队高效协作

金融科技

2022.08.05