为什么银行需要流媒体计算开发平台？ 流媒体计算开发平台的好处是什么？
优点
流媒体计算开发平台的优点是有效降低实时数据开发准入门槛，帮助实时业务快速发展。 通过流量计算开发平台，提供了可视化数据开发、任务管理、实现多租户和多项目管理、运维管理、权限管理统一等一站式实时数据开发平台，在该平台上流计算开发平台基于Flink SQL，而Flink SQL本身是生产力。
通过Flink SQL的持续应用，可以将流量计算开发平台的能力推给分行，分行可以通过平台，完成根据业务需求自主开发实时数据的任务，促进银行业务的发展。
体系结构
流计算开发平台的体系结构如下图所示。 主要包括数据存储、资源管理、计算引擎、数据开发、Web可视化等。
可以进行多租户管理、多项目管理，用户可以实现实时任务的运输监视。 它支持流计算开发平台的资源管理方式、物理机和虚拟机方式，同时支持统一的基于云的K8s。 平台计算引擎基于Flink，提供数据集成、实时任务开发、运输中心、数据管理和数据开发IDE可视化等功能。
“直通式”实时场景
在上面的内容中，我们主要介绍了流计算开发平台的体系结构和优势，但我们将介绍具体的方案。 首先是“直通”实时场景架构。
来自不同数据源的数据实时访问Kafka，Flink实时读取和处理Kafka数据，并将处理后的结果发送到业务端。 业务方可以是Kafka，也可以是HBase等不同的下游。 业务的维表数据保存在Elastic中。 “直通”体系结构实现了T 0数据的时效性，主要用于实时决策场景。
实时决策分析这里举了一个简单的例子，临时贷款后催收业务。 贷款临近期限需要催款。 业务取决于账户馀额、交易金额、本期偿还额。 通过三种数据，对不同业务做出决策的是短信催款、智能语音催款还是电话催款？
如果是现有的基于离线数仓的架构，那么得到的数据都是T 1的。 如果用过期的数据做决策，客户可能已经偿还了，但仍然存在电话催款问题。 另一方面，通过“直通式”场景架构的应用，可以实现T 0账户余额、交易额和本期还款金额，实现实时决策，提升用户体验。
实时BI分析，再看看另一个例子。 实时获取从过去一段时间到现在的财产技术商品的销售额信息。 这个需求有几个关键字，需要“实时获取”。 也就是说，需要T 0的数据。 “过一会儿再说”，那关系到历史数据的查询。 财险商品的销售额信息与银行业务相关，一般比较复杂，需要多流join。
整个需求是实时的BI需求，该需求无法使用“直通式”结构有效解决。 虽然“直通式”结构使用的是Flink SQL，但Flink SQL不能有效应对历史数据查询。 另外，银行的业务一般很复杂，现在主要使用双流join。 要解决此问题，必须探索与“直通”实时场景体系结构不同的新体系结构。
“落地式”实时场景
介绍一种“落地式”实时场景架构。 当数据源实时访问Kafka时，Flink可以实时处理Kafka数据，并将处理结果写入数据湖。 整个数据湖基于开源方案构建，数据存储采用HDFS和S3，表格格式采用Iceberg。 Flink读取Kafka的数据后进行实时处理。 此时，将处理的中间结果写入数据湖后，进行阶段性处理，最终得到业务所需的结果。 的结果可以通过查询引擎(如Flink、Spark和Presto )与APP应用程序停靠。
建设成果
通过继续建设，整体也取得了一系列的成果。 现在，我们是T 0的数据时效性，已经支持20个金融产品，可以将存储成本降低5倍。