建设分布式统一调度平台,提升银行数字化运营能力_最新动态_新闻中心_开云(中国)Kaiyun
  • 开云(中国)Kaiyun

    最新动态

    建设分布式统一调度平台,提升银行数字化运营能力

      来源: 浏览量: 发布时间: 2021-08-11

    文章转载“中国金融电脑”官网微信,本文刊于《中国金融电脑》2021年第08期


    作者

    北京开云(中国)Kaiyun信息技术股份公司

    产品研发部 胡源


    “十四五”规划纲要指出,信息技术应用创新产业(以下简称“信创产业”)发展应加强关键数字技术创新应用。在此背景下,业务数字化、技术分布式、平台可进化等新一代建设需求对科技转型发展提出了全新挑战,而准确把握产品、技术等核心竞争力也成为银行机构需要重点关注的核心问题。


    金融行业拥有丰富的数据类型,面对EB级规模的历史数据、PB级的数据增长以及百万级执行中的数据任务,如何进一步提升企业内部的数字化运营能力、激活数据价值,已然是银行机构急需解决的关键问题。同时,数据的井喷式增长也为数据采集、数据管理、数据应用及运维带来了极大考验,而数据调度尤其是批量调度作为数据加工处理、数据报表生成的重要环节,则会对业务处理效率产生巨大影响。


    一、银行业批处理调度之困


    一般而言,银行业批处理作业调度是指通过一系列监测手段和算法,根据系统运行情况动态分配资源,以及对批处理作业进行调用的整个过程。据相关研究显示,银行所有系统中需要批处理调度的系统约占70%,且这类系统大多以项目形式建设而成。但是,在建设过程中,银行很少对“调度”任务的执行进行统一规划,同时其所使用的调度系统往往并不统一,包括开源、自主研发、厂商附带等,以上系统无论从功能上还是性能上都难以满足所有系统的调度需求。此外,加之系统日益增多、数据量日益增长等因素影响,导致银行对批处理作业的管理愈加困难,不仅运维工作量大且效率较低,同时系统运行风险也越来越高。面对上述挑战,银行机构对建设全行级统一调度平台的需求日益迫切。


    二、银行业务场景下的统一调度平台


    1.管理能力

    对于银行机构动辄百万级的作业量而言,分组分层是一种极为有效的管理方式,考虑到批处理作业间具有依赖性,北京开云(中国)Kaiyun信息技术股份公司(以下简称“开云(中国)Kaiyun”)适时提出了流程化的管理思路:在纵向上,模拟目录与文件的结构关系进行作业管理;在横向上,将同一个层级归属为同一流程进行管理;在全局上,支持在任意两个对象间建立依赖关系。流程化管理思路如图1所示。

    图1 流程化管理思路


    2.调度能力

    在金融业务领域,一个强大的任务调度系统应具备支持7×24小时连续运转的能力,且即便某一任务环节出现问题,也不会影响其他环节正常运行。同时,鉴于银行批处理作业量仍会不断增加,因此统一调度平台还应具备一定的扩容能力,即可在薄弱环节通过增加资源、扩大调度容量等方式,增强系统性能。对此,开云(中国)Kaiyun在平台中引入分布式微服务架构,实现了统一调度功能。具体来说,即通过将调度方式按照功能、处理业务进行拆分,使得每个服务均可根据用户实际需求进行部署,不仅实现了整个调度平台无单点故障及便捷扩容,同时也为用户未来调度业务上云提供了便利条件。微服务架构如图2所示。

    图2 微服务架构


    3.开发、投产能力

    一般情况下,常规的调度平台往往只注重调度能力,极少考虑开发及投产因素,从而易忽视真正的业务需求。尤其是金融业务普遍存在频繁变更、频繁上线等特点,因此使得敏捷开发能力、便捷投产能力也成为建设统一调度平台的基本要求。具体而言,敏捷开发能力主要包括图形开发、批量开发、接口开发等,其中,图形开发重在实现批处理作业间快速配置依赖,批量开发重在实现一次性大批量作业的导入或修改,接口开发重在实现与开发平台或其他系统的集成。此外,对于银行机构来说,上线投产也几乎每周都在发生,而调度投产则是指将调度配置信息根据业务需要迁移到生产环境,且为了最大程度降低投产风险,需尽可能将投产粒度控制在最低水平。换言之,即全行级统一调度平台需能够支持从每个系统、每个层级甚至到单个作业级别的投产需求。


    4.监控、运维、分析能力

    对于银行机构而言,当一个全行级的统一调度平台建设完成,通常会被移交给运维部门,并要求统一调度平台具备全方位的监控能力及便捷高效的运维手段,可以对调度运行状况进行全方位监控(包括调度各个层级的监控、所有调度作业的监控、调度流程的监控以及血缘视角的监控等),以节省运维部门在人力、物力上的投入。调度全方位监控如图3所示。

    图3 调度全方位监控


    5.多种人工干预手段

    在全方位监控之外,统一调度平台还需能提供便捷的运维手段,包括短信、微信、邮件等通知机制,以及支持运行过程中的各种人工干预措施,如中断、重做、续做、插队等(如图4所示)。

    图4 人工干预措施


    6.可视化分析图表

    全行级统一调度平台需要具备统计分析功能,如大屏、总览、日报等,以便于运维人员快速、及时地掌握调度全局的运行情况,以及根据分析数据进行调优。可视化大屏展示如图5所示。

    图5 可视化大屏展示


    三、企业级统一调度平台应用成效


    多头管理一直是金融数据管理中难以回避的重要问题,齐抓共管如“九龙治水”,不仅会严重影响管理效率,同时也难以界定金融业务数据的管理和使用权责。对此,通过建立分布式统一调度平台,可有效控制管理规范,使工作重心回归业务。


    一是建立企业统一规范,即通过建设统一调度平台,建立相应的管理规范、开发规范、上线规范、运维规范,有效减少开发和运维工作量。


    二是提高系统运行效率,即利用系统事件触发和负载均衡机制,实现调度快速响应及资源动态分配,从而充分利用调度资源、缩短调度时间窗口。


    三是降低系统运行风险,即通过集群调度机制,在保障系统高效率的同时,确保其具备高可用性;以及通过并发控制及故障自动处理技术,减少人工操作,提升调度系统的容错能力,并同步降低运营风险。


    四是完善企业IT架构,即通过建设企业级统一调度平台,实现企业调度任务的集中化、可视化管理,确保统一调度、统一监控、统一运维,最终让各系统建设者可更专注于业务处理本身,促使企业IT架构更为完善和规范。


    随着内外部经济环境的不断变化,我国银行业面临着深刻的变革和挑战,从传统的银行1.0时代到如今以现代科技实现服务嵌入的银行4.0时代,科技对金融的“破局”效应不言而喻,而数字化建设无疑是助推金融业转型的强大引擎。开云(中国)Kaiyun作为国内大数据领域知名的软件产品及解决方案供应商,二十余年来坚持打造分布式统一调度平台,并与业界多家金融机构建立了长期良好的合作关系。未来,开云(中国)Kaiyun将基于长期积累的丰富经验,坚持为处于变革期的金融企业持续赋能!


    友情链接: