“分布式云”作为云计算领域的前沿趋势，融合了云计算技术和边缘计算技术的双重优势，同时具备云计算的弹性灵活和边缘计算的低延时等核心特点。随着云计算的持续发展和企业对于灵活可扩展的IT架构需求日益增长，分布式云已成为业界的主流选择，并加速向政务、金融、制造业领域渗透。高德纳预测，到2025年，大多数云服务平台都将提供按需执行的分布式云服务，是云计算在技术与市场双重导向下的未来趋势。

分布式云是一种将云服务按需部署到不同地理位置，并提供统一管理能力的云计算模式，通过算力的泛在分布，实现对跨地域、跨系统的算力、数据和应用的一体化管理。工行金融云经过十余年的打磨发展，以开源技术为基础，自主研发云原生技术体系，技术能力、应用场景，规模持续保持同业领先。为进一步支撑集团内分支机构的全面入云转型，工商银行在数据中心机房基础上，充分利用分行本地机房基础设施，建设集团一体化分布式云，在重庆、江苏、黑龙江等多家分行完成分布式云站点首轮推广。目前，工商银行已基于分布式云架构支撑全国各分行1800多个分行特色应用入云，降低分支机构对入云应用的基础设施运维成本，统一总分技术路线,降低技术风险，提升业务连续性。

一、集中式云计算面临的挑战

随着应用对于低延时、本地化等方面的需求不断增加，集中式的云计算服务由于地理位置较远、网络带宽不足等因素已难以满足工商银行分支机构的应用入云部署需求，如以音视频为典型代表的网络敏感型应用，低网络带宽和高时延对终端用户的体验有较大影响；另外，分支机构技术路线多样，各机构往往各自独立建设资源，造成资源异构、管控困难等问题，不利于应用快速上线，影响入云转型效率。

二、工商银行分布式云建设方案

为针对性解决集中式云化难题，分布式云方案应运而生。为适配保留在分支机构本地的存储转发类应用和相关运维支撑类应用，并考虑对应用发布、部署、运维的管理一致性，工商银行在自主研发的云原生技术体系的基础上，进一步引入分布式云模式，建设“1中心站点+N分行站点、同城+异地灾备”的分布式分行云。分布式分行云通过数据中心集中建设中心站点和分行本地站点，为分行提供多物理位置的全栈式云服务，满足应用须在分行本地入云的需求（如图1所示）。在满足分行需求同时，分布式分行云基于当前工商银行应用规模及发展趋势，结合分行机房情况，在分行本地开展轻量化攻坚，缩小站点规模，降低分行站点建设成本。

图1 工商银行分布式云功能视图

（一）“1+N”分布式双层结构：聚焦多层次驱动的云技术体系

1、“1中心站点+N分行站点”的双层架构布局

工商银行依托企业自身的组织架构，结合行内实际情况，构建了相匹配的“中心站点+分行站点”两级资源池布局。中心站点依托数据中心机房建设，由数据中心统一运维，充分发挥云计算资源的池化优化，提供了完整的基础设施云服务，包括计算、存储、网络等核心服务，以及高斯云服务支撑分行应用数据库转型。分行站点依托分行机房建设，由分行进行运维，核心服务与中心站点保持一致，同时分行本地站点针对对象存储、高斯等服务做了一定剪裁以适配分行本地小规模场景，其他各类云服务与中心站点保持一致，可承载网络敏感类的总行、分行特色应用本地化部署（如图2所示）。

图2 工商银行分布式云基础设施部署

2、“同城+异地灾备”的基础设施高可用架构

围绕保持生产稳定运行的长期目标，工商银行充分利用分布式云的特性，依托多级架构，基于多资源池建立中心站点的同城与异地灾备能力，实现了园区级别、资源池级别等多层次的高可用保障。同时在各站点资源池内成对建设虚拟机故障域和裸金属故障域，提供高可用的基础设施，并基于反亲和调度等机制，支持应用节点的多个实例自动跨故障域部署，以进一步强化其业务的连续性和可靠性。

3、层级化架构的全栈云服务能力

根据不同场景下云资源的使用需求，分布式分行云覆盖IaaS、PaaS的多层次云服务，具备高可靠、高性能的计算、存储、网络、数据库、中间件等核心能力以及面向用户的自服务能力。基础云服务以IaaS层服务为主，包含计算、网络、存储等基本基础设施服务。在计算方面，分布式分行云提供了多种形态的计算服务，兼容x86、ARM等芯片服务器，支持多种业界主流操作系统供应。在存储方面，分布式分行云规划分布式存储、集中式存储和本地SSD存储等多种场景，包括块存储、对象存储和文件存储的完整分布式存储体系，并支持数据共享与池间传递。在网络方面，分布式分行云按需保持网络安全隔离，提供多场景网络服务能力，网络区域内采用高性能交换机进行组网，满足数据高速传输需求，各类网络功能进行全面的SDN软件化，提供多种网络自助服务能力。可选云服务以PaaS层服务和数据库服务为主，以产品模式提供如微服务、分布式缓存、高斯、MySQL等多种云服务，由分行按需自行部署和运维。（如图3所示）。

图3 工商银行分布式云服务

4、“一站式”的统一运维运营

工商银行基于分行云云管平台实现一站式资源视图和运维管理，为租户（即分支机构）和系统运维人员提供逻辑统一的服务入口，实现融合云门户、云监控、自动化部署、多云管理、openAPI的一站式解决方案。通过统一云管平台，中心站点与分行站点无缝对接，利用分布式云的资源整合能力和一体化自动运维能力，实现多站点资源的统一规划、管理、集中调度，实现资源的精细化管理，提高统一运维效率。云平台统一视图（如图4、5所示）充分整合各专业平台的资源台账数据，帮助租户便捷查看站点位置及内部资源池情况、云上资源使用情况、机构应用入云情况等，提供业务指标、技术指标、部署拓扑等多维度一站式监控能力，快速了解云资源使用及应用入云趋势。

图4 分行云门户大屏1

图5 分行云门户大屏2

（二）底座轻量化攻坚：实现高可用与成本优化的双重目标

结合分行机房实际物理条件和资源使用情况，充分考虑分行本地小规模部署云服务的实际需求，工商银行基于标准化的云底座开展极致的轻量化攻坚，实现了最小仅需“6交换机+8服务器”的轻量化云底座，大幅降低分布式云建设成本。

1、轻量化云站点基础设施成本降低70%

分行轻量化站点资源池规模相对较小，且不同分行机房实际承载能力也各不相同。为此，工商银行基于中心站点进行管理逻辑简化、网络架构调整、设备精简等精细化裁剪，实现了“云的小型化部署”，降低轻量化云站点底座设备数量。轻量化站点资源池规模较小，且网络服务区采用精简AZ部署、网络服务区和虚拟机AZ共用存储集群，根据实际规模有效精简底座管理节点、网元节点及存储节点，且底座管理区和网络节点共用接入交换机，使得最终平均规模下站点建设成本下降70%，在精简网络及管理设备部署数量时，仍保证底座管控、网元、存储等设备均采用多活或主备部署，在成本下降时仍有效保障设备高可用。

2、轻量化云站点服务组件精简

轻量化站点为分行提供虚机、裸金属、分布式存储、对象存储、VPC等各类云资源，并针对对象存储、高斯等服务组件做了一定剪裁以适配分行本地小规模场景，可承载网络敏感类的总行、分行特色应用本地化部署，减少分行运维对象，降低运维成本。

三、分布式云赋能分行转型与创新

目前工商银行基于分布式分行云持续开展云平台集团一体化推广，全面推进全行应用迁移入云，已承载境内外分行以及综合化子公司等46家分支机构的业务运行，充分发挥了云计算技术在成本集约化方面的优势，减少大量IT资源投入，降低基础设施成本、提高资源供给效率、形成标准化部署模式。目前工行分布式分行云已顺利以金融业首家高分通过中国信通院《分布式云基础设施服务能力》标准测评。

全面承载全集团业务应用入云，降低基础设施成本。分布式分行云为分支机构提供一云多芯、监管合规、资源充足、技术路线统一、弹性易用、低延迟和低成本的云化设施，涵盖全部境内分行的总分行业务，及工银科技、工银理财、工银瑞信等全量综合化子公司，并同步支持境外机构持续开展入云转型。目前分布式分行云已为分行供应近万台云主机、10万核vCPU算力和PB级云存储，助力分支机构减少资源投入，同时通过统一资源池化管理，大幅降低分支机构对设备、机房等数据中心站点基础设施的运维管理成本。

满足分行业务快速上线需求，多家分行特色应用已实现100%入云。运营人员可根据分行实际需求预先提供部分资源配额，租户可通过分行云自服务分钟级快速申请资源，省去分行自行申请预算进行设备采购的周期，有效加快分行应用的上线速度，实现多家分行的分行特色应用全面入云。

形成分布式分行云“本地轻量化站点+总分架构业务应用”的标准化部署模式，全面支撑分行本地应用云化转型。轻量化站点承载了分行少量网络敏感类应用的本地入云部署需求，解决了分行全面入云转型的“最后一公里”难题，同时可提供总分行统一的标准基础设施技术路线，更好支撑总分行架构部署应用，让分支机构充分复用总行的成熟技术经验，降低了各应用在分行本地部署时基础设施兼容等技术风险，有效提升业务连续性。