西安土星網(wǎng)絡(luò)科技有限公司

建設(shè)銀行數(shù)據(jù)中心在“新一代”核心系統(tǒng)、“兩地三中心”基礎(chǔ)設(shè)施建設(shè)中，進(jìn)行了一系列技術(shù)架構(gòu)創(chuàng)新，提高了系統(tǒng)吞吐能力和資源供給效率，提升了系統(tǒng)可靠性，大大增強(qiáng)了數(shù)據(jù)中心風(fēng)險(xiǎn)防范水平。

以電子渠道為例，業(yè)務(wù)量從2012年每月21億筆增加到2016年179億筆，年均增長(zhǎng)72%。2016 年“雙十一”的核心業(yè)務(wù)系統(tǒng)交易峰值接近8000筆/秒，較2015年增長(zhǎng)81%，所有系統(tǒng)均順利應(yīng)對(duì)業(yè)務(wù)高峰，充分驗(yàn)證了建行新一代系統(tǒng)架構(gòu)的健壯性。

1、融合架構(gòu)：主機(jī)平臺(tái)+分布式開(kāi)放平臺(tái)

核心賬務(wù)系統(tǒng)，部署在主機(jī)平臺(tái)上

主機(jī)平臺(tái)可用性高，運(yùn)行穩(wěn)定，適合作為銀行核心系統(tǒng)運(yùn)行平臺(tái)，但也存在風(fēng)險(xiǎn)集中、處理能力瓶頸、敏捷性不夠、價(jià)格昂貴等不足。

主機(jī)資源用于核心賬務(wù)系統(tǒng)，利用開(kāi)放平臺(tái)處理查詢業(yè)務(wù)或者普通維護(hù)性交易，采用削峰填谷的方法優(yōu)化主機(jī)資源使用，確保賬務(wù)交易的資源。

為了更好地利用主機(jī)資源，建設(shè)銀行提出“主機(jī)+開(kāi)放”的融合架構(gòu)，確?！昂娩撚迷诘度猩稀薄?

查詢系統(tǒng)，部署在分布式平臺(tái)上

查詢系統(tǒng)包括：個(gè)人客戶綜合積分、貸記卡管理、客戶信息查詢、對(duì)公/對(duì)私存款查詢、客戶渠道。

目前各類查詢交易總計(jì)下移日均交易量1.4億筆，節(jié)省主機(jī)資源2.6萬(wàn)MIPS，相當(dāng)于8.22億元。

查詢系統(tǒng)與賬務(wù)系統(tǒng)分離，既分散了系統(tǒng)風(fēng)險(xiǎn)，又提高了并發(fā)處理能力。

最近三年在實(shí)際業(yè)務(wù)量年均增長(zhǎng)32%的情況下，主機(jī)MIPS資源零增長(zhǎng)，取得了節(jié)省投資的良好效果。

在分布式開(kāi)放平臺(tái)上，X86服務(wù)器替代小型機(jī)

在開(kāi)放平臺(tái)的選擇上，由于同等計(jì)算能力的X86服務(wù)器價(jià)格只有小型機(jī)的1/20，所以首先在新一代架構(gòu)的應(yīng)用（AP）層中大量采用X86服務(wù)器替代小型機(jī)，隨著替代技術(shù)逐步成熟，繼續(xù)提高在數(shù)據(jù)庫(kù)（DB）層使用X86服務(wù)器的比例，進(jìn)一步減少小型機(jī)的數(shù)量。

自新一代實(shí)施以來(lái)，應(yīng)用層和數(shù)據(jù)庫(kù)層部署的X86服務(wù)器替代小型機(jī)已累計(jì)節(jié)省12.2億元。新一代實(shí)施前后，小型機(jī)占開(kāi)放計(jì)算資源比例已從1/3逐步下降到1/12，計(jì)算資源的總體可靠性和可用性保持不降。

2、私有云，能提供1000臺(tái)以上的虛擬機(jī)

建設(shè)銀行自2013年起采用云計(jì)算技術(shù)來(lái)構(gòu)建基礎(chǔ)設(shè)施環(huán)境，將計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源統(tǒng)一打包成共享資源池。

根據(jù)每種資源池的特點(diǎn)，采用不同的云部署單元（CDP）模型，構(gòu)建了X86虛擬化資源池、Power虛擬化資源池、HP 資源池以及大數(shù)據(jù)資源池等。

以云部署單元為基本單位進(jìn)行部署、更新和替換，統(tǒng)一了標(biāo)準(zhǔn)，提高了通用性，降低了成本。

目前已經(jīng)在私有云環(huán)境中部署了1000臺(tái)以上物理機(jī)，提供10000臺(tái)以上虛擬機(jī)，有力地支撐了“新一代”核心系統(tǒng)上線。

3、網(wǎng)絡(luò)架構(gòu)：一網(wǎng)雙平面，可靠性達(dá)到99.999%

新一代核心網(wǎng)絡(luò)平臺(tái)采用“一網(wǎng)雙平面”的網(wǎng)絡(luò)架構(gòu)，用多協(xié)議標(biāo)簽交換技術(shù)，采用層次化、模塊化的網(wǎng)絡(luò)結(jié)構(gòu)，將網(wǎng)絡(luò)局部可靠性逐步提高到99.999% 水平，支持無(wú)中斷維護(hù)。

新一代局域網(wǎng)通過(guò)推廣柜頂接入架構(gòu)，以虛擬端口聚合技術(shù)為基礎(chǔ)，采用插入式服務(wù)架構(gòu)來(lái)提高網(wǎng)絡(luò)綜合服務(wù)能力，接入層交換機(jī)使用板卡延伸技術(shù)，大規(guī)模標(biāo)準(zhǔn)化網(wǎng)絡(luò)交換機(jī)配置。

通過(guò)采用“雙平面”冗余設(shè)計(jì)避免邏輯單點(diǎn)，采用分散部署模式來(lái)分散整體性風(fēng)險(xiǎn)，逐步采用自動(dòng)化變更手段杜絕操作失誤。

采用松耦合的理念，模塊化、層次化，網(wǎng)絡(luò)服務(wù)資源池化，將二三層網(wǎng)絡(luò)與四七層網(wǎng)絡(luò)服務(wù)解除耦合關(guān)系，減少管理復(fù)雜度，有利于橫向擴(kuò)展，大幅提高數(shù)據(jù)中心網(wǎng)絡(luò)平臺(tái)的可靠性、健壯性。

4、安全：“多層水閘式”防范體系

原安全架構(gòu)的安全功能與應(yīng)用系統(tǒng)集成實(shí)現(xiàn)，嵌入到應(yīng)用系統(tǒng)中，與應(yīng)用系統(tǒng)緊密耦合，導(dǎo)致安全策略與安全功能固化。

“新一代安全架構(gòu)”的應(yīng)用系統(tǒng)只集成通用、標(biāo)準(zhǔn)化的安全代理，所有安全功能通過(guò)安全代理為應(yīng)用系統(tǒng)提供，后臺(tái)的安全服務(wù)可以統(tǒng)一調(diào)度、靈活組合，安全服務(wù)的調(diào)整不會(huì)導(dǎo)致業(yè)務(wù)系統(tǒng)的改造。

5、標(biāo)準(zhǔn)池化存儲(chǔ)結(jié)構(gòu)

NAS、SAN存儲(chǔ)

SAN存儲(chǔ)從應(yīng)用（AP）層、數(shù)據(jù)庫(kù)（DB）層混合部署轉(zhuǎn)變?yōu)槿珨?shù)據(jù)庫(kù)層部署，大面積在應(yīng)用層使用NAS存儲(chǔ)替代SAN存儲(chǔ)。

打造“存儲(chǔ)標(biāo)準(zhǔn)化”

實(shí)行存儲(chǔ)配置標(biāo)準(zhǔn)化、資源池化，屏蔽了不同產(chǎn)品帶來(lái)的差異化，減少了維護(hù)成本，同時(shí)實(shí)現(xiàn)了存儲(chǔ)資源快速、靈活的供給。

采用龐大的“邊緣—核心—邊緣”三層SAN存儲(chǔ)網(wǎng)絡(luò)

實(shí)現(xiàn)了樓宇內(nèi)任意地點(diǎn)的存儲(chǔ)網(wǎng)絡(luò)接入。

6、自主研發(fā)云管理平臺(tái)

自主開(kāi)發(fā)了全面自動(dòng)化的云管理平臺(tái)，先后實(shí)施了IT 基礎(chǔ)設(shè)施的服務(wù)器安裝、版本部署、服務(wù)啟停、日常巡檢、配置比對(duì)等一系列自動(dòng)化工具，極大提升了數(shù)據(jù)中心運(yùn)營(yíng)管理的自動(dòng)化水平，形成全生命周期的自動(dòng)化管理模式，完美支持了應(yīng)用項(xiàng)目以及相關(guān)IT 框架、平臺(tái)、技術(shù)和安全組件的投產(chǎn)上線。

創(chuàng)造了5個(gè)工作日內(nèi)交付上千臺(tái)虛擬化服務(wù)器的行業(yè)紀(jì)錄，在簡(jiǎn)化流程、提高效率的同時(shí)，有效控制了操作風(fēng)險(xiǎn)。

中國(guó)工商銀行

中國(guó)工商銀行數(shù)據(jù)中心（上海）

從2014年開(kāi)始，工商銀行就開(kāi)始布局集中式和分布式架構(gòu)體系，結(jié)合云計(jì)算、大數(shù)據(jù)等新技術(shù)手段，以架構(gòu)優(yōu)化為核心。

1、IT架構(gòu)改變，來(lái)源于銀行壓力越來(lái)越大

一是，客戶群體多樣化增大

面對(duì)多樣化、個(gè)性化、國(guó)際化的客戶群體，銀行信息系統(tǒng)需要支撐更加差異化、綜合化的產(chǎn)品和服務(wù)，并滿足國(guó)際化帶來(lái)的監(jiān)管要求。

二是，互聯(lián)網(wǎng)類營(yíng)銷壓力變大

客戶服務(wù)不再依賴網(wǎng)點(diǎn)柜員，一些營(yíng)銷，特殊時(shí)點(diǎn)秒殺搶購(gòu)等互聯(lián)網(wǎng)營(yíng)銷帶來(lái)的負(fù)載沖擊，對(duì)銀行信息系統(tǒng)架構(gòu)提出了高并發(fā)、易擴(kuò)展、抗沖擊的高要求。

三是，網(wǎng)絡(luò)安全壓力變大

以APT 為代表的有針對(duì)性、持續(xù)性的網(wǎng)絡(luò)攻擊日益突出，銀行信息系統(tǒng)需要實(shí)現(xiàn)從“被動(dòng)防護(hù)”轉(zhuǎn)向“主動(dòng)防御”，提高對(duì)安全態(tài)勢(shì)的感知能力，建設(shè)全方位的安全防護(hù)體系。

四是，出了故障，輿論壓力變大

在依托移動(dòng)互聯(lián)網(wǎng)快速傳播的“自媒體時(shí)代”，銀行信息系統(tǒng)運(yùn)行的任何故障都會(huì)被大眾資訊無(wú)限放大，并直接影響銀行服務(wù)的經(jīng)營(yíng)和品牌價(jià)值。

工商銀行信息科技以建設(shè)云數(shù)據(jù)中心為目標(biāo)，以“兩地三中心”為核心，持續(xù)提升業(yè)務(wù)連續(xù)性運(yùn)作管理水平。

2、“兩地三中心”，讓業(yè)務(wù)切換只需2分鐘

工行于2014年初步建成了以上海外高橋園區(qū)和嘉定園區(qū)為同城雙活中心、北京西三旗園區(qū)為異地災(zāi)備的“兩地三中心”體系架構(gòu)。

比如：

2016年末，人民銀行領(lǐng)導(dǎo)現(xiàn)場(chǎng)觀摩了工商銀行數(shù)據(jù)中心的同城切換運(yùn)行。

工行核心系統(tǒng)在業(yè)務(wù)高峰期間，由上海外高橋園區(qū)成功切換至嘉定園區(qū)，運(yùn)行1個(gè)多小時(shí)后回切至外高橋園區(qū)，整個(gè)切換時(shí)間約2分鐘，符合預(yù)期。

接管運(yùn)行期間全集團(tuán)各項(xiàng)業(yè)務(wù)正常開(kāi)展，交易響應(yīng)及系統(tǒng)運(yùn)行性能良好。

亮點(diǎn)

自主設(shè)計(jì)研發(fā)了“一鍵式”自動(dòng)化切換系統(tǒng)，具備了同城中心之間快速切換和接管業(yè)務(wù)負(fù)載的能力。

研發(fā)設(shè)計(jì)了“異地多點(diǎn)接入”和“同城雙活”相結(jié)合的開(kāi)放平臺(tái)應(yīng)用系統(tǒng)雙活方案，在保障業(yè)務(wù)一致性的情況下實(shí)現(xiàn)站點(diǎn)間的靈活切換。

正在研究，重要應(yīng)用系統(tǒng)的“多站點(diǎn)多活模式”

3、“云架構(gòu)”真正落地

基礎(chǔ)設(shè)施，資源池云化

基礎(chǔ)設(shè)施云已經(jīng)在工行數(shù)據(jù)中心逐步推廣，實(shí)現(xiàn)了大規(guī)模計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的池化管理和彈性供給。

容器技術(shù)，實(shí)際在用

開(kāi)展了基于容器技術(shù)的應(yīng)用云平臺(tái)規(guī)劃和建設(shè)工作，已經(jīng)在互聯(lián)網(wǎng)金融、第三方支付、紀(jì)念幣預(yù)約等應(yīng)用系統(tǒng)實(shí)施了云化和微服務(wù)化改造，基于分布式系統(tǒng)框架實(shí)現(xiàn)資源彈性供應(yīng)，快速響應(yīng)業(yè)務(wù)突發(fā)增長(zhǎng)需求，有效應(yīng)對(duì)了“雙十一”、“紀(jì)念幣發(fā)行”、“微信紅包”等互聯(lián)網(wǎng)業(yè)務(wù)沖擊。

采用“云化管理”

利用流數(shù)據(jù)平臺(tái)對(duì)各環(huán)節(jié)負(fù)載數(shù)據(jù)進(jìn)行引流分析，實(shí)時(shí)掌握主機(jī)、網(wǎng)絡(luò)、應(yīng)用、數(shù)據(jù)庫(kù)各環(huán)節(jié)的負(fù)載壓力和性能指標(biāo)，通過(guò)動(dòng)態(tài)調(diào)節(jié)資源配置，全流程保障快捷支付業(yè)務(wù)的服務(wù)需求。

4、擁抱SDN、開(kāi)源產(chǎn)品

在數(shù)據(jù)中心部署SDN網(wǎng)絡(luò)

全面啟動(dòng)了工商銀行新一代網(wǎng)絡(luò)架構(gòu)的規(guī)劃和落地

引入開(kāi)源產(chǎn)品

通過(guò)開(kāi)源軟負(fù)載產(chǎn)品低成本、可擴(kuò)展的優(yōu)勢(shì)，解決目前負(fù)載均衡技術(shù)領(lǐng)域存在的性能瓶頸和難以快速擴(kuò)展問(wèn)題。

5、安全管控，依然是重中之重

安全重點(diǎn)關(guān)注點(diǎn)有：互聯(lián)網(wǎng)入侵防護(hù)、網(wǎng)絡(luò)安全隔離與訪問(wèn)控制、客戶端安全管理、數(shù)據(jù)安全管理等中高風(fēng)險(xiǎn)領(lǐng)域。

措施：

優(yōu)化安全架構(gòu)

重點(diǎn)推動(dòng)APT攻擊防護(hù)、云網(wǎng)絡(luò)安全防護(hù)等方案落地，與現(xiàn)有外部攻擊檢測(cè)形成有效互動(dòng)和互補(bǔ)。

加強(qiáng)數(shù)據(jù)分析和安全風(fēng)險(xiǎn)模型研究

通過(guò)研究科技與業(yè)務(wù)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，實(shí)施系統(tǒng)、網(wǎng)絡(luò)、應(yīng)用、業(yè)務(wù)等各環(huán)節(jié)日志分析挖掘，全面推動(dòng)信息安全數(shù)據(jù)分析工作。

中國(guó)農(nóng)業(yè)銀行

中國(guó)農(nóng)業(yè)銀行數(shù)據(jù)中心