虽然5月30日股市受国家提高印花税的影响而暴跌,但是多方人士仍未失去对股市重新“发飙”的信心。而就IT而言,股市的震荡显然不可能让证券公司如火如荼的IT系统建设停下脚步,因为频频告急的系统问题已经让证券公司IT部门抓狂,也把证券公司的IT系统建设“逼上梁山”。还因为,证券公司不可能再容忍自己在突如其来的“天量”行情面前措手不及、不堪一击。
当记者如约来到北京复兴门金融街的银河证券IT中心时,一位穿蓝色衬衫的人男士急速小跑赶到我们前面,推开了主任室的门,闪了进去。我这才反应过来,他就是银河证券IT中心主任王恒。
股市行情暴涨,各证券公司的系统频频告急。证券公司技术部门的负责人也开始高速旋转起来。保持系统正常运行、及时排除系统故障、第三方存款系统的招投标、系统的升级和扩容等等事情让他们焦头烂额。
民族证券总工程师马光悌也刚从全国各地的证券营业部巡视回来。“到各地营业部就是处理各种各样的问题,有系统问题、有技术问题、有资源调配问题,反正是能解决的当场解决,不能解决的尽快想办法解决。”民族证券在大行情来临前,已经顺利地切换了系统平台,但是网上交易系统的小问题还是层出不穷。
而那些在大行情到来之前没有做好系统准备的证券公司,正忐忑不安地准备着应对突如其来的灾难。
股市疯了 证券IT急了
现在证券业的一天,等于过去的一年。IT系统的压力也与日俱增,不能出现任何瑕疵。
——国泰君安证券公司技术部总经理俞枫
在鞍山,足有两个篮球场大的交易大厅被挤得水泄不通。两个巨大的交易显示屏下面,数千个股民的脑袋簇拥在一起看行情,而柜台交易早已排起了数十人的长队,场面实在是非常壮观。马光悌刚刚从宁波、成都、漳州等地巡视回来,在谈到自己最近在证券交易第一线所看到的情形时,既兴奋又紧张。
股市的确是疯了。根据中国证券登记结算公司的统计数据,到5月28日沪深两市账户数已突破1亿大关。而根据中国证监会最新统计数据显示,截至4月30日,股票市场共筹资1124.67亿元,同比增长1927.63%;4月份股票成交金额49122.64亿元,同比增长586.28%; 证券投资基金成交金额725.45亿元,同比增长479.99%。
证券公司把目前的股市称为“天量行情”,在此“天量行情”下,股民在交易现场的反应也变得非常极端。因为交易的人太多,柜台交易不堪重负,股民情绪焦躁,情急之下,各种歪招都使了出来。营业厅的小键盘交易机系统设定只有两分钟交易时间,有的人就在快到时间的时候关机,然后重启;有的把交易机的小键盘的封锁铁条橇掉; 更有甚者,甚至把机器的开关砸掉,只有自己才能开;而有的股民形成同盟,几个人把一台机器围成一圈,不让其他人插入,轮流操作。
证券公司IT系统全面告急。自今年5月1日之后,大多数证券公司的IT系统都“几乎顶不住了”。在北方区域,柜台交易系统的压力更加突出;而南方闹得最厉害的还是网上交易系统,由于委托难,交易矛盾已经变得非常尖锐。由于每个公司都有一套核心的交易系统,支持在线交易和现场交易最终的这两块的压力都会汇聚到后台核心交易系统,所以整体表现是“全面吃紧”。
5月9日,各大证券公司的交易系统已经出现很严重的“堵单”。有的堵单是因为主系统故障,有的是由于各种接口没有做好,有的是银行的代码错误导致问题出现,也有因为存储系统导致堵单,可以说不一而足。马总说:“现在证券公司IT部门就像大夫一样,整天面对和处理各种各样的病情。” 而在不久前的一次证券行业内部的沟通会上透露,100多家证券公司中有15家出现了较长时间的交易故障。
“国泰君安的平台上每天有155万笔交易,250亿元的交易额,增长速度还在不断翻番。”国泰君安CIO俞枫感叹,“现在证券业的一天,等于过去的一年。IT系统的压力也与日俱增,不能出现任何瑕疵”。银河证券CIO王恒也表示,公司IT系统资源利用率基本上达到90%以上,最少的设备利用率也有70%,存储空间亟待扩容。
股民更是怨声载道,网上交易的用户,不但行情浏览常常出现问题,更为可恼的是,委托交易速度极慢,屡屡让股民错失稍纵即逝的“抓钱”机会,这对股民来说不能容忍。为了解决看行情时的慢,各证券公司开始封锁自己的行情,只供自己的客户使用; 而对于委托交易慢,证券公司大多采取的解决办法是增加一个委托站点。
在福建漳州,有个老人家问马光悌: “你是搞技术的人吗?”马光悌说:“是啊。”老人家说:“你把交易做得快一点,我给你们送一盒好茶。” “这不是骂我们吗?”马光悌说。
几乎所有的压力都汇聚到证券公司IT部门,他们成为了“众矢之的”。
亡羊补牢 解危
现在证券公司增加IT投入,其实是在还前几年积累下来的债,但现在证券公司才做系统扩容和系统改造,风险和难度都非常大。
——金证科技股份有限公司副总裁徐岷波
记者在采访中了解到,从2006年6月开始,证券公司在涉及业务的几乎所有环节都高度紧张。而网上交易、柜台交易、后台处理、通信接入与银行接口等等任何一个环节出现问题,都会引发多米诺骨牌效应。俞枫在接受记者采访时坦率地说: “业务上升对IT系统的压力是全方位的,包括对接入点、通信稳定、主机处理能力和具体业务系统处理能力,都有影响。如同水桶原理一样,每个环节都要加强。”
事实的确如此。目前证券公司非现场交易系统部分占70%~80%的交易量,这个环节出了问题影响巨大。但是如果网上交易系统扩容以后,通信带宽不进行升级扩容,那么通道就必然会成为瓶颈,这个瓶颈可能是证券公司和电信之间的接口,也可能是证券公司节点和总部之间的链接;而如果前端交易系统扩容、通道拓宽,也就相应要求后台处理系统的处理能力、响应速度、容量等提升和扩大。马光悌说:“系统不能有短板,哪里有短板就补哪里。”
而在谈到证券IT系统危机四伏的根本原因时,大家不约而同地指向IT投入不足。金证公司副总裁徐岷波说:“在整个行业低迷的状态下,IT投入被压缩得很厉害,可以说是紧巴巴地过日子,很多证券公司的系统容量、冗余备份都远远不够。”
2001年以后,股市进入长达5年的熊市,在这5年间,证券公司度日如年,证券行业的IT投入几乎陷入停滞。一些证券公司已经招标并准备实施的大集中系统,也因为没有钱而半途而废,像申银万国这样的大证券公司,原计划投资3亿元建设大集中系统,最终投入的费用也是一减再减。
“证券公司亏损严重,根本不可能想着为将来的牛市做投入,IT部门不能在‘开源’上有所作为,而是在‘节流’上做文章,想方设法地节省。因此,证券公司系统疏于维护,机器严重老化,沉疴痼疾也就越来越多。”某知名证券公司的技术部门负责人对记者说,“在当时的情况下,要想在系统维护、升级、优化、改造等方面花钱,简直是异想天开。”
徐岷波认为,现在证券公司增加IT投入,其实是在还前几年积累下来的债。“目前容易出问题的证券公司主要就是前期投入不足者,所以才会临到头来头痛医头脚痛医脚;如果证券公司的系统前期规划和建设比较到位,应对现在的行情就会从容得多。”
而这轮行情之下,一些中小证券公司反倒占了先机。比如招商证券、国信证券,还有一些地方性的证券公司,他们都是做当地接入,委托交易速度非常快,并以此为优势,拉走了很多大证券公司的客户。这使得大证券公司感到压力,因为股民流失,就意味着白花花的银子跑到别人的口袋,是绝对不能容忍的事情。
“我们对于委托交易慢,非常紧张,因为这会造成客户的流失,对于证券公司来说就是损失。所以现在证券公司拼命增加IT投入,想方设法增加站点来留住客户。”马光悌说,“我们都是被行情教训了以后,才意识到这样玩下去肯定是不行的,所以我们现在是大干快上”。
但是现在赶紧投入,问题也来了。一些证券公司技术部门职员认同记者的看法,现在证券公司是在 “亡羊补牢”。虽说“亡羊补牢,未为迟也”,但现在证券公司才做系统扩容和系统改造,风险和难度都非常大。证券行业内人士把现在证券公司IT部门的行为称为,“火车高速进行中换轮子”。
马光悌说: “火车速度慢的时候,没钱或者是想不起来要换轮子;现在有钱了,轮子已经快报废了,怎么办?只能是换!但是现在换,难度就增加了,可能导致翻车,也可能把火车换停了。”
今年3月,某知名证券公司收购其他证券公司,新增多家营业部,在行情大幅波动的情况下,进行大规模系统升级,内容涉及软件优化、更换主机、系统切换、系统调优、营业部上线等各方面工作。但是由于数据库优化中没有使用分区技术,在交易迅速扩大的情况下引起巨大的性能瓶颈,加上优化后的软件未能与新主机磨合好,最终导致交易瘫痪。
图一 2006年证券业重点IT系统投资规模 图二 2007年证券重点IT系统投资规模
权宜之计 扩容
扩容之前,交易系统好比一个有高血压的人,能吃能喝,但是随时可能倒下;而现在血压基本正常,虽偶然有小病,但是已经没有大碍。
——民族证券总工程师马光悌
1月8日早上9:15,鞍山民族证券营业部,数千人已经把营业部挤得水泄不通,没有人注意到现场的马光悌额头渗出了汗水。在系统切换那一刻,所有在后台的人都屏住呼吸,空气几乎凝固了,四周一片寂静,马光悌脑子里面不停闪现的是几千人冲进来的混乱场面。
9:25第一笔交易处理正常,然后是10分钟、1小时,直到中午11:30分,系统交易没有出现任何波动,股民根本没有任何感觉。至此,民族证券最后一个营业部上线,标志着全公司系统切提成功。
“其实我们也是被大行情教训了,实在顶不住了,才这样痛下决心。”马光悌介绍说,一开始,民族证券和其他很多证券公司一样,哪里有伤有痛,找一个创口贴先贴上。但是行情暴涨如同洪水汹涌而至,马光悌意识到,再这样修修补补,总有一天会出大事,于是一咬牙,换!在总公司领导支持下,一家一家切换,把软件升级,把以前的PC服务器全部扔掉,换成小型机。“我们当时要是犹豫的话,现在局势就会很严峻。”马光悌暗自庆幸自己当初的果断。
“证券公司系统切换的风险是非常大的,因为硬件平台、软件运行、硬件和软件的兼容测试、运行测试、应用软件的测试等等环节很多,而任何一个细节都可能暗藏风险。”徐岷波说。
民族证券之所以能如此坚定地走出这一步,一方面是因为其营业部规模较小,二是因为马光悌曾在中信证券负责系统建设,有系统切换的经验。马光悌还坚持认为,“服务器微机时代已经过去了,大量的证券公司都将纷纷转移到小型机平台,这个趋势在明年将会很明显。”
民族证券只是证券公司扩容运动中的一个案例。从2006年开始,几乎所有的证券公司都忙于扩容,但是各证券公司的做法却是迥异。徐岷波认为,从扩容方式上看,有两种方法可行: 一种是走高端高配置的路线,完全更换系统,就是将以前的PC服务器平台向小型机迁移;一种是走低端低配置路线,在现在的PC服务器的架构上,进行硬件的扩容和升级,就好比是在以前的细铁丝上再加上几根细铁丝,以此来应对当前的情况。
总体上看,中小型规模的券商大多采用了高端高配置、整体平台切换的路线。比如华泰证券,2006年,华泰证券选择了恒生电子大集中系统,采用了大型数据库Oracle平台,并用小型机代替传统的PC服务器,使系统的处理效率和处理能力得到了很大的提升。同时通过 Oracle数据库的RAC技术,以及恒生公司自主研发的中间件平台群组技术,使得集中交易系统的处理能力可平行扩展,很好地满足华泰证券未来的业务发展需求。在此次交易量节节攀升的大行情下,华泰证券大集中系统充分经受住了考验。
大型证券公司在系统平台的升级上显得保守一些,因为拥有上百家营业部的大证券公司,其实施集中交易以后,风险变得更大。这些风险包括系统升级风险、系统技术支持风险、项目实施风险、清算风险、接口非标准化风险等等。“集中交易实际上就是把以前分散在各营业部的经纪业务风险,集成转化成为电脑的、系统的风险。而且这个风险完全系于一个核心交易系统、一个平台、一条主通道,一荣俱荣,一损俱损。”马光悌说,“这就是国内那些大券商步履维艰、踌躇不前的原因。”
在大型券商中,国泰君安勇敢地走出了这一步。早在2005年,国泰君安就已经对系统进行了改造。国泰君安采用了 IBM 的 IA 服务器系统,实施了“集中分布式”的构架。在一年半的时间内,116 家营业部全部平稳上线,成功地实现了对证券 AB 股业务、债券业务、开放式基金业务、银证通业务等多种经纪业务进行集中处理。集中交易系统在实现复杂业务逻辑的同时,实际运行中达到交易超过 1000笔/秒,查询超过 10000笔/秒,实现了经纪业务平台的集中高效管理和数据的快速应用。而最近,国泰君安又对主机进行了升级、增加了带宽,接入点数量也增加了。
马光悌如此形容证券公司扩容后的状态,扩容之前,好比一个高血压的人,能吃能喝,但是随时可能倒下;而现在血压基本正常,虽偶然有小病,但是已经没有大碍。
人们在关注股市风险的同时,却往往忽略了证券IT系统也有可能带来“崩溃”的危险。
未雨绸缪 “双万”指标
我们为什么不在有财力、有能力的情况下做更大胆的设想,按照股市指数一万点、交易量一万亿的指标来重新设计和架构我们的柜台交易系统?
——民族证券总工程师马光悌 ++
最近马光悌在不同的场合宣扬他的“双万”构想,有的人认为这个设想太疯狂了,有的人认为太超前了,但是马光悌自有一番理论,“煮一碗面还是煮面水多了才好吃,我们做系统设计也应同样如此。”
“双万架构并不疯狂。” 徐岷波说,“现在已经有客户向我们提出了更高的目标,按照1.5万亿的交易量来做系统架构的重新设计。但是6000-8000亿的交易量是大多数券商比较认同的一个区间。”采访中,俞枫对此没有做正面评价,他只是表示,“交易量和系统架构并没有太直接的联系。”
但是也有颇多反对之声,认为现在的股市完全是一种非正常状态,如此大手笔的IT系统投入完全不值得。但是马光悌认为,中国的股市投机性比较强,所以就会出现如此大的瞬间交易量,针对中国股市这种特殊的情况,在重新构建系统的时候,必须要有前瞻性。
一位证券行业资深人士认为,2006年开始的股市大行情,将是证券IT系统建设的一个转折点,证券IT需要完全摈弃原来的营业部级的系统架构模式,而交易系统的开发商更是要在思想上经历一次彻底的革命。“我们和营业部级系统打交道已经至少有10年了,已经形成了思维定势,但是我们在重新设计和构建新的证券IT系统时,必须完全抛弃原来的一套思维模式和做法,颠覆以前的概念,做彻底的创新。”
评 论 :证券IT 想想明天会怎样
在采访中,有业内人士向记者透露了一个惊天秘密:有的证券公司为了迎合股民对系统快速处理能力的需求,拉拢客户或者是留住客户,而在系统安全上面做较多的牺牲。比如,证监会要求网上交易时,每一笔单子必须显示IP地址,如果把IP地址屏蔽,是不允许的。但是实际上很多证券公司有意将IP地址屏蔽了;另外,证监会要求网上交易整个过程必须有记录、有监督。但很多证券公司把这个功能也屏蔽掉了;还有的证券公司为了释放系统的运行空间,把一些自认为“无关紧要”的安全防护功能也关掉了。
如此一来,就可能引起两大安全隐患:一是一些违规的“异动交易”不能及时监控到,最终可能造成股市大混乱,比如一些基金经理的违规操作行为、一些“庄家”的异常操盘行为,都会给股民造成较大损失;二是系统受到病毒、黑客攻击的可能性大大增加。该人士直言不讳地说: “大家明明知道这样做存在安全隐患,而且总有一天会爆发,并很可能引起意想不到的严重后果,但是大家还是依然故我。”
今天,我们听到的是安全隐患,明天也许有更为“骇人”的问题暴露出来。这就是很多用户对券商IT系统的态度。实际上,证券IT系统建设曾是中国信息化领域的先锋,但是今天看来,证券IT系统并不那么让人信赖。相反,在突如其来的行情考验下,中国证券IT系统显得如此脆弱、如此不堪一击。
这不得不引起整个证券IT行业的集体反思:是因为我们的证券IT部门缺乏战略规划和眼光,还是因为IT部门在证券公司中“边缘化”,缺乏足够的能量以争取更多的投入和资源?是因为证券IT部门系统架构本身存在缺陷,还是因为在风险监控和管理方面重视不够?
今天尚处于四处救火状态的证券IT部门,也许该想想,面向下一个10年、面向下一轮股市风潮,证券IT如何做好充分的准备,以免重蹈覆辙。(文/凡晓芝) |