Hi!欢迎光临陕西省的权威思科、华为、Oracle、红帽、深信服、微软认证培训中心!
| 029-88235527
您现在所在位置:首页 > 新闻资讯 > 公司动态 >

带薪网络工程日记——银行断网记项目

发布日期:2020-03-09 16:16:36点击次数:

分享到:
互联网企业网断了,这是最严重的网络问题,也是最糟心的事情。
特别是对于那些24小时都不能断网的银行客户,如果银行网络瘫痪,引起大客户资金亏损或者直接客户电话投诉,老板会疯掉的!怎么快速确定问题,怎么处理好现场,怎么样帮助你的客户以最快的速度和最有效的方法解决故障,是一名合格的网络工程师要注意的事情。
带薪网络工程日记——银行断网记项目
西安今天非常热,温度异常高,竟然接近29度,能把我热晕到马路牙子上,好我的老天爷呀。
晚上9点左右,突然接到招行的技术部门的人给我电话“喂,老许,不好了,我们所有的无线网络全部都上不去网了” 接到客户这样的反馈。
我通常不太着急,因为我知道他每次都是这样,总说整个网络全部瘫痪,其实一般也就是几个无线接入信号不好。
我懒洋洋的就接着反问道:“是无线搜索不到信号呢? 还是无线网络能搜索到信号,但是上不了网呢” 
“是能连上,但是所有的电脑下面都是一个小叹号”  他回答道
我说甭着急,让我看看我马上给您回电话。
顺手拿起手机,连接客户的网关路由器的web页面,同事使用SSL VPN登陆看看发生了什么问题。。。
但是。。。
R。。。
连不上了!!!
不好
互联网的出口难道被人动了?
我马上拨招行人的手机
“程工,是不是机房有人进去了?”
“是不是核心路由器或者交换机断电了”
“你们的服务器是不是有人碰过?”
“你确定机房有没有人进去过?”
“你看看机柜,你确定核心路由器,核心交换机,打标签的设备的灯是亮的?”
“你确定能听到风扇声音,看到灯饰闪烁的吗?”
 一顿骚操作,之后,程工拿着手机进到了机房中,给我的反馈是机房确实是没有人进来过,也没有人动过什么设备,也没有断电,一切都ok啊。
“我CA”
“我崩溃啦,因为我不想安排人去客户现场了,但是现在的情况,想想不对,这情况怎么可能会发生,网关的出口我在手机上都ping不通,web页面也连接不上”
“断电?”
“有人配置了shutdown?”
还是有人拔了网线?
 。。。。。。。。。。。。。。。
我马上给赵打电话
“你离招商客户的某个服务点有多远?”
赵回:“我不知道”
“你在哪里”
“我就在小寨”
“O了,把位置发我微信,我叫滴滴接你到现场,出事了,客户的网络全断了,你到现场看看”。。。 
赵是西安工业大学大四没有毕业,7月份马上毕业,学的专业通信工程,也算计算机相关专业,工作已经签了,某数字厂商,在学校期间学过好像也用过GNS之类的项目,也跟着老徐去咸阳搞了几回项目,才从项目上下来。想着他应该可以搞定的。 不过我对于他现场处理问题的能力还不知道,微信上专门给他叮嘱道,“有什么问题随时给王SIR或者赵老师电话,他们给你做远程技术支持”。这个事情算告一段落。
过了半个多小时左右,银行那边打了两三个电话,问还没有到现场,说这问题比较着急,客户现场200多人上网都出问题,不着急才怪!
我看了一下表,9:40左右了
我给老赵打电话,“到了没有”
“到了,刚到”
我说“那你就看看现场有什么问题,网络是怎么回事,有问题电话我或者王sir”
但是还是不放心,微信上给赵发几句语音,抓紧解决,看看什么问题。
 
银行的网络拓扑我完整的还原在了实验室,就一个生产VLAN还有一个客户VLAN,一个出口锐捷交换机,几个核心交换机,40几个无线AP,4个Poe交换机,还有十几个华为的接入层交换机就完事。 
所以招行的这个问题,我估计电信是不是出了问题,只要赵到了现场电脑上敲上几条命令不就解决了
。。。。。。。。。。。。。。
半个小时又过去了,赵那边还是没有反馈,我估计挂在客户现场了,我实在坐不住了,赶紧打电话过去:“现在什么情况”
“他们这里有一个接口是down的”
“哪个接口?” 我心想,难道网关被入侵了?
“好像是g0/2 ”
“你确定是g0/2” ,我正在吃饭,手里没有拓扑,g0/2是怎么来头,想了想,我在问他 “现在你看网关的出口和内网接口是多少,这两个接口有没有好着”
“。。。。。” 他有很长时间没有回答我
“你看路由器上的外网口是多少,这个几口有没有shutdown掉”
“没有,这个几口是up的,正常”
“好的,那你现在ping一下外网,通不通”
“不通”
“恩,你ping的什么地址?”
“我ping百度ping不通”
我心想,如果在路由器上,没有配置dns解析,ping百度域名不通也正常,我接着问“你ping 百度的网址,还是IP”
“我ping的ip”
“你怎么知道百度的IP地址的?”
“就是咱们平时用的8.8.8.8啊”
“。。。。 。。。。” 完蛋了,这家伙和我不在一个频率上,我给他说“你ping 一下路由器的网关,看通不通”
15s之后他给我说“是xxx.xxx.xxx.42吗”
“不是,是路由器的网关,路由器有一个默认网关到电信局,电信局的网关,不是客户内部的网关,用show ip route 看有一个0.0.0.0 0.0.0.0 指到电信的网关的地址,你ping一下”
“是不是这个xxx.xxx.xx.141””
“对,就是这个地址,ping一下通不通”
“还是不通”
“OK,有没有arp地址”
“有”
“你确定?你确定你看到了?你确定你看到了对方的arp地址,但是你还是ping不通,怎么可能?!”
赵几句话,我决定了,立马和伙计结束吃饭,立即打车到客户现场,根据赵给我的反馈,我100%确定不是客户网络的问题,一定是电信局的问题,上车的时候10000号我进行了保修,大客户专线,10000号承诺马上检查给我回复。赵的问题是,总让我有一些担心,我给赵发信息,怕他在客户面前放出消息,所以专门打字说“你确定网关的g0/0接口的灯是亮的,是网口还是光口?你确定链接的沿路的线缆都是亮灯的,你确定吗?”
突然电话来了
招行客户的经理来电了
“我们的网络出什么问题了?”
“正在排查,我们的人员已经到现场了,现在基本上确定是电信出了问题,咱们现场的设备都没有任何问题”
“不对,我们的行政说电脑都可以上网,全部的无线不行啊”
“不可能的,现在咱们的环境是总出口的问题,所有的人都不能上网,网络到电信局的线路出了问题”
“线路怎么会出问题,我们的行政明明还在上网,你现在打电话问我们的人”
对方的口气却来却不好听了
算了,我都习惯了
我也不说什么了,你说什么就什么,先解决问题,争吵没用
现场技术问题,如果你没有铁证是哪里出了问题,客户自然认为是你的问题
所以我刚给赵反复了4,5次重复让他把现场的照相,还有重要的那几条排错命令照相,这都是现场的证据,也是解决网络故障的重要信息,排错的时候非常关键。
当我到楼下的时候,赵给我电话,带来了喜报---------电信局承认是光纤出了问题,马上派人解决,到底什么时候搞定,那我就建议客户直接去和电信写上了
同时赵说,在机柜的背面,光纤的盒子有一个灯是红颜色的。我马上给赵说:你现在立即把所有的现场设备,检查的命令,还有出故障的地方,拍照!拍照!拍照!一定要拍照!
这不就是现场的情况,哪里出问题了,给客户还有电信直接一看,还有什么好争论的!
反复给赵微信说了不下5次,到了客户现场,检查客户的总出口一直到甩进来的线缆有没有问题,你确定到底有没有问题,问了几次,知道电信承认有问题才知道,其实到客户现场,5秒钟线路排查一下,告警等有问题,直接就知道故障在哪里了
工作中,你的技术为你的岗位表现非常重要,但是在客户现场你的处理事情的流程,现场处理压力,还有你对技术的排错方法,客户的沟通,所有的综合在一起决定你的工资高低!!! 
客户说什么情况,从来不核实,不知道真实情况,客户说wifi通着,就认为wifi通着,你记住,你是技术工程师,你的责任是解决客户的技术问题,一定要动手确定看到技术问题是发生在什么情况下,自己肉眼看到为准!
平时在办公室天天学习的命令不超过10行,但是到了现场不知道怎么应用,也就是还没有融会贯通
实验室我连巡检表都准备好了,也安排过到客户现场做过巡检,但是竟然还没有巡检表,巡检表上用什么命令,怎么排错,怎么解决故障,一概没有用,一切提前准备好,千万不要到现场了说“我不知道,我没准备“,客户都会鄙视你的
当然,赵虽然还没有毕业刚刚入行,白纸一张,到了现场,两眼发黑,不知道要做什么,但是之前到过客户现场,应该还是没有好好在现场做巡检,不然也不会像今天这样的表现,要是这样的项目什么都没有学习到,我估计薪资想搞到哪去都难?