作為醫(yī)院信息中心的運維人員,做的最多的工作就是日常巡檢、故障恢復。只要辦公室的電話鈴一響,“戰(zhàn)斗”就打響了。
只是,這次響的不是電話鈴...
平地驚雷,機房傳來“爆炸聲”
8月20日8點50分,完成例行檢查的我正在辦公室里查看軟件的運行情況,突然被機房的兩聲巨響打斷了。開始還以為上面在搞裝修,但UPS發(fā)出的“滴滴”警報聲讓我感覺情況不妙,立馬跑到機房,剛打開門就聞到濃重的燒焦的味道。糟了,不知道哪個設(shè)備出問題了。
展開巡查,服務(wù)器、核心交換機等設(shè)備都在正常運行,一顆心終于放回了肚子里。查看UPS故障代碼002,估計是配電房的工作人員操作不當,導致2臺UPS保險絲同時燒壞了。
UPS顯示電池還可以繼續(xù)供電6小時,用萬用表測量了電源輸入輸出電壓,均正常。給UPS電源的經(jīng)銷商和廠家售后打電話,在廠家的遠程指導下查找故障,經(jīng)排查后,推斷UPS設(shè)備已經(jīng)損壞,需要工程師上門維修。廠家的工程師因路途遙遠不能在短時間內(nèi)到達現(xiàn)場,因此,需要將機房的電路在UPS電池耗盡前切換到市電供電。
切換用電,啟動應急預案
做我們這行的都知道,在醫(yī)院的機房,切換用電絕不是像在家里換個插座似的那么簡單。
首先,將機房UPS電源損壞情況上報醫(yī)院領(lǐng)導,并通知全院職工,因為切換用電可能需要2個小時,請大家在此期間,采用應急預案,做好手工開處方和收費的準備。
中午12點,關(guān)閉所有設(shè)備和插座開關(guān),切斷供電,將UPS輸出電源線從電源輸入配電柜轉(zhuǎn)接到輸出配電柜,切換到市電供電。
市電接通后,反復測量輸出電壓220V正常,逐步打開所有設(shè)備電源。
核心交換機OK;
備份服務(wù)器OK;
PACS服務(wù)器OK;
虛擬服務(wù)器OK;
......
HIS服務(wù)器開機啟動失?。。?!
禍不單行,服務(wù)器硬件故障
Loading Drivers Now
Scanning system, connecting boot device(s)
Select Boot Device
按F12,系統(tǒng)毫無反應,找不到啟動設(shè)備。
咨詢了服務(wù)器的售后工程師,又被雷劈了一下——“主板故障”!
禍不單行這個詞怎么就跑到我們醫(yī)院了呢。
此時已是下午2點,時間在分秒流逝,而我卻忙得“毫不知情”。
突然想起來我們的備份軟件(UPM的備特佳)是有業(yè)務(wù)接管功能模塊的,于是趕緊聯(lián)系了軟件廠商——和力記易的工程師。(備注:北京和力記易科技有限公司,簡稱UPM,國內(nèi)老牌的數(shù)據(jù)備份與恢復軟件廠商,醫(yī)療衛(wèi)生領(lǐng)域容災備份解決方案的專家型企業(yè))
在和力記易(UPM)工程師的遠程指導下,我在暫停了備特佳軟件的實時備份后,啟動了SQL Server服務(wù),將災備服務(wù)器的IP地址修改成了HIS生產(chǎn)服務(wù)器的IP地址。之后,附加銀醫(yī)通數(shù)據(jù)庫YxBankBCM、YxWePay,幾分鐘后,災備服務(wù)器成功接管了HIS服務(wù)。
走廊里遇到醫(yī)院門診的同事,他問我不是說要啟動應急預案嗎?我看現(xiàn)在業(yè)務(wù)挺正常的啊。我笑著說多虧找了個“好保鏢”。
雖然接下來還要維修UPS電源和服務(wù)器,但好在眼前的難關(guān)已經(jīng)過去了,我非常感謝備特佳容災備份軟件的保駕護航,在關(guān)鍵時刻“臨危受命”,不負重托,使得醫(yī)院的關(guān)鍵業(yè)務(wù)系統(tǒng)能夠保持連續(xù)運行。等硬件完成維修之后,我再聯(lián)系和力記易(UPM)的工程師,將備份機的數(shù)據(jù)恢復到生產(chǎn)服務(wù)器。
醫(yī)院信息化建設(shè)是一個系統(tǒng)的大工程,保障各個信息系統(tǒng)的正常運行是一項艱巨而又富有挑戰(zhàn)的工作。在經(jīng)歷了這次“驚心動魄”的實戰(zhàn)之后,我不由得感嘆,世事無常,有備無患方能“化險為夷”。
作者介紹
李任校 ,任職于湖南省懷化市會同縣人民醫(yī)院信息中心,具有多年醫(yī)院信息化平臺運維和管理經(jīng)驗。會同縣人民醫(yī)院始建于1950年,是一家集醫(yī)療、保健、科研、教學、康復為一體的二級甲等綜合醫(yī)院。
(感謝作者的精心整理和經(jīng)驗分享,希望我們UPM的產(chǎn)品與服務(wù)是客戶數(shù)據(jù)安全的有力保障,不負重托。)
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!