문서번호	교통운영과-14583
결재일자	2016.8.2.
공개여부	부분공개(2)
방침번호

			시 민
주무관		신호운영팀장	교통운영과장
최성욱		고광섭	08/02 강진동
협조	실무사무관		정판식
	주무관		이용현

교통신호제어용 중앙컴퓨터 장애대책 보고

추진근거	대내(외) 협력 현황			사 업 비
	부서(단체)명	협의내용	협의결과

교통운영과

교통신호제어용 중앙컴퓨터 장애대책 보고

`16. 07. 13(수) 및 `16. 07. 29(금) 발생한 중앙컴퓨터 장애 처리 사항 및 향후 재발 방지를 위한 대책을 보고드림

Ⅰ. 장애 발생 개요

1차 장애

장애발생 일시 : `16. 07. 13(수) 22:10

장애 현상

UTMS 운영중 “Generic IO error” 메시지와 함께 시스템 로그아웃

Urban Traffic Management System(교통신호제어시스템)

로그아웃 후 재접속 시도에도 접속 불가 상황 발생

장애 원인 : 데이터 저장 스토리지 접속 에러

장애 처리 경과

22:10 교통신호제어기 유지보수팀 UTMS 운용 중 Generic IO error 메시지 확인 후 기술지원업체(동인)에 지원요청

23:00 중앙컴퓨터 유지보수 진재경대리 센터 도착 및 현황 파악

(주서버, DB서버 및 보조서버 정상 작동 확인하였으나 UTMS 기동불가)

23:10 DB서버 프로세스 확인 중 이상 발견 및 DB서버 엔지니어 지원 요청

23:55 DB서버 엔지니어 신호운영실 도착 후 장애상황 점검

00:15 중앙컴퓨터 등에 대한 Solaris 기술지원 요청

00:50 Solaris 엔지니어 신호운영실 도착

01:05 기술지원 엔지니어 스토리지 에러로 인한 장애로 추정

01:20 ~ 02:30 스토리지 문제 최종 확인 및 조치

02:45 UTMS 서비스 및 신호운영데이터 정상상태 확인

장애처리 후 대책 추진

장애 발생 원인 조사를 추진하였으나,

스토리지(Dothill3733)가 일반적으로 보급되는 사양이 아니어서 국내 판매처 확인 및 기술 엔지니어 확보 불가

2차 장애

장애발생 일시 : `16. 07. 29(금) 13:30

장애 현상

UTMS 운영중 “Generic SQL error” 메시지와 함께 시스템 로그아웃

로그아웃 후 재접속 시도에도 접속 불가 상황 발생

장애 원인 : 데이터 저장 스토리지 에러(경고등 ON)

장애 처리 경과

13:30 업무중 UTMS “Generic SQL error” 메시지 확인

13:50 중앙컴퓨터 현황 파악

(주서버, DB서버 및 보조서버 정상 작동 확인하였으나 UTMS 기동불가)

14:00 DB서버, Solaris 엔지니어 기술지원 요청

15:15 Solaris 엔지니어 신호운영실 도착

16:30 DB 서버 엔지니어 신호운영실 도착

16:40 UTMS 엔지니어 신호운영실 도착

17:00 스토리지 재가동 실시

17:50 DB서버 재가동 및 DB 서버 정상 작동 확인

18:00 주서버 파일시스템 검사 시작(3~5시간 소요)

23:00 UTMS 기동을 위한 / tcs 마운트 실패 및 주서버 파일시스템 검사 재시작(3~5시간 소요)

04:00 /tcs 마운트 후 UTMS 정상작동 확인

UTMS 서비스 및 신호운영데이터 정상상태 확인

Ⅱ. 장애 예방 대책 추진

장애원인 조사

조사일정 : 장비에 대한 사양 등 조사 후 별도 일정 잡아 수행

조사내용

스토리지 로그 등 장애 원인 조사

포트 등 물리적 장치 접촉 불량 여부 조사 등

장애원인 조사 후 별도 보고 및 장애 원인 조치.

장애복구(스토리지 교체) 시나리오 작성

운영시점 : 향후 스토리지 운영불가(장애복구 불가)로 판단될 경우

작성내용

신규 스토리지 교체 (장비납품, 운영환경 설정 등)

데이터 복원 (백업데이터로 데이터 복구작업 실시 등)

신호운영시스템 운영 데스트 및 총 복구 예상시간 시물레이션 등

기술자별(스토리지, 중앙컴퓨터, 데이터베이스, UTMS) 역할과 책임 기술

스토리지 교체 시나리오 작성후 별도 보고

붙임 : 과업내용서(제4장 장애복구) 1부.  끝.