다시 뛰는 공정도시 서울!

문서번호 정보자원운영과-3692 결재일자 2021. 5. 7. 공개여부 부분공개(2) 방침번호 시 민 주무관 정보자원운영과장 데이터센터소장 송상봉 김천억 05/07 김완집 협 조 인터넷통신과장 박영재 종합관제시스템 이벤트 분석 및 조치 결과 보고 2021. 5. 데이터센터 (정보자원운영과) 종합관제시스템 이벤트 분석 및 조치 결과 보고 일정기간 지속적으로 발생하는 이벤트를 분석하여 불필요한 이벤트 발생을 줄임으로써 직원들의 관제 대응 집중도를 높이고자 함. ？？ 분석 개요 ？ 대상 : 서버, 스토리지, 백업장비, 통신장비, 기반시설 등 ？ 수집기간 - 1차(51일간 이벤트) : 3.1. ~ 4.20.(56,336건) - 2차( 7일간 이벤트) : 4.21. ~ 4.27.(1,711건) ？ 이벤트 발생 현황(일 평균 1,000건) 경보 등급 총 합계 정보 경고 위험 심각 매우심각 합 계 56,336 21,553 6,518 23,852 3,165 1,248 이벤트 수 1차 54,625 21,100 6,285 23,113 2,927 1,200 2차 1,711 453 233 739 238 48 ？？ 분석 및 조치 결과 ？ 분석 대상 이벤트 : 4,413건(심각 3,165건, 매우심각 1,248건) ？ 분석 내용 - 이벤트 발생 높은 서버의 메시지 추출 분석(14대 서버, 1,389건) 구분 Host Name 업무명 감시명 발생건수 1차 분석 insapaydb 인사급여 DB Session 값이(496) 임계치(400) 이상입니다.(외) 388 sntrdb1 세외수입 DB #1 Oracle Tablespace 사용률.(외) 187 sltdb1 세무종합 DB #1 Tablespace(TS012D) 사용율이(93%) 임계치(93%) 이상입니다.(외) 116 sltdb2 세무종합 DB #2 Tablespace(TS002D) 사용율이(95%) 임계치(95%) 이상입니다.(외) 115 sntrdb2 세외수입 DB #2 Tablespace(SNTR_BU_IDX_TS) 사용율이(94%) 임계치(93%) 이상입니다.(외) 70 spdnb6 공통행정 개발서버 MEMORY 사용율이(97%) 임계치(97%) 이상입니다.(외) 113 m_was2 지도정보 플랫폼 CPU 사용율이(98%) 임계치(97%) 이상입니다.(외) 102 spdna3 행정웹2-1 MEMORY 사용율이(99%) 임계치(97%) 이상입니다.(외) 97 animalwas 동물복지WAS [/] 디스크 사용율이(86%) 임계치(85%) 이상입니다. 76 2차 분석 insapayap 인사급여AP [sh /app3/insa/entera/cronjob/insajob_30m.sh] process is restarted 41 kiosk-linkn 단순무임 중계 [/home/mogaha/scs/bin/RTconnServerD] process is restarted 33 dos_mining1 문서공개 텍스트 마이닝 [java)] process is restarted (PID:7358 -> 919) 25 epress 보도지원관리 [jsvc.exec -user press_aid ？java-home /home/press_aid/jdk1.8 ~ 14 car_mileage 자동차 마일리지 [/usr/bin/jdk1.7.0_79/bin/java ？server ？DPIAUTOSCANA ~ 12 합계 1,389 ？ 관제 항목 재설정 - 관제 항목 조정 후 이벤트 발생 대폭 감소 예상(1,389건 ⇒ 376건) 구분 Host Name 업무명 수정 감시 항목 수정 내용 예상 감소량 1차 조치 insapaydb 인사급여 DB Oracle Session 자동 해소 (해당 기간 일시적 발생) 388 ⇒ 0건 sntrdb1 세외수입 DB #1 Oracle Tablespace 사용률 이벤트 발생 주기 재설정 (3분 ⇒ 6분) 488건 ⇒ 244건 sltdb1 세무종합 DB #1 Oracle Tablespace 사용률 sltdb2 세무종합 DB #2 Oracle Tablespace 사용률 sntrdb2 세외수입 DB #2 Oracle Tablespace 사용률 spdnb6 공통행정 개발서버 OS Memory 사용률 이벤트 발생 주기 재설정 (10분 ⇒ 15분) 312건 ⇒ 94건 m_was2 지도정보 플랫폼 OS CPU 사용률 이벤트 발생 주기 재설정 (10분 ⇒ 15분) spdna3 행정웹2-1 OS Memory 사용률 이벤트 발생 주기 재설정 (10분 ⇒ 15분) animalwas 동물복지WAS OS 파일시스템 사용률 이벤트 발생 주기 재설정 (3분 ⇒ 6분) 76건 ⇒ 38건 2차 조치 insapayap 인사급여AP 프로세스 자동 재기동 프로세스 자동 재기동 탐지 - 예외처리 125건 ⇒ 0건 kiosk-linkn 단순무임 중계 프로세스 자동 재기동 dos_mining1 문서공개 텍스트 마이닝 프로세스 자동 재기동 epress 보도지원관리 프로세스 자동 재기동 car_mileage 자동차 마일리지 프로세스 자동 재기동 ？？ 기대 효과 ？ 관제 항목 재설정으로 종합관제실 관제 효율성 향상 - 58일간의 14대 서버 이벤트 조정으로 약 1,013건 이벤트 감소 예상 ？ 이벤트 발생 감소로 시스템 담당자의 이벤트 집중도 향상 ？ 이벤트 SMS 감소로 문자발송 예산절감(1건당 약 26원) ？？ 향후 계획 ？ 3차 이벤트 발생 추이 분석(한달 후 5월 28일) ？ 이벤트 발생건수 확인 및 항목 재설정(3차 이벤트 분석 결과 반영) ？ 정기적인 이벤트 분석 및 보완 실시

22863599

20210927134534

본청

정보자원운영과-3692

D0000042512154