문서번호	통계데이터담당관-9129
결재일자	2016.8.25.
공개여부	대시민공개
방침번호

			시 민
주무관	데이터서비스팀장	빅데이터기획팀장	정보기획관
한용희	백영희	이상이	08/25 최영훈

열린데이터광장 데이터 품질관리 개선 계획

2016. 8.

정보기획관

(통계데이터담당관)

☞ 해당사항이 있는 부분에 ‘ ■ ’ 표시하시기 바랍니다. (※ 비고 : 필요시 검토내용 기재)
구 분	사전 검토항목 점검 사항	검토완료	해당없음	비 고
시민 참여	● 시민 의견 반영 및 사업 참여 방안을 검토하였습니까? 예) 청책토론회, 설문조사, 시민공모 등	□	■
전문가 자문	● 관련 전문가 의견을 반영하였습니까? 예) 자문위원회 개최, 타당성 검토, T/F 운영 등	□	■
갈 등	● 이해 당사자 간 갈등발생 가능성을 검토하였습니까? 예) 주택가 공공주차장 조성, 택시 불법영업 단속 등	□	■
사회적 약자 배려	● 사회적 약자에 대한 배려를 검토하였습니까? 예) 여성, 아동, 장애인, 한부모 가정 등	□	■
일자리	● 일자리 창출 효과 및 일자리 수를 검토하였습니까? 예) 직·간접 채용, 취업알선, 전문인력양성, 창업지원 등	□	■
선거법	● 공직선거법에 저촉 여부를 검토하였습니까? 예) 홍보물 배포, 표창수여, 경품지급, 기부행위 등	□	■
안전	● 시민 안전 위험요인과 안전대책을 검토하였습니까? 예) 장소·시설물 점검, 안전관리 인력확보 등	□	■
타 기관	● 타 기관 협의·협력(타 자원 활용 등)을 하였습니까? 예) 중앙부처, 타 지자체, 투자·출연기관, 민간단체 등	□	■
홍 보	● 사업 홍보 방안을 검토하였습니까? 예) 보도자료, 기자 설명회, 현장 설명회 등	□	■
정 책 영문화	● 정책 영문화 및 해외홍보 방안을 검토하였습니까? 예) 영문 제목‧요약, 해외 언론 보도, 외국어 홈페이지 등	□	■
바른 우리말	● 서울시 행정 순화어 목록을 확인하였습니까? 예) 별첨, 첨부 ⇒ 붙임, 가이드라인 ⇒ 지침 등	■	□
결재문서공개	● 공개 여부를 “비공개”로 설정했다면 법적근거를 명확히 검토하였습니까? 예) 정보공개법 제9조 제1항 제1호~제8호	□	■

열린데이터광장 데이터 품질관리 개선 계획

서울 열린데이터광장 공공데이터의 품질을 체계적으로 관리하여

수요자에게 활용성 높은 데이터 제공을 통해 만족도 향상도모

□ 추진근거

(법. 제도) ‘공공데이터 제공법’에 근거하여 공공데이터의 품질관리를 수행하도록 규정하고 있으며, ‘국가정보화기본법’, ‘전자정부법’ 등에서도 국가 지식정보자원의 효율적 관리를 위해 필요한 조치를 하도록 규정하고 있음.

※ 공공데이터제공법 제22조(공공데이터의 품질관리)

※ 서울특별시 데이터제공 및 이용활성화에 관한조례 제16조(품질관리)

(관련지침) 공공데이터 관리지침, 행정정보 데이터베이스 표준화지침, 행정기관의 코드 표준화 추진 지침

(지원인프라) 공공데이터 활용지원센터(품질관리지원포털), 행정표준 코드관리시스템 등

□ 공공데이터의 품질관리사항

※ 공공데이터 제공 및 이용활성화에 관한 법률 제12조제2항제4호 근거

기관 전체의 데이터 품질관리 정책 및 계획 수립에 관한 사항

기관 전체의 연계 데이터 품질관리에 관한 사항

기관 전체의 데이터 품질진단 및 개선에 관한 사항

기관 전체의 데이터 품질 오류신고·접수·처리에 관한 사항

기관전체의 데이터 표준관리 및 구조관리에 관한 사항

기관 전체의 데이터 품질관련 문서의 최신성 유지 및 이해관계자    통지에 관한 사항

그 밖의 기관의 데이터 품질관리에 영향을 미치는 사항

□ 현황 및 문제점

데이터 보유현황(2016.7.31. 기준)

데이터셋 개방 실적(누계)				Open API
총계	서울시		자치구
	본청/사업소	투자출연기관
4,505개	2,045개	132개	2,328개	3,230개

데이터 현행화 절차
- 데이터 생산주기별로 업무담당자에게 자동 현행화 요청 이메일 발송

※ 이메일 발송대상 : 268개 부서 291명

< 문제점① >

- 조직개편 및 인사발령 등으로 인해 업무담당자가 변경되는 경우, 자동발신메일이 새로운 업무담당자에게 전달이 되지 않아 현행화 지연요인이 되고 있음.

데이터 현행화 연동방식별 관리현황 (2016.7.31.기준)

연동방식	유형/방식	개수	비율	내용	현행화대상여부 (추진시기)
합계		4,497
CDC	실시간/자동	2,165	48%	로그 기반으로 변경 데이터에 대하여 실시간으로 업데이트	현행화대상(48%) (2017년도 DB 교체시 변환예정)
UrlLink	자동	1,097	24%	HyperLink 정보	Ⅹ
DBLINK	배치/자동	504	11%	Oracle DB를 직접 연결하여 배치 작업으로 데이터 동기화	현행화대상(28%) (2016.8~ 2017.3)
FILE	수동	474	11%	파일로 수기로 현행화
XML(API)	배치/자동	206	5%	API를 이용하여 배치 작업으로 데이터 동기화
ETL	배치/자동	50	1%	이기종 DB를 연결하여 배치 작업으로 데이터 동기화
CRAWLER	배치/자동	1	0%	웹크롤러를 이용하여 데이터 추출	Ⅹ

※ CDC (Change Data Capture) : 변경데이터추출

< 문제점② >

- 자동 현행화 방식(실시간 48% 2,165개, 배치 17% 760개)에서 원천 DB에서 기준일을 적용하지 않아, 데이터 현행화 여부 판단을 위한 최근 갱신일 정보가 부정확함

※ 현재는 대안으로 테이블의 쿼리 최적화 통계정보를 기반으로 데이터의   최근 갱신일을 추출하고 있음

데이터 품질관리를 위한 정책수립, 품질진단 및 개선활동 현황

- 주소데이터 품질 진단 및 정제(2013) : 15종 대상, 도로명/지번 정비, 좌표 추출

- 데이터의 컬럼, 날짜, 패턴, 관계, 코드 등 프로파일링, 업무규칙 도출하여 품질 진단 수행(2013) : 81종 대상 -> 87 진단

- 데이터의 컬럼, 날짜, 패턴, 관계, 코드 등 프로파일링, 업무규칙 도출하여 품질 진단 수행(2014) : 190개 대상 -> 350 진단

- 공공데이터명에 대한 서비스 명명 규칙 제정 (2015) : 4,145건

- 데이터 품질/메타데이터 관리시스템 도입·운영

‣도입년도 : 메타데이터관리(2008년), 품질관리(2010년)

‣도입가격 : 메타데이터관리(3억), 품질관리(4억)

‣도입용도 : 기관 전체 메타데이터관리 및 데이터 품질관리

‣공공데이터 개방용으로 활용여부 : 사용하지 못하고 있음

· 시스템 노후화로 인하여 최신 브라우저에서 동작 안함

· 원천DB를 ETL → 적재DB로 적재하여 품질진단을 수행함에 따라, 진단을 위한 별도의 적재 공간 필요하고, 품질진단을 위한 별도의 데이터 연계작업과 품질관리를 위한 일련의 프로세스(추출→적재→진단→관리) 처리를 위해 상당한 시간이 소요됨.(전담인력 필요)

< 문제점③ >

- 데이터 품질관리를 위한 체계적인 체계, 규정, 절차 및 수행조직 미비

- 부분적, 단편적 작업은 수행하였으나, 지속적이고 체계적인 데이터 품질

진단 및 개선활동 미흡

□ 추진계획

< 개선① > 데이터 현행화 담당자 변경관리 철저

추진시기

- 정기 : 상‧하반기 정기 인사발령시 → 공문시행 후 관리

- 수시 : 조직개편 및 부서별 담당자 변경시 → 수시 모니터링 후 관리 철저

추진절차(내용)

①	업무담당자 현행화 (268개 부서, 291명)	□	②	데이터 현행화

< 개선② >데이터 현행화 여부 정확성 향상작업 추진

추진기간 : 2016. 8. ~ 2017. 3.(8개월)

작업대상 : 배치작업 (ETL, DBLINK, API),   760개 데이터셋

작업방법 : 유지보수내용에 반영 자체추진

작업내용 : 최종갱신일 수정, 데이터 생산주기 및 갱신주기 수정

구 분	작 업 내 용
원천 DB에 기준일이 있는 경우	기준일을 추출하여 최근갱신일 수정
원천 DB에 기준일이 없는 경우	현행화 전후 테이블의 행 개수를 비교하여 다르면 최근 갱신일 수정

< 개선③ > 데이터 품질관리 제도 및 상시관리 체계 마련

서울시 품질관리 절차 및 규정 수립(~2016.12.)

- 타 기관 벤치마킹(9~12월) 및 우리시에 맞는 품질관리 절차와 규정 수립

체계적이고 지속적인 데이터 품질진단 및 개선활동 (2017년 ~)

- 품질진단 컨설팅 추진(2017년 상반기) : 비예산

※ 한국정보화진흥원의 공공데이터활용지원센터에 의뢰 추진하고, 결과분석 후

품질진단 정례화 체계 마련

- 데이터 품질 및 메타데이터 관리를 위한 시스템 구축·운영

· 필요기능

‣별도의 적재 공간 없이 직접 수행

‣데이터 변환 도구 없이 다양한 DB 진단

‣사업 수행 조직에서 자가 진단 수행 기능 가능

‣진단 결과 관리 및 보고서 생성(피드백 기능포함)

※ 전용 솔루션 도입 또는 ’17년 열린데이터광장 확장사업에 포함 구축 검토

□ 기대효과

공공데이터 개방 관련 데이터 품질 향상을 통한 대시민 만족도 향상

수요자가 실질적으로 활용할 수 있는 고품질 공공데이터 제공

□ 향후일정

구분	추진 일정	2016					2017
		8	9	10	11	12	1	2	3	4	5	6	7
데이타현행화	업무 담당자 현행화	<정기>					<정기>
		<수시>
	데이터 현행화			<정기>					<정기>
		<수시>
	데이터 현행화 여부 정확성 향상작업 추진
품질 관리 체계 구축	타기관 벤치마킹
	품질관리 절차 및 규정 수립
	품질진단 컨설팅 추진
	품질관리 및 메타시스템 도입(구축)