문서번호	빅데이터담당관-3872
결재일자	2019.4.9.
공개여부	부분공개(5)
방침번호

			시 민
주무관		빅데이터분석팀장	빅데이터담당관
최승아		마경근	04/09 안정준
협조

빅데이터 활용시스템 보유데이터 신뢰도 향상을 위한

데이터 품질점검 및 정비계획

추진근거	대내(외) 협력 현황			사 업 비
	부서(단체)명	협의내용	협의결과

2019.4

스마트도시정책관

(빅데이터담당관)

빅데이터 활용시스템 보유데이터 신뢰도 향상을 위한

데이터 품질점검 및 정비계획

빅데이터 활용시스템에서 제공중인 데이터의 품질점검 및 정비를 통해 신뢰성 있는 분석용 데이터를 제공하고자 함

□ 근거 : 빅데이터활용시스템 고도화 및 유지관리 계획

(빅데이터담당관-201, 2019.1.7.)

□ 대상 : ********************

□ 목적 : 데이터 분석 및 활용을 위한 고품질 분석용 데이터 제공

□ 기간 : ************

□ 내용 : 데이터 값 점검 후 결과에 따른 데이터 정비 등 조치

□ 추진방향 : 정비, 현행화가 어려운 데이터는 단계적으로 폐기하고 신규데이터 탐색하여 추가 수집․적재

□ 점검기준 및 내용

○ 정확성 : 원천데이터 건수, 합계와 분석용 데이터 가공결과 비교검증, 유효범위(날짜, 수량, 금액, 비율 등) 점검

○ 최신성 : 데이터, 메타정보 현행화 점검

○ 완전성 : 필수 데이터 Null 비율 점검, 코드내역 누락여부 점검

○ 일관성 : 표준 코드 사용여부, 코드 칼럼 데이터 정합성

○ 유용성 : 데이터 값 패턴 점검(최대, 최소, 평균 등), GeoCoding 전환율

○ 보안성 : 개인정보 포함여부 점검

□ 작업자 : 빅데이터분석팀, 용역업체

□ 점검방법 및 조치방안

○ 점검도구 : SQL Script, Qgis, BI 툴 등 이용 수작업

○ 지속적인 점검을 위한 적재결과 점검용 대시보드 제작예정

점검

기준

정검내용

점검방법 및 조치방안

정확성

원천데이터 건수, 합계와 분석용 데이터 가공결과 비교검증

- 적재흐름에 따른 건수 및 합계검증으로 원천/ODS/DW 간 수치 데이터에 대한 정합성 검증하여 오류조치

가공데이터(집계) 계산식 점검

유효범위(날짜, 수량, 금액, 비율 등) 점검

- 날짜, 시간, 수량, 금액, 비율 등 유효범위 확인 후

(예:25시, 2019.2.29 등) 삭제조치

최신성

데이터, 메타정보 현행화 점검

- 갱신주기별 데이터 현행화 여부점검 후 재적재 조치

(*********************************)

일	주	월	반기	년	기타
**	*	**	**	**	**

메타데이터의 부서, 연락처, 담당자 등 현행화 및 속성 한글명 누락부분 추가

완전성

필수 데이터 Null 비율 점검

- 분석 필요항목의 Null 비율을 점검하여 적정비율(********)의 항목 제거, 분석에 유용하지 않은 항목 제거 혹은 폐기

일관성

표준 코드 사용여부

- 표준코드 미사용 데이터에 대한 표준 매핑하여 재적재

코드 칼럼 데이터 정합성

- 코드 변경, 삭제, 추가에 따른 데이터 표출항목 점검

- 코드 목록에 없는 값 보유여부 확인 후 조치

유용성

데이터 값 패턴 점검(최대, 최소, 평균, 분포 등)

데이터 시각화 작업을 통한 데이터 패턴 분석 및 특이사항 확인 후 조치

대용량 데이터의 경우 탐색적 분석작업을 통해 도출된 오류점검 후 조치******************

GeoCoding 전환율

- 주소를 좌표로 전환비율 점검 후 활용성 높은 지역단위로 데이터 집계하여 제공

보안성

개인정보 포함여부 점검

- ************타정보와 결합하여 개인식별 가능정보의 비식별조치

□ 추진일정

○ 데이터별 점검항목, 기준 정의 : 2019.4

○ 데이터 품질점검(20종/매월)  : 2019.4~11

○ 데이터 오류원인 분석         : 2019.4~11

○ 데이터 점검결과 조치         : 2019.4~11

- ****************************************************

○ 지속적 관리용 대시보드 작성 : 2019.6~11

- ***********************************

붙임 1.  보유데이터 목록   1부.    끝.