국소회귀모형을 이용한 수질자동측정망 자료 이상치 선별에 관한 연구

이진효 · 문병진 · 윤호균 · 하현주 · 김진아 · 윤중섭 · 길혜경 · 이목영 · 정권

서울특별시보건환경연구원

1. 서론

수질자동측정망(Automatic Water Quality Monitoring Networks)은 자동화된 시스템을 통하여 연속적이고, 실시간으로 수질측정이 가능하며, 막대한 현장 자료를 축적함으로써, 하천이나 상수원의 수질경향을 정확하게 파악하고, 수질오염사고 예방 및 상수원 관리에 중요한 역할을 한다. 하지만 수질자동측정망은 측정 가능 항목이 제한적이고, 또한 기계적 결함으로 인한 데이터 불량 등 신뢰도가 떨어지는 문제점도 갖고 있기 때문에 이러한 원 자료를 그대로 사용할 경우 많은 오류가 내포되어 실제값과 편차가 큰 통계량이 발생할 수 있다. 따라서 자동측정 자료의 품질향상을 위하여 통계적으로 이상치를 선별하는 작업, 유효성을 판단하는 작업이 선행되어야 한다.

따라서 본 연구에서는 서울시에서 운영되고 있는 S수질자동측정망을 대상으로 수질자동측정망 자료의 이상치 선별을 위해 환경자료 분석에 많이 소개되고 있는 국소회귀모형(local regression, LOESS)을 이용하여 이상치를 선별하고, 이상치 제거 전·후 자료의 통계량을 비교하고자 한다.

2. 연구방법

본 연구는 한강수계 S수질자동측정망으로부터 2016년 1년 동안 시간단위로 측정된 자료를 사용하였으며, 수질항목은 17개 항목 중 조류발생과 밀접한 관련이 있는 TN(총질소), TP(총인)를 선정하였다. 또한 오픈소스 언어인 R 3.3.2 통계프로그램을 사용하여 비모수적 평활(smoothing)방법인 국소회귀분석(local regression, LEOSS)을 실시하였고, 국소회귀선 예측값과 원 자료의 차이인 잔차의 분포로부터 중위수(median), IQR(사분위범위)을 구하여, 잔차가 중위수로부터 3×IQR 이상으로 벗어난 경우를 이상치(outlier)로 결정하였다.

Fig. 1. The screen of RStudio.

3. 결과 및 고찰

연구결과, TN 8,434개 중 485개(5.8%), TP 8,390개 중 246개(2.9%) 이상치로 나타났으며, 이상치 제거 시, TN 2~6 mg/L 사이에, TP 0.05~0.15 mg/L 사이에서 일정 추세를 가지고 변하였다. 전반적으로 이상치 제거 전·후 기술통계량 비교결과, 뚜렷한 차이를 볼 수 없었으며, Table 1에 이상치 제거 전·후 자료의 통계량 결과를 나타내었다.

Table 1. Comparison with statistics about outlier removal (TN, TP)

	TN(mg/L)		TP(mg/L)
	Before outlier removal	After outlier removal	Before outlier removal	After outlier removal
Min	1.000	1.000	0.030	0.030
1st Qu.	2.400	2.380	0.069	0.069
Median	3.290	3.120	0.089	0.088
3rd Qu.	5.300	4.920	0.112	0.109
Max	15.840	13.720	0.500	0.241
Mean	4.528	4.110	0.101	0.096
SD	3.103	2.623	0.048	0.039
IQR	2.900	2.540	0.043	0.040

4. 결론

1) 이상치 선별결과, TN 8,434개 중 485개(5.8%), TP 8,390개 중 246개(2.9%)로 나타났으며, 이상치를 제거하였을 때 TN은 2~6 mg/L, TP는 0.05~0.15 mg/L 사이에서 일정 추세를 가지고 변하는 것을 볼 수 있는 등 좀 더 정규분포에 가까운 모습을 볼 수 있었다.

2) 이상치 제거 전·후의 기술통계량을 비교한 결과, TN, TP 모두 뚜렷한 차이를 볼 수 없었는데, 이는 이상치가 평균치의 위아래에서 고르게 분포되어 있고, 자료수가 8,000개 이상으로 많아서 이상치 제거에 대한 영향은 적었을 것으로 판단된다. 반면에 월단위 등 상대적으로 단기간 생성되는 자료의 경우, 이상치 제거의 영향이 있으므로 향후 추가적인 연구가 필요할 것으로 사료된다.

본 연구와 같이 계절 및 월별 주기 등 시간적 패턴을 가지고 변하는 수질자동측정망 자료, 환경자료의 경우 국소회귀분석을 적용함으로써 적절한 이상치를 선별할 수 있을 것으로 기대된다.

참고 문헌

1. 김호, 김옥진, 백도현, “수질자동측정자료의 이상치 선별 기법에 관한 연구”, 한국도시환경학회지, 12(3), 197-203(2012).

2. 임병진, 홍은영, 연인성, “수질자동망 자료의 항목별 이상치 비교 분석”, 한국물환경학회지, 26(4), 700-706(2010).