문서번호		공공협력본부-2466		★주임		단장
보존기간		년
						07/13
결재일자		2017.07.13.
				협조
공개여부		공개
방침번호
	2017 지역사회서비스 투자사업 성과 측정 관련 예비조사 결과 보고

2017 지역사회서비스 투자사업 성과 측정 관련 예비조사 결과 보고

지역사회서비스중 정신건강 토탈케어 서비스의 효과성 측정 실시 이전에 조사의 신뢰도 및 타당도를 확인하는 예비조사를 실시하고 이를 본 조사에 반영하고자 함.

※ 지역복지본부-742호(2017.03.07)와 관련임(지역복지본부장 방침)

Ⅰ				추 진 개 요

□ 조사기간 : 2017. 06. 01(목) ～ 6. 30(금)

□ 조사대상 : 정신건강토탈케어 서비스 제공기관 13개소

□ 조사내용 : 제공기관 설문, 이용자 검사결과지, 우수사례 등

□ 조사방법 : 이메일을 통한 설문 및 검사 결과지 회신

□ 통계방법 : SPSS를 이용한 대응표본 T검증, 신뢰도 분석 등

Ⅱ				조사 결과 요약

□ 측정 가능 성과 지표

- BPRS(Brief Psychiatric Rating Scale):간편정신상태 평정척도

※ 정신병리의 주요차원을 신속히 측정할 수 있도록 개발

- MCAS(Multnomah Community Ability Scale): 멀트노마 지역사회기능척도

□ 측정 가능 변수

- 일반적 특성(사례관리 유형)

□ 분석방법

- 기술통계 : 일반적 특성을 위한 평균, 표준편차, 빈도분석 등

- 대응표본 T-test : 사전 대비 사후 향상된 정도를 분석

Ⅲ				세부 내용

□ 예비조사 응답 ※ 13개 기관 중 5개소는 폐업 및 이용자 부족

사업명	응답 기관	응답자 (명)	사용 중인 성과지표	변수 항목	비고
정신 건강 토탈 케어	마음사랑 센터	5	BPRS(간편정신상태 평정척도)	사례관리 유형
	무지개마을	5	GAF(기능평가척도), BPRS(간편정신상태 평정척도), MCAS(지역사회적응척도)	사례관리 유형
	성심복지 센터	5	BPRS(간편정신상태 평정척도), MCAS(지역사회적응척도)	사례관리 유형
	영지원사회서비스센터	5	BPRS(간편정신상태 평정척도), MCAS(지역사회적응척도),	사례관리 유형
	토리사업단	5	BPRS(간편정신상태 평정척도), MCAS(지역사회적응척도), 사회관계망	사례관리 유형
	하이사회서비스사업단	5	BPRS(간편정신상태 평정척도), MCAS(지역사회적응척도),	사례관리 유형
	한울사회서비스사업단	5	GAF(기능평가척도), BPRS(간편정신상태 평정척도), MCAS(지역사회적응척도)	사례관리 유형
	행복서비스	5	GAF(기능평가척도), BPRS(간편정신상태 평정척도),	사례관리 유형

□ 신뢰도 분석

- GAF 사전, 사후 기능평가 척도 신뢰도

케이스처리요약
		N	%
케이스	유효	16	40.0
	제외됨a	24	60.0
	전체	40	100.0
a. 목록별삭제는프로시저의모든변수를기준으로합니다.

항목통계량
	평균	표준편차	N
GAF사전	41.06	5.733	16
GAF사후	53.00	4.367	16

신뢰도통계량
Cronbach의알파	항목수
.701	2

척도의 신뢰도는 .701로 신뢰성은 보장되나 제공기관의 응답률이 40%에 그쳐 측정에 대한 타당도가 떨어져 성과측정에 사용하기 어려움

케이스처리요약
		N	%
케이스	유효	40	100.0
	제외됨a	0	.0
	전체	40	100.0
a. 목록별삭제는프로시저의모든변수를기준으로합니다.

항목통계량
	평균	표준편차	N
BPRS사전	77.18	14.709	40
BPRS사후	65.33	11.625	40

신뢰도통계량
Cronbach의알파	항목수
.933	2

척도의 신뢰도가 가장 높은 수치로 나타났으며 제공기관의 응답률이 높아 성과측정의 지표로 사용하기 적정함

- BPRS 사전, 사후 간편 정신상태 평정 척도 신뢰도

항목통계량
	평균	표준편차	N
MCAS사전	45.58	13.603	26
MCAS사후	59.12	9.572	26

케이스처리요약
		N	%
케이스	유효	26	65.0
	제외됨a	14	35.0
	전체	40	100.0
a. 목록별삭제는프로시저의모든변수를기준으로합니다.

신뢰도통계량
Cronbach의알파	항목수
.856	2

척도의 신뢰도가 높으며 제공기관중 사용하고 있는 기관이 65%정도의 비율을 유지하고 있어 위의 BPRS에 비해선 대표성이 떨어지지만 평균이상의 기관이 사용하고 있어 성과측정에 사용은 가능한 것으로 보임

- MCAS 사전,사후 지역사회적응 척도 신뢰도

- 기타 척도(관계망, 입원일)의 경우 사용기관이 적음

□ 예비조사 통계 값

대응표본통계량
		평균	N	표준편차	평균의표준오차
대응1	GAF사전	41.06	16	5.733	1.433
	GAF사후	53.00	16	4.367	1.092
대응2	BPRS사전	77.18	40	14.709	2.326
	BPRS사후	65.33	40	11.625	1.838
대응3	MCAS사전	45.58	26	13.603	2.668
	MCAS사후	59.12	26	9.572	1.877

사전과 사후의 평균의 차이가 뚜렷하게 나타났으며 평균의 차이가 가장 크게 나타나는 조사는 지역사회에 적응도가 가장 높았다

대응표본상관계수
		N	상관관계	유의확률
대응1	GAF사전& GAF사후	16	.559	.024
대응2	BPRS사전& BPRS사후	40	.899	.000
대응3	MCAS사전& MCAS사후	26	.795	.000

상관계수는 의미부여를 할 필요는 없지만 데이터들 사이에 충분한 선형의 상관관계가 존재한다.

대응표본검정
		대응차					t	자유도	유의확률(양측)
		평균	표준편차	평균의표준오차	차이의95% 신뢰구간
					하한	상한
대응1	GAF사전 GAF사후	-11.938	4.892	1.223	-14.544	-9.331	-9.761	15	.000
대응2	BPRS사전 BPRS사후	11.850	6.647	1.051	9.724	13.976	11.275	39	.000
대응3	MCAS사전 MCAS사후	-13.538	8.339	1.635	-16.907	-10.170	-8.278	25	.000

3개의 척도의 P값이 0.000으로 나타났으며 이는 통계적으로 유의미한 것을 표현한다.

따라서 금번 예비조사를 통해 정신건강토탈케어서비스의 이용자는 심리적, 사회적, 직업적 기능이 향상되었음을 알 수 있으며 평균의 차이로 보았을 때 GAF 척도에서의 11점의 차이는 증상에 대한 상당한 완화가 있었음을 알 수 있다.

BPRS 척도에서 역시 11점의 차이는 증상의 상당한 완화까지는 파악 할 수 없지만 전체적인 정신건강의 수준이 서비스를 받기 전보다 좋아졌다고 볼 수 있다.

MCAS 척도에서 13점의 평균의 차이는 지역사회를 이용하는 이용자들을 케어 하는 관점으로 바라보았을 때 지역사회에 적응하고 함께 어울려 살아가는 확률이 올라갔음을 의미하며 정신의 문제에 있어 자기관리에 가장 어려움이 있는 부분을 상당수 극복한 것으로 확대 해석하여 볼 수 있다.

□ 본조사 적용 가능 척도 및 변수

- 제공기관에서 가장 많이 사용하고 있는 척도 5가지의 신뢰도 분석 결과 이번 성과측정에서 사용 가능한 지표는 BPRS 척도와 MCAS 척도 2개로 선별

- 사정기록지를 활용한 사례관리 유형변수 추출가능

□ 모집단 및 표본 설정

- 모집단 430명 설정 : 2012년도부터 예산의 변동이 없으며 최장 4년까지 서비스 이용이 가능하여 재판정을 통해 지속적으로 서비스를 받은 점을 감안(조사 대상 기간 2015.01.01 ~ 2017.06.30)

- 표본 설정 : 203명 (신뢰도95% 오차범위 5%)

표본크기 추줄 계산	표본크기 추출 계산식 = N=430(모집단) Z=1.96(신뢰수준95%) e=0.5(허용오차) 결과값= 203

□ 우수사례

- 지원단에서 제공한 양식의 난이도가 높아 제공기관에서 일부 내용만 채울수 있으므로 개방형 형식의 1case의 변화를 구술로 상세히 기재를 요청하고 지원단에서 세부내역을 문의하여 자료를 얻는 방식으로 변경할 필요가 있음

Ⅳ			행정 사항

□ 본조사 계획 수립 반영

- 서비스 제공기관에 관련한 변수(사업기간, 제공기관유형, 이용자수, 고용형태, 근로 개월 수)추가

- 제공기관별 이용자 수에 따른 무작위 비율 할당 표집 실시

- 이용자에 관련한 변수(성별, 연령, 이용경로, 최초 서비스제공, 서비스 종료, 종결유형, 주제공서비스)추가