다시 뛰는 공정도시 서울!

문서번호 인재기획과-6908 결재일자 2017.5.11. 공개여부 대시민공개 방침번호 시 민 ★주무관 교육기획팀장 인재기획과장 김수정 이상국 05/11 원권식 협 조 인재양성과장 김수덕 교육총괄팀장 김종엽 교육품질 제고를 위한 2017 교육만족도 평가 개선 계획 2017. 5. ☞ 해당사항이 있는 부분에 ‘ ■ ’ 표시하시기 바랍니다. (※ 비고 : 필요시 검토내용 기재) 구 분 사전 검토항목 점검 사항 검토완료 해당없음 비 고 시민 참여 ● 시민 의견 반영 및 사업 참여 방안을 검토하였습니까? 예) 청책토론회, 설문조사, 시민공모 등 □ ■ 전문가 자문 ● 관련 전문가 의견을 반영하였습니까? 예) 자문위원회 개최, 타당성 검토, T/F 운영 등 □ ■ 갈 등 ● 이해 당사자 간 갈등발생 가능성을 검토하였습니까? 예) 주택가 공공주차장 조성, 택시 불법영업 단속 등 □ ■ 사회적 약자 배려 ● 사회적 약자에 대한 배려를 검토하였습니까? 예) 여성, 아동, 장애인, 한부모 가정 등 □ ■ 선거법 ● 공직선거법에 저촉 여부를 검토하였습니까? 예) 홍보물 배포, 표창수여, 경품지급, 기부행위 등 □ ■ 안전 ● 시민 안전 위험요인과 안전대책을 검토하였습니까? 예) 장소·시설물 점검, 안전관리 인력확보 등 □ ■ 타 기관 ● 타 기관 협의·협력(타 자원 활용 등)을 하였습니까? 예) 중앙부처, 타 지자체, 투자·출연기관, 민간단체 등 □ ■ 홍 보 ● 사업홍보 방안을 검토하였습니까? 예) 보도자료, 기자 설명회, 현장 설명회 등 □ ■ 바른 우리말 ● 서울시 행정 순화어 목록을 확인하였습니까? 예) 별첨, 첨부 ⇒ 붙임, 가이드라인 ⇒ 지침 등 □ ■ 2017 교육만족도 평가 개선 계획 강사 및 교육과정 전반에 대한 교육생 반응을 조사하는「교육만족도 평가」체계를 개선하여 교육품질을 높이고 강사의 전문성을 확보하고자 함 󰏚 인재개발원 교육평가 체계 I 수준 → Ⅱ수준 → Ⅲ수준 학습자 만족도평가 학습 성취도평가 현업 적용도평가 전과정(233) 집합132/e러닝101 (25)과정 내외 집합15~20/*e러닝3~5 (15)과정 내외 집합10/*e러닝3~5 ※ Kirkpartrick Model 4단계 평가모델 적용, 우리원은 3단계까지 시행중 ※ e-러닝은 2017년부터 학습성취도 및 현업적용도 평가 시행 단계 측정내용 프로세스 측정시기 담당 1 학습자 만족도평가 ·교육설계 만족도 ·강사 만족도 ·교육운영 만족도 ·교육효과 인식도 ·학습환경 만족도 교육 → 만족도평가 → 피드백 교육직후 (일주일간) 인재기획과 (집합: 교육기획팀) (e러닝/IT: 스마트교육팀) 2 학업 성취도평가 ·지식/스킬 학습도 ·적용방법 학습도 사전 진단 평가 → 교육 → 사후 총괄 평가 → 피드백 GAP 분석 전:교육 2~4주전 후:교육직후 ※현업적용도 평가와 동시 진행 인재기획과 (집합: 교육기획팀) (e러닝/IT: 스마트교육팀) 교육중 평가 → 학습 평가(시험) 발표 평가 보고서 평가 등 중:교육중 인재양성과 3 현업 적용도평가 ·지식/스킬 현업 적용도 사전 진단 평가 → 교육 → 현업적용도 → 피드백 FGI GAP 분석 전:교육 2~4주전 ※학업성취도 평가와 동시 진행 후:교육후 1~3개월 인재기획과 (집합: 교육기획팀) (e러닝/IT: 스마트교육팀) Ⅰ 교육만족도 설문현황 󰏚 운영 현황 ○ 평가대상 : 교육평가 1단계 평가로 전 교육과정에 실시 ※ 2017년 교육과정 : 총 237개 과정, 162,008명 •집 합 : 132개 과정 19,138명(일반 62개, 15,643명/IT 70개, 3,225명) •e-러닝 : 105개 과정 142,870명(직무101개, 자격증 4개) ○ 평가방법 - 평가척도 : 리커르트 5점 척도 - 평가시기 : (일반과정) 과정수료 후 인재개발원 홈페이지(LMS) 설문조사 (장기과정) 매주 강사평가(지면) + 과정수료 후 설문조사 ○ 평가내용 - 평가영역 : 6개영역(교육내용, 교육방법, 교육운영, 강사, 학습효과, 학습환경) - 평가문항 : 일반과정과 특별과정(신임자‧리더십‧핵심가치)으로 구분하여 설문 평가영역 과정 계 교육내용 교육방법 교육운영 강사 학습효과 기 자 재 학습환경 일반과정 27 5 3 4 4 6 5 특별과정 29~30 7~8 3 4 4 6 5 e-러닝 13 3 4 - - 4 2 ○ 최근 3년간 영역별 만족도 비교 :「교육방법, 학습효과」는 정체, 강사는 향상 󰏚 개선 필요 현황 ○ 전 과정에 동일 설문(문항) 적용으로 과정 목표에 맞는 평가 및 효과성 도출이 미흡, 과정분류별 특성을 반영한 차별화 된 문항 구성 필요 차별화된 문항 구성 필요성 󰋮 학습목표에 맞는 기대효과 달성여부에 대한 세부방향 제시 필요 - 리더십․직무․핵심가치․인문소양 등 각 교육과정이 가진 교육목표는 상이하나, 교육생에게 기대효과가 무엇인지 제시하지 않아 교육목표 달성여부를 판단할 구체적 기준 없이 질문에 응답. - 이에 결과의 타당도를 높일 수 있도록 과정별 차별화된 문항(구체적인 기대효과 명시) 구성 필요 󰋮 과정별 적용된 교육방법의 적절성 판단 필요 - 참여, 현장체험 등 적용된 교육방법의 적정여부를 묻는 차별화된 문항 적용 필요 󰋮 강사 선정 시 신뢰도 있는 판단 근거 자료 마련 필요 - 강의내용의 업무연계성 강화를 위해 교과목별 교육효과 측정 문항 신설 필요 󰋮 교육결과에 교육생의 참여 동기 및 학습의지(참여도) 측정 필요 - 교육생의 참여 동기 및 학습의지(참여도)가 교육결과(효과)에 미치는 영향을 파악하여 과정별 교육운영 방법 개선 및 개선 필요성 판단 필요 ○ 일부 과정에서 강의결과 등에 대해 당일 보고를 위해 지면 방식으로 강사만족도 등을 조사, 수기입력하고 있는 실정임 ○ 과정선택 시 교육과정에 대한 평가 및 후기 등 참고할 수 있는 자료없이 교육을 신청하게 되므로 수강 후 기대와는 다른 교육진행에 불만을 표하는 경우가 많음 - 과정 선택 정보 제공 및 교육품질 제고를 위해 평가결과 공개 필요 Ⅱ 벤치마킹 및 의견수렴 구 분 대상기관 주 요 내 용 타기관 벤치마킹 2.14(화)~2.17(금) 국가 인재개발원 ∘OMR 시스템 활용, ‘17.3월부터 스마트 평가 도입 󰋻LMS가 아닌 OMR평가 방식을 활용하여 교육직 후 현장설문 방식을 고수하고 있어 주관식 문항을 수기입력해야 하는 행정적 부담이 있음 󰋻‘17년 3월부터 강사만족도(매일 별도 시행)에 스마트 평가 도입 ⇒ 당일 강의 종료시부터 익일 정오(12시)까지 응답 ∘문항수가 적고, 질문이 단순하여 응답 편이성이 높음 󰋻공통13문항+해당과목 포함여부에 따라 학습자가 선택적 응답 (분임,체육,봉사,사이버 등 교육방법별 문항분류) 동국대학교 ∘‘교육과정’ 이 아닌 학기제 ‘강의(과목)’ 기반으로 운영 󰋻운영 및 평가기준 측면에서 우리와 기준이 다름 󰋻설문의 강의별 특성에 맞는 선택형 문항구성 방식으로 과정목적 및 특성에 맞는 설문문형 구성이 장점 ∘기본 문항수는 적으나 강의 특성에 맞는 추가 선택문항으로 구성 󰋻공통9문항+본인 강의 특성에 맞게 강사가 선택한 문항 추가 (영어강의, 기대효과, 교수방법, 수업유형, 교양 등) ∘강의 평가 결과 및 순위를 전직원 및 학생에게 공개 󰋻강의 선택의 중요기준으로 활용토록 유도 󰋻강사간 경쟁을 유도하여 강의품질 제고에 도움 ※ 붙임 1. 「타기관 교육만족도 설문지」참조 구 분 참 석 자 주 요 의 견 의견수렴 1차 회의 2.22(수) ․원 장 님 ․부서과장님 ․교육기획팀장 ․스마트교육팀장 ․인재양성과 팀장 (11명) ∘설문결과 추이반영, 설문문항 등 가감 개선 󰋻최근3년간 만족도 비교분석 결과 만족도 정체 부분 중점 개선 󰋻활용분야 중심으로 보완 : 교육효과, 강사만족도 보완 󰋻중요도에 따라 가중치 부여 고려 ∘공급자 중심에서 학습자 중심으로 개선 󰋻교육생이 응답하기 쉽고 편하도록 구성할 것 󰋻중요부분 위주로 문항수 최소화 󰋻교육운영 사각지대에서 발생된 교육 외 문제(인권, 성희롱 등)고려 ∘과정전체의 평가보다 교과단위로 평가 ∘e-러닝은 콘텐츠 측면에 별도 문항구성 필요 등 2차 회의 (전체·팀별) 2.24(금)~3.6(월) ․스마트교육팀 실무주무관 ․인재양성과 (팀별)실무주무관 (8명) ∘설문 운영 방식의 전면 시스템화(장기과정의 강사·현장 만족도) ∘장기과정별 교육방법에 대해 맞춤형 선택 문항 구성 필요 ∘교육만족도 결과 공개는 문항을 선별하여 시행 3~5차 회의 3.3(금)~3.8(수) ․교육기획팀 전원 ∘질문문항·방식 적정성, 결과 활용도, 문항별 의미 중복 등 전면 체크 ∘핵심가치(공감마당), 역량평가준비 과정 등 전체 설계-운영을 용역업체와 별도 진행하는 특별과정은 과정 맞춤형으로 별도 진행 󰏚 개선방향 [문항측면] ○ 최근 3년 영역별 만족도 : 정체, 떨어진「교육방법, 학습효과」부분 문항 강화 ○ 학습자 중심의 문항 설계 : 문항수는 최소화, 이해하기 쉽게 질문 - 서술형 통합 질문 형태로 문항 수 최소화 - 학습자 중심으로 문항 서술(알기쉽고 단순하게 표현) ○ 교과단위의 교육효과 평가와 운영 사각지대 점검 - 교과별 교육효과 측정 및 교육 중 발생되는 성희롱 등 점검 문항 추가 [운영측면] ○ 만족도 설문조사 시 인재개발원 학습관리시스템 활용 - 지면조사에 따른 행정력 낭비 및 시스템상 결과 누락 현상 방지를 위하여 설문조사 방식을 시스템 방식으로 일원화 필요 ○ 평가결과 공개를 통해 과정 선택 정보 제공 및 교육품질 제고 필요 - 내부 정보(설계 개선, 강사 선정 등)로의 활용과 더불어 전 직원이 교육과정 선택시 중요 정보로서 활용할 수 있도록 과정평가 결과 및 후기 제공 필요 Ⅲ 개선사항 2017년 개선 주요 내용 ○ 문항구성 : 「집합(단·장기), e러닝」으로 대분류하고 문항 차별화 - 교육기간(장·단기), 운영형태(집합·이러닝), 교육목표(핵심가치·리더십·직무·인문소양)에 따라 문항구성 차별화 ○ 운영방식 : 전자설문(이메일, 스마트폰, 홈페이지)방식으로 일원화 - 스마트폰 설문기능이 신규추가 됨에 따라 스마트폰을 활용한 교육당일 현장설문진행이 가능해 짐 ○ 설문결과 : 만족도 결과⋅순위, 후기 등 인재원 홈페이지 공개 - 교육생이 교육과정 선택 시 중요정보로 활용토록 함 < 개선 설문 개요 > ◼ 평가내용 - 설문구분 : 「집합(단기·장기)과정, e-러닝과정」으로 구분 - 평가영역 집 합] 7개 영역(학습효과, 교육설계, 교육운영, 강사(교과목), 시설환경, 교육의지, 종합) e-러닝] 5개 영역(학습효과, 콘텐츠, 운영시스템, 교육의지, 종합) 평가영역 과정 계 학습효과 교육설계 (콘텐츠) 교육운영 (운영시스템) 강사 (교과목) 시설환경 교육의지 종합 집합(단기) 17 3 4 4 2 2 1 1 집합(장기) 17 3 4 4 2 2 1 1 e-러닝 12 3 4 3 - - 1 1 ◼ 평가방법 - 평가척도 : 5점/3점 척도 혼용 - 평가시기 및 방법 단기/e러닝] 과정 종료시 교육만족도 설문(강사 포함) (인재원 홈페이지 /이메일 /스마트폰) 장기과정] 일자별 강사만족도 설문 [스마트폰] + 과정 종료시 교육만족도 설문(강사 제외) ◼ 평가결과 - 교육과정별 만족도 결과⋅순위, 후기 등을 인재원 홈페이지 공개 : 만족도 결과 공개 부분은 교육과 직접적으로 연관이 있는 영역에 한하여 공개 집 합] 4개 영역(학습효과, 교육설계, 교육운영, 강사) e-러닝] 3개 영역(학습효과, 콘텐츠, 운영시스템) 󰏚 평가 내용 ○ 설문구분 : 교육기간(장·단기), 운영형태(집합·이러닝), 교육목표(핵심가치·리더십·직무· 인문소양)의 특성을 반영 ‘집합(단기·장기)과정, e-러닝’으로 구분하고 평가영역 및 문항 차별화 단기과정 장기과정 e-러닝 (7개영역) (7개영역) (5개영역) 공통16, 선택1 공통16, 선택1 공통13 학습효과 인식도 2(1) 교육설계(내용,기간,방법) 4 교육운영 4 강사(교과목) 2 교육환경 2 교육의지(관심,참여도) 1 종합의견 1 학습효과 인식도 2(1) 교육설계(내용,방법,활동) 4 교육운영 4 강사(교과목) 2 교육환경 2 교육의지(참여도) 1 종합의견 1 학습효과 인식도 3 콘텐츠 4 운영시스템 3 - - 교육의지(참여이유,참여도) 2 종합의견 1 ○ 문항 개선 1) 최근 3년간 분야별 만족도 분석결과 정체를 보이고 있는「학습효과, 교육방법」부분을 중심으로 선택 및 맞춤 문항 추가 및 내용 개선 - 교육효과 부분 ‣ 교과목 단위 교육효과 측정문항을 추가하여 교육성과에 대한 명확한 원인분석 및 개선점 도출 기대 ‣ 교육운영결과에 있어 교육생의 교육의지가 교육결과(효과부문)에 미치는 영향의 상관성 분석을 위해 ‘교육의지(학습 노력도)’ 문항 추가 ‣ 교육목표와 연계하여 교육과정별 기대효과에 맞는 차별화된 질문 구성 - 집합 단기: 핵심가치, 인문소양, 직급리더십, 직위리더십, 직무 - 집합 장기: 신임자, 5급승진리더, 6급실무전문가, 행복한미래설계, 신임전직자직무역량 - 교육방법 부분 ‣ 장기과정별 포함된 활동(MT, 현장, 실습 등)에 대한 맞춤문항 추가 2) 학습자 중심으로 문항 재설계 : 문항수는 최소화, 이해하기 쉽게 질문 개선 - 문항 수 : 학습자 응답 편의성 제고를 위해 대폭 축소(집합 13문항⇩) 문항수 기존 개선 집 합 27~30문항 17문항 e-러닝 13문항 13문항 - 문항설계 : 학습자 중심으로 문항 서술 ‣ 교육목표 등 질문요지를 명확히 알기 쉽게 구체적으로 표현 ‣ 교육생(본인) 기준 ‘~다’체 서술형 질문으로 변경 ‣ 유사문항 통합 및 서술형 통합 질문으로 문항 수 최소화 3) 교육 중 발생 가능한 사각지대 점검 - 교육 중 발생될 수 있는 인권, 성희롱·성폭력 등을 점검할 수 있는 문항 추가를 통해 교육운영 사각지대 점검 및 불만 해소를 위해 노력 󰏚 평가 방법 ○ 평가 척도 : 5점/3점 척도/주관식 혼용 - 5점 척도 : 교육생의 만족도 수준 측정 필요 문항에 사용 - 3점 척도 : ‘길다-짧다-적정’ 등 교육생의 명확한 의견을 알고 개선점을 얻고자 하는 문항에 사용 - 주관식(서술형) : 교육생의 구체적 의견을 얻고자 하는 문항에 사용 ○ 운영 방법 : 시스템 조사 방식으로 일괄 전환 - 일부 지면형식으로 진행되던 방식을 ‘시스템 조사방식’으로 일원화하여 모든 교육과정의 만족도설문은 전자설문(e메일, 스마트폰, 홈페이지)을 원칙으로 함 - 지면조사에 따른 행정력 낭비 및 시스템상 결과 누락 현상 방지 설문별 시행주체 󰋮단기과정 <인재기획과 교육기획팀 / 스마트학습팀> - 교육종료 후 교육만족도 설문 등록 및 발송(강사만족도 포함) 󰋮장기과정 <교육기획팀 / 인재양성과 과정운영담당> - 일일 강사만족도 설문 등록 및 발송 : 인재양성과 과정운영 담당 - 교육종료 후 교육만족도 설문 등록 및 발송(강사만족도 제외) : 교육기획팀 과정설계 담당 󰋮e-러닝 <스마트학습팀> - 교육종료 후 교육만족도 설문 등록 및 발송 󰏚 평가 결과 ○ 교육과정별 만족도 결과, 순위, 후기 등을 인재원 홈페이지 공개 - 인재개발원 홈페이지에 모든 교육과정의 교육만족도 점수·순위·인기과정 및 교육생 후기 등을 열람 가능토록 하여 직원들이 교육과정 선택 시 중요 정보로 활용토록 함 - 만족도 점수 공개 부분은 교육내용과 직접적으로 연관있는 영역에 한함 공개 영역 󰋮집합과정 : 4개 영역(학습효과, 교육설계, 교육운영, 강사) 󰋮e-러닝 : 3개 영역(학습효과, 콘텐츠, 운영시스템) ○ 홈페이지 공개 방식 Ⅳ 추진일정 및 행정사항 󰏚 추진일정 ○ 시행시기 : 2개월의 시범운영을 거쳐 문항 및 시스템오류 개선 - 시범운영 : ‘17. 3. 10 ~ 4. 30 - 정식운영 : ‘17. 5. 1 부터 󰏚 행정사항 ○ 학습관리시스템(LMS) 설문 등록 : 교육기획팀 ○ 시범운영 중 설문 시행 및 오류개선 : 교육기획팀 및 스마트학습팀 ○ 정식운영 중 과정별 설문 시행 및 발송 : 교육기획팀 과정설계 담당 ○ 강사만족도 설문(장기과정限) 시행 및 발송 : 인재양성과 과정운영 담당 <붙임 자료> 1. 타 기관 교육만족도 평가 설문지 2. 2017 교육만족도 평가 설문지 3. 교육만족도 문항개선 전·후 비교

12011076

20211012215248

본청

인재기획과-6908

D0000030054658