결재문서

- 성과중심의 평가제도 정착을 위한 - 2017년 평가기본계획

문서번호 평가담당관-2471 결재일자 2017.3.10. 공개여부 부분공개(6) 방침번호 시 민 주무관 평가담당관 정책기획관 ★기획조정실장 김형미 백운석 박대우 03/10 장혁재 협 조 평가총괄팀장 이은웅 - 성과중심의 평가제도 정착을 위한 - 2017년 평가기본계획 2017. 3. 기획조정실 (평가담당관) ☞ 해당사항이 있는 부분에 ‘ ■ ’ 표시하시기 바랍니다. (※ 비고 : 필요시 검토내용 기재) 구 분 사전 검토항목 점검 사항 검토완료 해당없음 비 고 시민 참여 ● 시민 의견 반영 및 사업 참여 방안을 검토하였습니까? 예) 청책토론회, 설문조사, 시민공모 등 □ ■ 전문가 자문 ● 관련 전문가 의견을 반영하였습니까? 예) 자문위원회 개최, 타당성 검토, T/F 운영 등 ■ □ 갈 등 ● 이해 당사자 간 갈등발생 가능성을 검토하였습니까? 예) 주택가 공공주차장 조성, 택시 불법영업 단속 등 □ ■ 사회적 약자 배려 ● 사회적 약자에 대한 배려를 검토하였습니까? 예) 여성, 아동, 장애인, 한부모 가정 등 □ ■ 선거법 ● 공직선거법에 저촉 여부를 검토하였습니까? 예) 홍보물 배포, 표창수여, 경품지급, 기부행위 등 □ ■ 안전 ● 시민 안전 위험요인과 안전대책을 검토하였습니까? 예) 장소·시설물 점검, 안전관리 인력확보 등 ■ □ 타 기관 ● 타 기관 협의·협력(타 자원 활용 등)을 하였습니까? 예) 중앙부처, 타 지자체, 투자·출연기관, 민간단체 등 ■ □ 홍 보 ● 사업홍보 방안을 검토하였습니까? 예) 보도자료, 기자 설명회, 현장 설명회 등 □ ■ 바른 우리말 ● 서울시 행정 순화어 목록을 확인하였습니까? 예) 별첨, 첨부 ⇒ 붙임, 가이드라인 ⇒ 지침 등 ■ □ 목 차 Ⅰ. 정책목표 1 Ⅱ. 평가개요 2 Ⅲ. 세부평가계획 3 1. 시정 주요사업 정기․수시 평가 3 2. BSC기반 성과평가 7 3. 행정서비스 시민평가 9 4. 시장요청사항 추진상황 평가 10 5. 시정 핵심분야 리스크 관리 평가 11 6. 정부합동평가 12 Ⅰ. 정책목표 사람이 중심인 서울, 시민이 행복한 서울 시정 실행력 제고를 위한 선제적·체계적 평가체계 운영 체감할 수 있는 평가 ➣현장 중심 평가 ➣사업부서와 소통 ➣철저한 사후관리 객관적 평가 ➣전문가 의견 수렴 ➣시민참여형 평가 ➣전방위 자료분석 다양한 평가 ➣BSC기반 성과관리 ➣시장요청사항 관리 ➣핵심분야 리스크관리 Ⅱ. 평가개요 󰏚 기본방향 ○민선6기 가시적 성과를 높이기 위해시정 핵심사업 집중 성과관리 ○평가결과의 시민 체감성 제고를 위해 시민, 전문가 등 외부평가 강화 ○리스크 발생 최소화를 위한 사전 예방적 평가 󰏚 평가분야 및 평가주기 ○시정 핵심․주요사업 평가 : 정기평가(격주), 수시평가 ○BSC 성과평가 : 기관평가 연 2회, 개인평가 연 1회 ○행정서비스 시민만족도 평가 : 연 1회 ○시장요청사항 추진상황 평가 : 분기 ○핵심분야 리스크관리 평가 : 정기평가(년1회), 수시평가 ○정부합동평가 :연 1회 󰏚 주요 개선내용 ○주요사업에 대한 선제적·주기적 평가로 리스크 요인 최소화 -10대 핵심사업 선정 ⇒ 평가역량 집중(격주 성과관리) - 준공예정시설, 계절적 리스크 잠재 요소에 대한 선제적 평가 실시 ○전문가·시민 참여형 평가 확대 - 외부 전문가 평가 참여 확대로 전문성 제고 및 실행력 있는 대안 마련 -시민 참여의 평가 확대로 입체적 정책 분석 및 정책성과의 시민체감도 제고 - 정책 입안자·수행자·수혜자 입장의 다각적인 자료 분석으로 평가 내실화 도모 ○역점사업의 과제화·지표개선 등으로 BSC 관리의 실효성 제고 - 2017년 시정 역점사업을 이행과제 및 성과지표에 중점 반영 - 성과지표의 신뢰도, 타당도 제고를 통해 성과관리의 정확성 담보 Ⅲ. 세부평가계획 1 시정 주요사업 정기·수시 평가 핵심사업에 대한 정기평가, 이슈·현안 사업에 대한 수시평가와 이의 환류과정을 통해 시정성과 거양 지원 < ’17년 개선방향 > ▪주요사업에 대한 선제적·주기적 평가로 리스크 요인 최소화 ▪전문가․시민과 함께 대안을 모색하는 협치형 평가시스템 강화 ▪사업부서간의 협업을 기반으로, 실효성 있는 대안 제시형 평가 실시 󰏚 평가개요 <정기평가> ○ 대 상 : 10개 핵심사업 (붙임1 참조) - 민선6기 주요사업으로 가시적 성과 창출 및 주기적 공정관리 필요사업 ○ 시 기 : ‘17.2~7월 (격주1회) ○ 내 용 - ‘17년 계획상 목표 대비 진도율, 추진성과 등 사업 전반 - 유관기관(부서)간 협업․협력여부 및 거버넌스를 통한 민․관 소통여부 등 -추진과정상 예상 문제점 보완여부, 사업 조기추진을 위한 업무체계 개선여부 ○ 방 법 : 사업성과 분석, 전문가 자문, 현장평가 병행 ○ 결과활용 : 실·본부·국 피드백 ⇒ 성과관리회의시 개선대책 발표 <수시평가> ○ 대 상 : 시정 주요 현안 및 사회적 이슈사업 등 ○ 시 기 : 필요에 따라 수시 ○ 내 용 : 사업 추진실적, 문제점 및 장애요인, 시민불편사항 ○ 방 법 : 사업성과 분석 및 현장평가 ○ 결과활용 : 실·본부·국 피드백 및 보완과제 개선 <시민평가단 현장평가> ○ 대 상 : 정기·수시 평가사업 외 현장성이 강하고 시민체감도가 높은 사업 ○ 시 기 : 수시(편의시설 준공․프로그램 운영 전․후 등 현장확인 필요시) ○ 내 용 : 평가과정에 시민의 직접참여로 현장성․정책수요자 입장 반영 ○ 방 법 : 이용객 가장, 현장 방문점검(체험, 인터뷰 등) 후 결과제출 ○ 결과활용 : 정기·수시 평가보고서 반영, 소관 실·본부·국 통보 및 피드백 < 제3기 시민평가단 구성․운영 > ○ 구성인원 : 시민 100명 (임기: 2년) ○ 모집방법 : 서울시 분야별 시정모니터링단에서 우수활동자 추천받아 선발 ○ 주요활동 : 미스터리샤퍼 기법활용, 시정점검․결과보고서 제출, 평가과제 제시 ○ 추진목표 : 전문성․능동성 강화로 평가의 양적확대 및 질적고양 ○ 추진방향 - 연령․성비 균형선발로 평가집단 대표성 강화(세대별 시각 및 남녀간 입장 차이반영) - ‘밴드’개설(온라인), 간담회(오프라인) 실시로 상시 소통 및 정보공유 체계구축 및 실시 - ‘백신팀’(직원+외부전문가+시민)과의 활동연계로 전문성 및 대안제시 기능 강화 - 평가단원의 일상 속 상시 모니터링 통한 평가과제 발굴․제안시스템 구축으로 시의성 확보 󰏚 추진일정 ○ 이슈사업 수시·현장 평가 실시 :'17.1월 ~ ○ 핵심사업 정기평가 실시 :'17.2월 ~ ○시민 미스터리샤퍼 평가단 및 시정평가 자문단 개편 :'17.3월 붙임 1 2017년 10대 핵심사업 연번 사 업 명 2017년 주요 세부사업 총괄(협조) 1 서울역 7017 프로젝트 「서울로 7017」 보행길 조성 및 접근성 확대 서울역기획단 「서울로 7017」 개장‧운영 서울역기획단 푸른도시국 「서울로 7017」 보행길 접속부 (만리재로,청파로,퇴계로) 보행환경 개선 도시기반시설본부 중림동광장 공공미술작품(윤슬) 설치 문화본부 서울역 일대 종합재생계획 선도사업 추진 도시재생본부 서울역 일대 발전계획 수립 도시계획국 서울역 북부역세권 개발계획 협약․발표 서울역 주변 소상공인 지원계획 경제진흥본부 2 도시가치의 재창출, 서울형 도시재생 세운상가군 재생(다시세운 프로젝트) 도시재생본부 장안평 자동차복합단지 조성 (장안평 자동차산업종합정보센터 준공) 남산 예장자락 재생사업 창신숭인 도시재생 선도사업 준공 세종대로 일대 역사문화 특화공간 조성 지역발전본부 마포 석유비축기지 재생 및 공원 조성 푸른도시국 서울새활용프라자 개관 기후환경본부 동남권 국제교류 복합지구 조성 영동대로 지하공간 복합개발 잠실운동장 일대 복합단지 조성 서울아레나 건립 민간투자사업 추진 동북권 창업센터 등 세대융합형 복합화사업 지역발전본부 (도시교통본부) (주택건축국) 창동․상계 신경제중심지 조성 지역발전본부 (기획조정실) (SH서울주택도시공사) (경제진흥본부) (복지본부) 3 임대주택8만호 공급 및 신개념 주택 공급 임대주택 8만호 공급 역세권 2030 청년주택 공급 사회주택 공급 공동체 주택 보급 확산 서울리츠 공급 확대 기업형 민간 임대주택 공급 주택건축국 4 2천만 관광도시 서울 외국인 관광객 1,700만명 유치 서울-경기-강원 평창올림픽 공동관광마케팅 관광체육국 5 국공립어린이집 확충 국공립어린이집 300개소 확충 여성가족정책실 6 청년지원정책 청년활동지원사업(청년수당) 확대 청년활력공간 조성 및 지원 서울혁신기획관 7 찾아가는 동주민센터 찾아가는 동주민센터 2단계 성과발표 찾아가는 동주민센터 3단계 발대식 50플러스 캠퍼스 개관 (중부-'17.3월, 남부-'17.10월) 사회서비스 시범사업 (장기요양/국공립 등 추가 시범사업 추진) 행정국 (복지본부) 50플러스 캠퍼스 개관 및 운영 복지본부 사회서비스 재단 설립 추진 복지본부 여성가족정책실 8 일자리 확대 및 신성장동력 창출 2017년 일자리 종합 대책 추진 일자리노동정책관 청년 뉴딜일자리 확대 서울노동존중특별시 비정규직 정규직화 2단계 추진 양재 R&CD 혁신지구 육성 경제진흥본부 홍릉 바이오 의료 앵커 조성 마포 창업허브 개관 9 교통혁신 및 걷는 도시 서울 지하철 양공사 통합 추진 도시교통본부 종로 도로공간 재편 따릉이 2만대 확충 10 시민안전 안전도시 서울플랜 수립(노후시설물,도로파손 대응 등) 지하철 안전 (레이저센서 전면교체, 스크린도어 9개역 교체 등) 서울 먹거리 선언(거버넌스, 플랫폼 구축) 고병원성 AI 확산예방 및 대응 안전총괄본부 (물순환안전국) 도시교통본부 시민건강국 2 BSC를 기반으로 한 성과평가 BSC 기반의 합리적이고 실효적인 성과관리 제도 운영을 통해 시정 주요사업 성과제고에 기여하고, 기관평가 및 4급이상 공무원 개인평가에 활용코자 함 < ‘17년 개선방향 > ▪ 2017년 시정 역점사업을 이행과제 및 성과지표에 반영 추진 ※ 시정 4개년계획 25대 중점과제/ ‘17년 10대 핵심과제(56개 세부사업) ▪ 전략(성과)목표와 성과지표간의 연계성 강화로 성과측정 타당도 제고 ▪ 타 성과관리 자료와 BSC간 목표치 일치 등 성과측정 신뢰도 제고 ▪ 성과지표 적정성 사전평가 결과를 공개하여 지표 개선 등 피드백 활용 󰏚 BSC 기반 평가개요 ○ 근 거 : 정부업무평가 기본법 제18조(지방자치단체의 자체평가) 및 서울특별시 업무 등의 평가에 관한 규칙 ○ 대 상 : 43개 기관 핵심성과지표(KPI) 및 주요사업 ○ 방 법 : 외부평가(지표적정성)/내부평가(지표달성도 정량평가,핵심사업 정성평가) ○ 성과관리 흐름도 ’17년 성과관리 시행계획 수립 ’17.2 (평가담당관) 수립지침 안내 ’17.2 (평가담당관) 실‧본부‧국 성과관리계획 작성 ’17.3 (실‧본부‧국) 성과관리계획 확정 ’17.4 (평가담당관) 외부평가 실시 (지표적정성) ’17.6 (전문평가기관) 내부평가 실시 (지표달성도,핵심사업) 수시, ’17.7,’18.1 (평가담당관) 기관평가 및 개인평가 반영 ’17.8, ’18.2 (평가담당관) 󰏚 결과활용 : 기관평가 및 4급이상 공무원 개인평가에 반영 구 분 BSC 기반 평가자 점 수 대내·외 협력평가 지표 적정성 지표 달성도 핵심사업 정성평가 기관평가 15% 20% 25% 10% 30% 개인평가 15% 25% 40% 20% - (1) 기관평가 ○ 평가대상 : 43개 기관(실․본부․국, 3급이상 사업소, 책임운영기관) ○ 평가주기 : 연 2회 (반기별) ○ 평가분야 : 3개 분야 BSC 성과관리(60%) 대내외 협력성과(30%) 정성평가(10%) ∘BSC 성과지표(35%) -성과지표 설정 적정성 -성과지표 목표대비 달성도 ∘BSC 핵심사업(25%) -핵심사업 추진성과 ∘협업성과(10%) -희망기업 제품구매, 세외수입 증대, 정부합동평가, 청렴활동 등 ∘협치성과(16%) -보도실적, 소통활동, 정보공개, 제안 실행, 엠보팅, 민관협력활성화 등 ∘혁신성과(4%) -상시학습 활성화, 연가사용 및 유연근무 확대 ∘시장단 종합평가 -기관별 추진사업 난이도, 기관장 노력도 등 ※ 대내외 협력성과 분야는 실․국 수요조사 중으로 주요사업 성과제고 가능 항목으로 변경 예정 ○ 등급배분 : S등급-20%, A등급-50%, B등급-30% ○ 결과활용 : 평가결과(등급)에 따라 성과포상금(반기 약 5억원) 차등 지급 ○ 추진일정 - ‘17년도 기관별 성과평가 추진계획 수립 : ’17.3월 - ‘17년도 상·하반기 성과평가 및 포상금 지급 : ’17.9월 / ‘18.3월 (2) 4급이상 공무원 개인평가 ○ 평가대상 : 4급(상당) 이상 공무원 ※ 독립·기관(시의회,시립대)은 자체평가 ○ 평가주기 : 연 1회 ○평 가 자 : 시장(3급이상), 행정 1․2 부시장(4급) ○ 평가방법 : BSC 핵심사업 및 지표달성도 등 추진성과 평가 ○ 등급배분 : S등급-20%, A등급-30%, B등급-40%, C등급-10% ※「지방공무원보수규정」에 의거 평가등급별 인원비율 결정 ○ 결과활용: 4급이상 공무원 성과연봉에 반영 ○ 추진일정 - ‘17년도 4급이상 간부평가 및 성과연봉 등 연계 : ’18.2~3월 3 행정서비스 시민평가 시민생활과 밀접한 행정서비스 분야에 대한 시민 평가를 실시하고, 정책에 효과적으로 반영하여 대시민 행정서비스의 수준 향상 도모 < ‘17년 개선방향 > ▪사업부서와 함께 실효성 있는 조사설계안을 마련하고 좌담회 및 심층면접 강화를 통해 조사 신뢰도 제고 및 구체적인 개선방안 마련에 기여 󰏚 평가개요 ○대 상 : 주요 행정서비스 5~6개/12,000여명 내외 ○시 기 : ’17. 3월 ~ 12월 ○내 용 : 주요 행정서비스 분야의 만족도 및 불만요인 평가 ○조사방법 : 방문 면접·온라인조사 및 FGI 병행 실시 ○조사기관 : 전문 여론조사기관 위탁(공개경쟁 입찰) ○ 사 업 비 : 398백만원 - 만족도조사 용역비 390백만원, 자문비 6백만원, 시책추진비 2백만원 ○ 결과활용 - 조사결과 서울시 홈페이지 공개 및 실·본부·국별 개선대책 마련 - 만족도가 낮은 분야는 수시평가 병행으로 실질적 업무개선 유도 - 사업부서의 개선대책 이행여부 지속 점검으로 시민 만족도 향상 󰏚 추진일정 ○’17년 행정서비스 시민평가계획 수립 : '17. 3월 ○ 전문여론조사기관 선정 및 계약 추진 : '17. 4~5월 ○ 조사 평가설계 및 시민평가 시행 : '17. 6~11월 ○ ’17년 평가결과 보고 및 개선대책 수립 : '17.12월 4 시장요청사항 평가 시장요청사항 추진상황에 대한 정기평가와 지속적, 체계적 관리를 통해 주요사업 추진의 완결성 제고 < ‘17년 개선방향 > ▪지연·부진사업은 현장확인, 실적관리 등 수시모니터링을 통해 특별관리 󰏚 평가개요 ○ 대 상 : 민선5·6기 시장요청사항 ○ 주 기 : 분 기 ○ 내 용 : 시장요청사항 이행여부(완료, 추진중, 지연) 평가 ○ 방 법 - 추진부서에서 「요청사항 시스템」에 이행실적 등록 - 추진계획 수립·실행·사후관리 적정성 등 종합평가 - 평가결과 보고 후 후속조치 마련 실·본부·국에 환류 ○ 운 영: 업무관리시스템 內 「요청사항 시스템」을 통해 운영 - 수명․전파(기획담당관) ⇨ 추진(추진부서) ⇨ 평가(평가담당관) ○ 결과활용 : 지연된 요청사항은 추진부서에 보완·조치계획 수립·시행 요청 < 시장요청사항 이행현황 > (’16. 12. 31. 기준, 단위:건) 합 계 완료 추 진 중 계 방향검토 및 계획수립 착수 본격추진 1,120건 1,074건 (96%) 46건 (4%) - - 46건 󰏚 추진일정 ○시장요청사항 추진상황 평가(분기별) :'17.4월, 7월, 10월, '18.1월 5 시정 핵심분야 리스크관리 평가 시정 핵심분야의 위험 요인을 선제적으로 대응하도록 독려하고, 그 적절성을 평가하여 시정 운영 안정성 제고 < ‘17년 추진방향 > ▪ 지표조정을 통한 리스크 관리 타깃 업데이트 및『시민평가단․전문가』현장평가제 병행, 평가 피드백(시장표창 등)으로 추진동력 강화 󰏚 평가개요 ○ 대 상 : 환경, 재난, 안전분야 5개 리스크 22개 지표 리스크 명(5개) 관련 사업(계절별 대책 사업 포함) 총괄부서 ① 대기환경이 악화될 위험 ∘ 초미세먼지 저감사업, 오존 대응대책 대기관리과 ② 하천 수질오염사고가 발생할 위험 ∘ 한강 상류, 하류 갈수기 대책 ∘ 한강 조류 대책 물순환정책과 ③ 상수도 수질오염사고가 발생할 위험 ∘ 상수도 수질 관리 및 여름철 조류 대응 상수도사업본부(생산부) ④ 대형 자연재해가 발생할 위험 ∘ 수방대책(지역별 하천수위, 펌프장, 산사태 등) ∘ 겨울철 제설대책 하천관리과 도로관리과 ⑤ 대규모 안전사고가 발생할 위험 ∘ 10개 한강교량 및 시특법상 대규모 취약시설물 유지보수 사업 및 안전관리 교량안전과 시설안전과 ○ 시 기 : 정기(연1회), 수시(매월) ○ 내 용 : 5개 리스크에 대한 부서의 위기대응 적절성 평가 ○ 방 법 : 경보상황 공유(행정포털 메일), 리스크 등록, 정기․수시평가 - 경보 공유 : 리스크시스템 경보 공유․자체 대응(관련 실국장, 기획실) - 리스크등록 : 리스크시스템 리스크 등록, 분석, 대응 등록(실국 등록) - 수시 평가 : 시기별․정도별 현안리스크 실국 대응조치 여부 및 적절성 평가 - 정기 평가 : 체크리스트 종합점검과 관리실태 평가 ○결과활용 : 실·본부·국 피드백 및 보완과제 개선여부 모니터링 󰏚 추진일정 ○ 경보발생 가능 월별 리스크 수시 대응실태 점검 :'17. 4월 ~ ○ 시정리스크 정기평가 :'18.1~2월 6 정부합동평가 행정자치부 주관 지방자치단체 합동평가에 대한 체계적·선제적 대응으로 우수한 성과를 달성하여 서울시 위상 제고 < ‘17년 개선방향 > ▪저평가된 지표 집중관리 및 자체 평가시스템(SVPS)을 통한 실적관리 강화 ▪부서별 책임성 강화 및 담당자에 대한 인센티브 확대 ▪대도시에 불리한 평가지표 발굴 및 개선 노력 지속 추진 󰏚 평가개요 ○ 근 거 : 「정부업무평가 기본법」 제21조 ※ 주관 : 행정자치부 ○ 평가대상 : 국가위임사무, 국고보조사무, 국가주요시책 ○ 평가기간 : '17.1~6월(평가기준일 : '16.1~12) ○ 평가분야 : 9개 분야*, 27개 시책, 68개 지표, 173개 세부지표 *일반행정,사회복지,보건위생,지역경제,지역개발,문화가족,환경산림,안전관리,중점과제 ○ 평가방법 : VPS 온라인평가, 합동실적검증, 현지실사 등 ○ 결과공개 : 市部(8개), 道部(9개)로 구분하여 분야별 가/나/다 등급 평가 < 최근 3년간 평가결과 > 구 분 ’16년 ’15년 ’14년 등급 및 개수 가 - 나 - 다 가 - 나 - 다 가 - 나 - 다 (1) (3) (5) (4) (4) (1) (2) (4) (3) ‘가’등급 분야 환경산림 복지사회,지역경제, 문화여성,환경산림 문화관광,중점과제 󰏚 추진일정 ○VPS 실적자료 2차 입력 : '17. 3. 6 ~ 3.10 ○중앙부처-지자체-평가위원 합동 실적검증 : '17. 4월 ○ 현지실사(합동평가단) : '17. 4 ~ 5월 ○ 합동평가단 최종검증 : '17. 6월 ○’16년 정부합동평가 결과 공개(행자부) : '17. 7월

문서 보기

문서보기는 문서변환기에 의해 텍스트로 변환된 문서를 보여주며, 스크린리더로 문서내용을 미리 확인하실 수 있습니다. 그러나 일부 문서의 경우(pdf파일) 변환 상태에 따라 스크린리더에서 제대로 읽히지 않을 수도 있습니다. 이때는 다음 헤딩3인 첨부파일 목록으로 바로가서 원문을 다운로드하신 후 이용하시면 스크린리더 이용이 더욱 용이합니다. 첨부파일목록 바로가기

   * 본 문서는 공문서로서의 법적 효력은 없으며, 위조·변조·도용 등 불법적 활용으로 인하여 발생된 모든 책임은 불법적으로 활용한 자에게 있습니다

첨부된 문서

문서 정보

- 성과중심의 평가제도 정착을 위한 - 2017년 평가기본계획 - 문서정보 : 기관명, 부서명, 문서번호, 생산일자, 공개구분, 보존기간, 작성자(전화번호), 관리번호, 분류정보
기관명 서울시 부서명 기획조정실 정책기획관 평가담당관
문서번호 평가담당관-2471 생산일자 2017-03-10
공개구분 부분공개 보존기간 5년
작성자(전화번호) 김형미 (2133-6894) 관리번호 D0000029347539
분류정보 행정 > 일반행정지원 > 과공통일반사무 > 업무계획및평가(서무) > 업무계획및보고관리같은 분류 문서보기
이용조건Creative Comoons License(저작자표시-변경금지) 3.0 마크공공누리 공공저작물 자유이용허락(제4유형 : 출처표시 + 상업적 이용금지 + 변경금지)