문서번호	정보기획담당관-7874
결재일자	2018.6.12.
공개여부	대시민공개
방침번호

			시 민
주무관		정보기획팀장	정보기획담당관
김기현		우정숙	06/12 고경희
협조	주무관		윤경애
	주무관		이은진

- 인공지능 기반 대화형서비스 시범사업 -

제 안 서 평 가 계 획

2018. 6.

정보기획담당관

- 인공지능 기반 대화형서비스 시범사업 -

제안서평가계획

『인공지능 기반 대화형서비스 시범사업』입찰참가 업체의 사업수행 능력과 제안내용에 대한 객관적이고 공정한 평가를 통해 협상 적격업체를 선정

1		추 진 근 거

○ 지방자치단체를 당사자로 하는 계약에 관한 법률 시행령 제44조

○ 지방자치단체 입찰시 낙찰자 결정기준 (행정안전부 예규 제19호, '18.1.1.)

○ 행정기관 및 공공기관 정보시스템 구축운영 지침 (행정안전부 고시 2018-21호, '18.3.21.)

○ 소프트웨어 기술성 평가기준 (과학기술정보통신부 고시 2017-14호, '17.2.15.)

○ 서울특별시 제안서평가위원회 설치 및 운영에 관한 규칙 ('18.1.18.)

○ 서울시 정보화사업 제안서 평가방법 세부기준 ('16.5.2.)

2		추 진 경 위

○ 시범사업 수요조사	: '18. 2.27.~ 3. 6.(8일간)

○ 계획수립	: '18. 3.19.

○ 120다산콜재단 협의  : '18. 3.20.~ 4.18.

○ 예산타당성 심사      : '18. 4.19.~ 5. 2.

○ 계약심사             : '18. 4.24.~ 4.30.

○ 제안요청서 사전검토  : '18. 5.2.~ 5. 9.

○ 사전공고	: '18. 5.13.~ 5.18(5일간, 공개일 제외)

○ 용역 발주	: '18. 5. 23.(공고기간 : '18. 5.23.～ 6.15.)

※ 제안서 접수 마감 예정 : '18.6.15.(금) 16:00

3		사 업 개 요

○ 사 업 명 : 인공지능 기반 대화형서비스 시범사업

○ 사업기간 : 계약일로부터 2018.12.31까지

○ 사업예산 : 465백만원

○ 계약방법 : 제한경쟁(협상에 의한 계약)

○ 사업내용

- 120 상담 챗봇 서비스 개발(카카오톡 메신저 활용)

- 질의응답 세트, 시나리오, 지식DB 구축

- 대중교통정보 안내 및 민원접수 알고리즘 개발, 시스템 연계

- 챗봇 학습 및 지식DB 관리체계 구축, 인프라 제공 등

3		제안서 평가 개요

□ 제안서 평가 방법

입찰가격 평가 (10점)	+	기술능력 평가(90점)
		정량적지표 평가 (20점)	+	정성적지표 평가 (70점)
▸ 평가산식에 의한 평가		▸ 담당자 평가		▸ 제안서 평가위원회 평가

※ 제안서 평가기준 [붙임1] 참조

□ 평가결과의 반영

○ 협상적격자 선정

- 제안서 평가결과 기술능력 평가점수가 기술능력 평가 배점한도의 85%(76.5점)이상인 제안사를 협상적격자로 선정

※ 가격제안서의 입찰가격이 예정가격을 초과하는 자는 협상적격자에서 제외

○ 협상순서 결정

- 협상적격자 중 종합 평가점수 고득점 순에 의해 협상

	<종합 평가점수 동점자 발생시 순위결정 방법>
▸ 기술능력 평가점수가 높은 제안자 우선 ▸ 기술능력 평가점수도 동점인 경우 추첨 결정

- 상위의 협장적격자와 협상 성립 시 협상 종료 → 계약상대자로 결정

3		제안서 평가위원회 구성 및 운영

□ 제안서 평가위원회 구성

*************

***********************************************

○ 구성방법

	예비명부 작성		▸ 구성 : 평가위원 후보 확보결과에 따라 분야별 3~5배수 구성 (평가위원 인력 POOL 및 관련기관 추천) ▸ 명부 : 위원별 고유번호 부여 확정 (안전감사담당관(일상감사팀장) 협조 결재)
	□
	평가위원 확정		▸ 입찰 참가업체가 제안서 제출시 추첨 ▸ 다빈도 순, 연장자 순으로 참석 가능여부 확인 후 최종 확정 ※ ************************************** ‧ **************************************

	<제안서 평가위원 자격요건>
▸ 관련근거 : 서울특별시 제안서평가위원회 설치 및 운영에 관한 규칙 제2조 ▸ 자격요건 1. 국가 및 다른 지방자치단체 공무원으로서 3년 이상 해당 분야 근무경력을 가진 7급 이상 공무원 2. 정부투자기관·출연기관·지방공기업의 해당 기술직렬 5급 이상 직원 또는 동등 이상 경력자 3. 대학의 전임강사 이상인 자로서 해당 분야 전공을 한 자 4. 1년 이상 근무경력을 가진 기술사 또는 박사학위 소지자 5. 시민단체 대표 등 공정한 평가를 위하여 필요하다고 인정되는 자

□ 제안서 평가위원회 개최

○ 일    시 : '18. 6.19.(화) 14:00 ~ 18:00

○ 장    소 : 스마트정보지원센터 (서소문별관 1동 3층)

○ 주요내용 : 입찰참가업체 제안설명 및 위원회 심사

○ 위원회 진행 절차

① 평가안내	▶	② 위원장 선출	▶	③ 제안서 사전검토	▶	④ 제안설명	▶	⑤ 평가결과 의결
평가기준 등 안내		참석위원 중 호선으로 선출		제안서 사전검토 (60분)		업체당 30분내외		위원별 평가점수 집계 및 의결

※ 위원회는 7명으로 개회(불가피한 경우 참석위원 동의를 거쳐 2/3이상으로 개최)

① 평가안내

▸ 위원회 진행방법, 평가기준 등 안내

② 위원장 선출

▸ 위원장은 평가위원 중 호선으로 선출하며, 평가를 공정하게 주관(평가참여)

③ 제안서 사전검토

▸ 제안서 사전검토 시간 : 60분(10억 미만 사업 60분 이상)

※ 평가일 전에 사전배포를 통해 검토 진행하는 경우 평가당일 사전검토 생략가능

④ 제안설명

▸ 제안설명 시간 : 업체당 30분 내외 (제안설명 20분, 질의응답 10분)

▸ 제안설명 순서 : 제안발표일 당일 추첨으로 결정

▸ 진행방법

․제안발표 입찰참가업체의 사업총괄자(PM)이 진행

․발표시간은 참여 업체수를 고려하여 평가위원회에서 조정 가능

⑤ 평가결과 의결

▸ 위원별 정성적 평가점수 집계

▸ 기술능력 평가점수 공개 및 가격입찰서 개찰

▸ 종합 평가점수(기술능력 평가점수+입찰가격 평가점수) 공개

▸ 협상적격자 및 협상순위 결정(의결서 작성)

○ 기타사항

- 제안서기술평가 내용의 보안유지를 위해 평가위원별 서약서 징구

- 평가의 공정성 확보를 위해 평가 결과 공개

▸ 공개시기 : 제안서 평가(제안서 평가위원회 개최) 직후 공개

▸ 공개내용 : 평가위원 명단(실명) 및 위원별(비실명) 대상업체 평가점수

□ 소요예산 : 1,200천원

○ 산출내역 : 평가위원 참석수당 150,000원(2시간 이상) × 8명

○ 예산과목 : 정보화 기반시설 확충, 서울 사물인터넷 도시조성, 일반운영비, 사무관리비(201-01)

【 붙임자료 】

○ [붙임1] 제안서 평가기준 1부.

○ [붙임2] 관련 서식 각 1부.

- (서식1) 정량적 평가점수 집계표

- (서식2) 평가위원 채점표 (위원용)

- (서식3) 업체별 정성적 평가점수 집계표

- (서식4) 입찰가격 평가점수 집계표

- (서식5) 평가결과 의결서

- (서식6) 제안서평가위원회 평가위원 동의서

- (서식7) 제안서평가위원 참여 동의 및 보안각서

- (서식8) 개인정보 수집․이용 동의서

- (서식9) 제안서평가위원별 평가점수 공개표

붙임 1	제안서 평가기준

□ 제안서 평가항목 및 배점기준

구 분				평 가 요 소	배점
계					100
입찰가격 평가 (10)				∘ 가격평가 평점 산식 적용	10
기술능력평가 (90)	정량적 지표 평가 (20)	참여인력 기술상태		∘ 참여인력(핵심)의 기술상태(기술등급)	6		20
		수행경험(실적)		∘ 최근 3년간 유사사업 수행실적 금액	3	6
				∘ 최근 3년간 유사사업 수행실적 건수	3
		경영상태		∘ 기업신용등급	6
		신인도		∘ 기술(품질)인증 보유	1	2
				∘ 혁신형 중소기업 해당	1
				∘ 계약이행과정의 성실성 (납품지연, 하도급 대금지급 사후보고 미이행)	(-1.3)
		가산점 ※정량적평가 배점한도 내에서 가감점적용		∘ 약자 및 우수기업	최고 7.6
				∘ 일자리창출	최고 2.0
				∘ 고용안정	최고 4.0
				∘ 근로 및 하도급법 준수 정도(감점)	(최고-7)
	정성적 지표 평가 (70)	전략 및 방법론 (10)	사업의 이해도	∘ 제안요청사항 및 대상업무에 대한 이해도 등	3		70
			추진전략 및 적용기술	∘ 사업추진 전략 및 적용기술의 타당성, 실현가능성 등	7
		기술 및 기능 (20)	데이터	∘ 챗봇 데이터 구축의 적정성, 효용성, 확장가능성 등	7
			기능	∘ 요구 기능별 충족성‧적정성 등	13
		성능 및 품질 (20)	성능	∘ 챗봇의 성능확보 방안의 적정성 등	13
			품질	∘ 품질관리 방안의 적정성 등	7
		프로젝트 관리 (8)	관리방법	∘ 프로젝트 관리의 방법의 적정성	4
			관리역량	∘ 프로젝트 관리 및 추진 역량의 우수성	4
		프로젝트 지원 (12)	교육 및 기술이전	∘ 교육지원 및 기술이전 방안 적정성 등	7
			기타 프로젝트 지원	∘ 하자보수 및 비상대책방안, 기타 추가제안 등	5

□ 입찰가격 평가기준

○ 평가산식

- 입찰가격이 예정가격의 100분의 80 이상인 경우

‣ 평점 = 입찰가격평가 배점한도(10점) × ( 최저입찰가격 / 해당입찰가격 )

※ 최저입찰가격은 유효한 입찰자중 최저입찰가격으로 하되, 입찰가격이 예정가격의 100분의 80미만인 경우 100분의 80으로 계산함

- 입찰가격이 예정가격의 100분의 80 미만인 경우

‣ 평점 = 배점한도(10점)의 30%에 해당하는 점수 부여

○ 기타사항

- 예정가격을 작성하지 않은 경우에는 예정가격을 추정가격에 부가가치세를 포함한 금액으로 함.

- 가격 평가점수 결과 소수점 이하 숫자가 있을 경우에는 소수점 다섯째자리에서 반올림하여 소수점 넷째자리까지 표시함.

□ 기술능력(정량적지표) 평가기준

평가항목		평 가 요 소 (기준)	배점		평점방법
A.참여인력 기술상태		∘사업 참여인력(핵심)의 기술상태를 기술등급에 따라 점수화	6		기준점수 비례제
B.수행경험 (실적)		∘실적금액 : 최근 3년간의 유사사업 수행실적 금액 (공고일 기준)	3	6	절대평가제
		∘실적건수 : 최근 3년간의 유사사업 수행실적 건수 (공고일 기준)	3		상대평가제
C.경영상태		∘신용평가 등급에 의한 평가	6		절대평가제
D.신 인 도		∘기술(품질)인증 보유, 혁신형 중소기업, 계약 이행과정의 성실성(납품지연, 하도급 대금지급내역 사후제출 미이행)	2 (-1.3)		절대평가제
E. 가 산 점	약자 및 우수기업	∘중증장애인생산품 생산시설(보건복지부 지정) 등 6개 항목	7.6		절대평가제 (가점)
	일자리 창출	∘당해사업 관련 신규인력 채용	2		절대평가제 (가점)
	고용안정	∘당해사업 비정규직 정규직화 또는 장애인 신규 채용	4		절대평가제 (가점)
	근로 및 하도급법 준수정도	∘임금체불 및 하도급부조리 신고센터에 신고 되어 사실 확인된 업체 ∘불공정거래행위 시정조치 및 과징금 부과기업(공정거래위원회) ∘하도급 상습위반자로 통보받은 기업(공정거래위원회) ∘퇴직공무원 고용업체	(-7)		절대평가제 (감점)
합 계		※배점한도(20점)를 넘지 않는 범위 내에서 가산점 부여함	20

○ 소프트웨어사업 관리감독에 관한 일반기준 제7조에 의거, 참여인력은 ‘참여 핵심인력’만 평가

○ 참여 핵심인력

- 사업관리자(PM) : 사업수행 조직을 총괄하는 책임자

- 사업수행관리자(PL) : 기능별 또는 업무별로 정의된 공급자 사업 수행조직의 과업별 중간관리자

- 업무별 전문가 : 요구사항 및 업무분석, 설계, 구현, DB구축, 품질보증, 테스트 등의 기능별 전문가로 사업수행에 반드시 필요하지만 PL로 지정되지 않은 업무별  전문지식을 보유한 전문가

※ 단, 문서작성지원, 프로그램사양서 작성 등 단순 설계 직무를 수행하는 일반 개발자는 핵심인력으로 지정 불가하며, 참여인력 기술상태 평가에도 미반영

A. 참여인력 기술상태

㉮ 대    상 : 사업 책임자 및 부문별 참여자

㉯ 평가방법 : 기준점수비례제

- ‘평가대상 입찰참가자 점수’ = (참여인력별 기술등급 평가점수 × 참여율)의 합

- 평가항목 환산점수 = 배점(6점) × (평가대상 입찰참가자 점수/ 입찰참가자 중 최고 점수)

㉰ 참여인력의 기술 및 경력 상태에 대한 증명은 자격증, 경력증명서, 학력증명서, 한국소프트웨어산업협회 경력 증명서 등을 기준으로 함

㉱ 참여인력은 입찰공고 마감일 전일 기준 제안사(공동수급사 포함)소속이어야 하며, 하도급사 인력,  기술 및 경력 상태에 대한 증거서류가 첨부되지 않은 참여인력 등은 평가에서 제외

※ 신규채용예정인력이 사업품질에 영향을 미치지 않도록 일자리창출 신규 채용 인력, 장애인 신규채용 인력 은 제안서의 사업 수행 인력에서는 제외(참여인력 평가 미반영)

㉲ 참여인력의 기술등급 평가점수

구 분	기술사	특급기술자	고급기술자	중급기술자	초급기술자
참여인력 기술등급	5.0	4.0	3.0	2.0	1.0

	<참여인력의 기술등급 기준>
당해 사업의 참여인력 정량적 평가 기술등급 및 인정범위는 입찰공고일 기준 현재 적용되는 ’SW기술자 평균임금‘(한국 소프트웨어산업협회 공표)의 SW기술자 분류 기준에 의한 초급기술자, 중급기술자, 고급기술자, 특급기술자, 기술사 인정 범위에 따름. ※ 단, 상기 SW기술자 분류 기준에 의한 기술자 등급에 포함되지 않는 경우라도 소프트웨어 개발 관련 분야에 3년 이상의 경력이 인정되는 인력은 본 사업의 초급기술자로 인정함.

B. 수행 경험(실적)

㉮ 평가대상

㉠ 실적금액 : 당해사업 발주규모(추정가격)대비 입찰공고일 기준 최근 3년간 수행(준공)한 유사사업 단일실적의 규모(부가세 제외한 단일 실적 금액)로 평가

㉡ 실적건수 : 입찰공고일 기준 최근 3년간 수행(준공)한 유사사업 실적 합산건수로 평가하며, 실적 합산 시 단일실적 기준 50백만원 이상(부가가치세 제외)사업으로 한정함

※ 유사사업 인정범위 :  챗봇, 음성봇 등 지능형서비스 개발(구축) 사업

※ 단, 공동수급으로 이행한 실적은 해당 회사의 실적(당시 출자비율 반영 또는 당시 분담내용)만을 인정하며, 본 사업에 공동수급으로 참여하는 경우 합산금액 및 합산건수는 공동수급 구성원 각각의 실적 및 건수에 출자비율 또는 분담비율을 곱하여 이를 합산.

㉯ 평가방법

㉠ 실적규모 : 절대평가제

- 당해사업 발주규모(추정가격)과 평가대상 입찰참가자의 유사사업 단일실적 중 최대실적의 금액(부가가치세 제외)과의 비율에 따라 해당되는 점수 부여

․ ‘규모비율’ = (평가대상 입찰참가자의 유사사업 단일실적(최대실적) / 당해사업 추정가격) × 100

규모비율	100% 이상	80% 이상 ~ 100% 미만	60% 이상 ~ 80% 미만	40% 이상 ~ 60% 미만	40% 미만	하 (자료미제출시)
점수비중(%)	100	90	80	70	60	0
환산점수	3	2.7	2.4	2.1	1.8	0

㉡ 실적건수 : 상대평가제

- 입찰 업체수를 고려하여 등급별로 배분된 업체 수만큼 해당 등급 부여하고, 각 등급에 해당되는 점수로 환산

등급	수	우	미	양	가	하 (자료미제출시)
점수(%)	100	90	80	70	60	0
업체할당(%)	10	20	40	20	10

[총 입찰 업체수에 따른 등급별 업체 배분표]

업체수	등 급					업체수	등 급
	수	우	미	양	가		수	우	미	양	가
2,3	1	1	(1)			12	1	3	5	2	1
4	1	1	1	1		13	1	3	5	3	1
5	1	1	2	1		14	1	3	6	3	1
6	1	1	2	1	1	15	2	3	6	3	1
7	1	1	3	1	1	16	2	3	6	3	2
8	1	2	3	1	1	17	2	3	7	3	2
9	1	2	3	2	1	18	2	4	7	3	2
10	1	2	4	2	1	19	2	4	7	4	2
11	1	2	5	2	1	20	2	4	8	4	2

※ 단, 동점업체 발생 시 동점업체에게 할당된 등급 중 상위 등급으로 동일하게 부여

C. 경영상태

㉮ 평가기준

- 신용정보의 이용 및 보호에 관한 법률 제4조 제1항 제1호 또는 자본시장과 금융투자업에 관한 법률 제9조 제26항의 업무를 영위하는 신용정보업자가 입찰공고일 기준 최근 1년 이내에 평가한 회사채·기업어음에 대한 신용평가등급이나 기업신용평가등급으로 유효기간 내에 있는 가장 최근의 신용평가등급으로 평가

회사채에 대한 신용평가등급	기업어음에 대한 신용평가등급	기업신용평가 등급	평 점(점)
AAA AA+, AA0, AA- A+ A0 A-	- A1 A2+ A20 A2-	AAA AA+, AA0, AA- A+ A0 A-	6.00
BBB+	A3+	BBB+	5.80
BBB0	A30	BBB0	5.60
BBB-	A3-	BBB-	5.40
BB+, BB0	B+	BB+, BB0	5.20
BB-	B0	BB-	5.00
B+, B0, B-	B-	B+, B0, B-	4.80
CCC+ 이하	C 이하	CCC+ 이하	4.00

주) 1. 평가대상 업체의 회사채(또는 기업어음) 및 기업신용평가에 따른 평점이 다른 경우에는 높은 평점으로 평가하며, ‘신용평가등급확인서’를 제출하지 않은 경우에는 최저 등급으로 평가한다.

2. 합병한 업체에 대하여는 합병 후 새로운 신용평가등급으로 평가하며, 합병 후의 새로운 신용평가 등급이 없는 경우에는 합병대상 업체 중 가장 낮은 업체의 신용평가등급을 적용한다.

3. 공동수급으로 참여한 경우 공동수급체 구성원별로 각각 산출한 경영상태 평가점수에 각각의 출자비율 또는 분담 비율을 곱하여 이를 합산하여 평가한다.

D. 신인도

㉮ 평가기준

- 평가방법 : 각 항목 당 배점 한도 내에서 절대평가 실시

- 평가기준

심 사 항 목	평점(점)
가. 기술(품질)인증보유 (1) 신제품(NEP), 신기술(NET), 특허(국내특허), GS(국산우수SW)인증, 성능인증(EPC) 등	1
나. 혁신형 중소기업 (1) 중소벤처기업부장관(또는 위임받은 자)에 의해 혁신형(벤처, inno-biz, 경영혁신형) 중소기업으로 지정 받은 자	1
다. 계약이행과정의 성실성 (1)납품 지연 입찰공고일 기준 최근 1년(12개월) 이내에 서울시와의 계약이행과정에서 지체상금 부과를 받은 사례가 있는 경우 지체일수에 따라 감점 부여 - 지체일수 15일 미만 - 지체일수 15일 이상 30일 미만 - 지체일수 30일 이상 45일 미만 - 지체일수 45일 이상 (2)하도급 대금지급내역 사후제출 미이행 입찰 공고일 기준 최근 1년 이내 서울시와의 정보화사업 계약이행과정에서 하도급 대금지급내역 사후제출 의무 미이행 사례가 있는 경우 감점 부여	(-1.3)	감점 (-0.2) (-0.4) (-0.6) (-0.8) (-0.5)

주) 1. ‘기술(품질)인증 보유 항목’에 대한 인정 범위는 본 사업과 유관한 분야(소프트웨어산업 등)에 한하고 2개 이상 보유시 그중 한 가지만 평가하며, 각 인증(마크)의 유효기간(또는 효력 연장기간)내에 한하여 평가. (단, 유효기간이 정해지지 아니한 경우는 입찰공고일 전일부터 기산하여 2년 이내에 지정된 것에 한하여 평가)

2. ‘혁신형 중소기업’ 평가는 중소기업청장(위임한 경우 포함)이 확인한 자료를 제출하여야 하며, 유효기간(또는 효력 연장기간) 내에 한하여 평가. (단, 유효기간이 정해지지 아니한 경우에는 입찰공고일 전일부터 기산하여 2년 이내에 지정된 것에 한하여 평가)

3. ‘납품지연’ 평가는 여러 건의 지체상금이 부과된 경우 각각의 지체일수를 합산한 기간을 지체일수로 함.

4. ‘하도급 대금지급내역 사후제출 의무 미이행’ 항목은 최근 1년 이내(2016.1월 이후 준공사업)에 서울시와의 정보화사업 계약이행과정에서 하도급 승인을 받은 사업 중 하도급 사업대가 지급내역의 사후제출(수령자, 지급액, 지급일 등)의무 미이행 이력이 있는 업체에게 감점 적용.

5. 공동수급으로 참여한 경우 공동수급체 구성원별로 각각 산출한 신인도 항목별 평가점수에 각각의 출자비율 또는 분담 비율을 곱하여 이를 합산하여 평가.

6. 감점은 정량적 평가의 배점한도 내에서 적용.

E. 가산점

구 분	항 목		배점한도	평 점
약자 및 우수기업	A	1. 중증장애인생산품 생산시설 (보건복지부 지정)	2	2
	B	1. 사회적 기업(고용노동부 지정) 2. 예비 사회적 기업(지방자치단체 지정) 3. 사회적협동조합(정부부처 지정) 4. 자활기업(지방자치단체 지정)	1.8	1.8 0.9 1.8 0.9
	C	1. 장애인기업 2. 장애인고용 우수기업 가. 장애인고용률이 3%이상인 기업 나. 장애인고용률이 1.5%이상인 기업	1.2	1.2 1.2 0.6
	D	1. 여성기업 2. 여성고용 우수기업(여성고용률이 30% 이상인 기업) 3. 남녀고용평등 우수기업(고용노동부 지정)	1	1 1 1
	E	1. 최근 3개월간 평균 5%이상 신규채용 2. 최근 3개월간 평균 2.5%이상 신규채용	0.6	0.6 0.3
	F	1. 모범납세자 2. 노사문화 우수기업(고용노동부 선정) 3. 가족친화경영 우수기업(여성가족부 지정) 4. 하도급거래 모범업체(공정거래위원회 지정) 5. 소비자 중심경영 인증(공정거래위원회 지정) 6. 공정거래 자율준수 인증(공정거래위원회 지정)	1	0.3 0.5 0.5 0.5 0.5 0.5
중소기업	G	1. 소기업 또는 소상공인 2. 중기업	1.5	1.5 1
일자리창출	H	1. 당해사업 투입 신규인력 채용 (월 급여 100만원 이상 신규직원 1명당 0.2점, 최고 2점)	2	2
고용안정	I	1. 당해사업 투입 비정규직 정규직화 또는 장애인 신규 채용 (1명당 0.4점, 최고 10인이상 4점)	4	4
근로 및 하도급법 준수정도	J	1.임금체불 업체 및 하도급부조리 신고센터에 신고 되어 행정처분을 받은 사실이 있는 업체 -임금체불, 원․하도급자의 공사대금․장비(물품)대금 미지급 등 건당 -1점, 최고 –5점 감점 2. 불공정거래행위 시정조치 및 과징금 부과기업(공정거래위원회) 3. 하도급 상습위반자로 통보 받은 기업(공정거래위원회) 4. 발주부서 퇴직공무원 고용업체	-7	-5 (각 –1) -0.5 -0.5 -1

주) 1. 가산점은 정량적 지표 배점한도(20점)를 넘지 않는 범위 내에서 부여한다.

2. 일자리창출의 신규채용 인력, 고용안정의 장애인 신규 채용인력은 참여율(투입률)을 반영하여 가산점 계산하며, 제안서의 사업수행 인력에서는 제외한다.

※ 제안서 제출시 확약서 제출하며, 차후 채용관련서류 및 인력 투입관련 증명서류 제출

3. 중소기업 가산점(G)은 중소기업만 입찰에 참여할 수 있는 사업에는 적용하지 않는다.

4. 공동수급으로 참여한 경우 구성원별 가산점 계산 후 출자비율 또는 분담 비율을 곱하여 이를 합산하여 평가한다.

○ 가산점 평가방법

①  평가항목별 평가는 아래 각 항목을 제외하고 중복하여 평가할 수 있다.

가. “D”의 여성기업 및 여성고용 촉진 내의 각 항목이 중복되는 경우에는 그 중 높은 평점 한 가지만 평가한다.

나. “C”의 장애인기업 및 장애인고용 촉진 내의 각 항목이 중복되는 경우에는 그 중 높은 평점 한 가지만 평가한다.

다. 동일인물이 “여성고용 우수기업(“D”의 2)”, “장애인고용 우수기업(“C”의 2)”,“신규채용 우수기업(“E”)”이 평가에 중복되는 경우에는 그 중 높은 평점 한 가지만 평가한다.

②  여성고용 우수기업(“D”의2) 및 장애인고용 우수기업(“C의2”) 평가는 입찰공고일 전월을 기준으로 하여 여성고용사실 또는 장애인 고용사실을 증명할 수 있는 서류(「고용보험법」에 의한 고용보험, 「국민건강보험법」에 의한 국민건강보험, 「국민연금법」에 의한 국민연금, 「산업재해보상보험법」에 의한 산업재해보상보험에 가입한 증거서류 중 1개)에서 나오는 “여성종업원수 및 여성종업원비율”(여성이 대표인 경우에는 대표를 포함하여 산정)  또는 “장애인종업원수 및 장애인종업원비율”(장애인이 대표인 경우는 대포를 포함하여 산정) 자료로서 최근 3개월 평균자료를 제출받아서 한다(입찰공고일 전월 기준 최근 3개월 평균하여 요건을 충족하는 경우 평가).

③ “E"의 신규채용 우수기업의 평가는 다음 각 목에 따른다.

가. 전년도 및 최근 3개월(입찰공고일 전월 기준)의 고용사실을 증명할 수 있는 서류(고용보험, 국    민건강 보험, 국민연금, 산업재해보상보험 관련 증거서류 중 하나 택일)에 따라 평가한다.

나. 해당기간 신규고용인원을 누적하여 계산한다(예 : 8월 입찰공고건의 경우, 5월, 6월, 7월의 각    월별 누적신규고용인원을 산술평균하여 계산. 단, 3월 이전 입찰공고건의 경우에는 전년도 포함    최근 3개월 누적평균 자료로 계산).

다. 각 월별 신규고용인원은 월별 ‘신규채용자 수’― ‘퇴직자 수’로 계산한다.

(적용례) 8월 입찰공고건의 경우,

구 분	5월	6월	7월
월별 신규고용인원	5	4	5
월별 누적신규고용인원	5	9	14

* (5/100 + 9/100 + 14/100)/3 = 0.093 , 9.3% (전년도 직원수 평균 100명 인 경우)

④ “D”의 여성고용 우수기업, ”C“의 장애인고용 우수기업, “E”의 신규채용 우수기업 평가에서 고용인원 계산결과의 소수점 처리는 소수점 첫째자리에서 올림을 하고, 전년도 또는 최근 3개월 평균자료가 없는 경우는 평가에서 제외한다.

⑤ 중소기업(“G”), 여성기업(“D-1”), 장애인기업(“C-1”) 등은 “중소기업제품 공공구매종합정보망”에 등재된 자료로 평가할 수 있다.

⑥ 중소기업 가산은 「중소기업제품 구매촉진 및 판로지원에 관한 법률」등에 따라 중소기업만 참여할 수 있는 입찰의 경우에는 적용하지 아니한다.

⑦ “D”의 남녀고용평등 우수기업(“D-3”), “F”의 모범납세자, 노사문화 우수기업, 가족친화경영 우수기업, 하도급거래 모범업체, 소비자 중심경영 인증, 공정거래 자율준수 인증은 주무부(처, 청) 등의 장(위임한 경우 포함)이 확인해 준 유효기간 내의 자료를 제출한 경우에 평가한다. 다만, 유효기간이 정해지지 아니한 경우에는 최근 2년 이내로 지정된 것에 한하여 평가한다.

⑧  “H”와 “I”의 신규인력 채용, 장애인신규채용은 제안서 제출시 확약서 징구하여 평가한 후, 계약체결 전 신규채용 계약서를 제출하도록 해야 한다.

가. 동일인물이 “H”의 일자리창출, ”I”의 고용안정 평가에 중복되는 경우에는 그 중 높은 평점 한 가지만 평가한다.

나. 대표자 변경 등으로 인해 발생한 고용승계는 신규인력 채용으로 인정하지 아니한다.

※ 신규인력채용, 장애인신규채용은 해당 사업에 투입되는 인력인 경우에만 평가 적용

⑨ “I”의 비정규직 정규직화는 제안서 제출 시 확약서, 비정규직 증명서류(근로계약서, 본인확인서) 제출하여 평가한 후, 계약체결 전 정규직 증명서류(근로계약서)를 제출하도록 해야 한다.

※ 비정규직 정규직화는 해당 사업에 투입되는 인력인 경우에만 평가 적용

⑩ “J”는 최근 3년 이내에 고용노동부, 서울시 하도급부조리신고센터, 공정거래위원회 등을 통해 행정처분된 내역 확인과 발주부서 퇴직공무원 고용업체 인지를 확인한다.

가. “발주부서 퇴직공무원 고용업체” 관련 제출 서류는

- 법인 : 법인등기부 등본, 주식명부·변동사항명세서, 4대보험 중 1개

[가입자명부(성명, 생년월일, 남․여 구분 포함)

- 개인 : 4대보험중 1개 [가입자명부(성명, 생년월일, 남․여 구분)]

※ 입찰참가업체 내 대표자, 이사, 주주(자본금 출자지분 관련), 근로자 중 서울시 퇴직자 포함된 경우 경력증명서 제출 필(발주부서 근무여부 확인)

※ 발주부서 퇴직근로자는 퇴직일로부터 2년 이내 해당될 경우만 감점 대상이며, 퇴직공무원 2인 이상도 퇴직공무원 1인과 동일 감점(-1점)을 부여함

□ 기술능력(정성적 지표) 평가기준

○ 평가항목 및 배점

평가항목		평가내용	배점
전략 및 방법론 (10)	사업의 이해도(3)	∘평가기준 사업의 특성 및 목표인식를 고려하여 주변 환경분석과 업무내용 연관관계의 이해를 바탕으로 일관성 있는 방향과 전략을 제시하는지를 평가 ∘평가요소 ‣개발목표 및 내용의 이해도, 문제파악의 정확성, 제안요청서와의 부합성 ‣120상담 업무 특성 및 챗봇 적용시 고려사항 등에 대한 이해여부 ‣챗봇사업의 위험도 인지 등 사업 위험도의 명확한 이해여부	3
	추진전략 및 적용기술 (7)	∘ 평가기준 당해사업의 위험요소를 고려하여 성공적 사업추진을 위해 제시한 추진전략의 타당성, 적용기술과 방법의 현실성 및 확장가능성 등을 평가 ∘ 평가요소 ‣추진전략의 창의성 및 타당성 ‣제안기술의 실현가능성 및 혁신성, 확장가능성	7
기술 및 기능 (20)	데이터 (7)	∘ 평가기준 챗봇이 정확하게 이용자의 질문의도를 이해하고 상담 가능하도록 사전에 준비하는 지식데이터(질의응답 세트, 유의어사전, 대화시나리오, 120시스템과 연계한 지식DB 등)의 구축 및 검증방안의 적정성과 확장 가능성을 평가 ∘ 평가요소 ‣지식데이터 구축 및 검증 방안의 적정성 ‣지식데이터의 효과적 활용방안의 적정성 ‣지식데이터의 지속적 학습 및 확장 가능성	7
	기능 (13)	∘ 평가기준 시스템 장비구성 요구사항, 기능요구사항, 인터페이스요구사항 등 제안요구사항 각각에 대한 제안의 우수성을 평가 ∘평가요소 ‣각 기능별 요구사항에 대한 제안의 적합성, 우수성, 타당성, 실현가능성 ‣타 시스템과의 연계방안의 적정성, 적용방안 및 기술의 적정성 등	13
성능 및 품질 (20)	성능(13)	∘평가기준 구현기능을 통해 요구 성능이 충족되도록 방법론 및 분석 도구를 활용하여 구체적인 내용으로 분석되고 구현 및 테스트 방안이 구체적으로 기술되어 있는가를 평가하고, 제안한 방안 및 기술을 통해 요구 성능을 충족시킬 수 있는지를 평가 ∘평가요소 ‣챗봇 성능(응답률, 정확도)제고를 위한 적용기술 및 시험방안의 적정성 ∘ 지속적 성능확보를 위한 학습 및 지식DB 고도화 방안의 적정성, 용이성	13
	품질(7)	∘평가기준 분석 도구 및 구현 방안, 테스트 방안이 구체적으로 기술되어 있는가를 평가하고, 분석·설계 등 각 단계별 품질 요구사항의 점검 및 검토 방안이 구체적으로 계획되어 있는가를 평가하며. 각 단계마다 품질을 점검하는 별도의 전문 인력이 투입되는가를 평가 ∘평가요소 ‣분석‧설계 등 단계별 품질 요구사항 점검 및 검토 방안의 적정성 ‣품질관리 조직 운영의 적정성	7
프로젝트 관리 (8)	관리방법 (4)	∘ 평가요소 사업위험 및 일정(진도)관리, 산출물 관리 등 사업수행 과정과 산출물의 형상 및 문서관리방법, 각종 사업수행에 따른 회의, 보고 등 사업수행을 위한 전반적인 관리방안에 관하여 평가 ∘ 평가요소 ‣일정별 활동계획, 일정에 따른 보고 및 회의 계획의 구체성‧합리성 ‣중간목표의 타당성, 자원배분의 합리성, 발주기관과의 협력방안의 적정성 ‣개발장비 보유 및 확보 방안 등	4
	관리역량 (4)	∘ 평가기준 프로젝트관리 방안의 적정성과 챗봇 프로젝트 경험 및 의사소통 능력 등 프로젝트관리자(PM)의 역량 및 사업참여 인력의 역량을 평가 ∘ 평가요소 ‣사업관리자(PM)의 챗봇 사업관리 경험 및 역량 ‣수행조직의 챗봇 사업관리 경험 및 역량 ‣사업수행 조직에 대한 사업지원체계 등	4
프로젝트 지원 (12)	교육 및 기술이전 (7)	∘평가기준 120상담사의 챗봇 현황관리 및 오답률 점검, 챗봇 학습 및 지식DB 고도화 등 시스템 운영관리를 위한 교육 및 기술이전 방안에 관하여 평가 ∘평가요소 ‣교육훈련 방안(내용, 방법, 일정, 조직)의 적정성 ‣기술이전(내용, 방법, 일정, 조직)의 적정성	7
	기타 프로젝트 지원 (5)	∘평가기준 시스템 운영 기간(~'19.12월) 중 하자보수, 비상대책 방안, 시스템 운영 및 지식학습 지원방안, 기타 추가제안 등을 평가 ∘평가요소 ‣ 하자보수 및 운영지원 방안(계획, 조직, 내용, 절차, 기간)의 적정성, 기밀보안 체계 및 대책의 적절성, 백업/복구 대책 및 장애대응 대책의 적절성 등	5

○ 평가방법

평가항목별 등급을 5등급(수, 우, 미, 양, 가)로 구분하여 평가하며, 항목별 배점에 따라 등급점수를 부여하고, 항목평가를 위한 자료 미제출시는 ‘하’ 등급으로 처리

등급	수	우	미	양	가	하 (자료미제출시)
점수(%)	100	90	80	70	60	0

※ 정성적평가는 제안서평가위원이 자율적으로 평가하되, 평가의 변별력 확보를 위하여 불가피한 경우를 제외하고는 업체 간 동점부여를 지양.

붙임 2	관련서식

(서식1)

정량적 평가점수 집계표

○ 사업명 : 인공지능 기반 대화형 서비스 시범사업

평 가 항 목		배 점	업 체 명
			가	나	다
합 계		20점
기술인력	참여인력 기술상태	6
수행경험 (실적)	실적금액	3
	실적건수	3
경영상태	신용등급 평가	6
업체전문성 (신인도)	기술(품질)인증 보유	1
	혁신형중소기업	1
	계약이행과정의 성실성(납품지연), 하도급 대금지급 사후제출 미이행	(-1.3)
가산점		가․감점 (13.6)

2018년   6월     일

확인자 :  평가위원장                 (인)

(서식2)

평가위원 채점표 (위원용)

○ 사업명 : 인공지능 기반 대화형 서비스 시범사업

평가부문	평가항목	배점	업체명			평가사유
			가	나	다
합 계		70
전략 및 방법론	사업의 이해도	3
	추진전략 및 적용기술	7
기술 및 기능	데이터	7
	기능	13
성능 및 품질	성능	13
	품질	7
프로젝트 관리	관리방법	4
	관리역량	4
프로젝트 지원	교육 및 기술이전	7
	기타 프로젝트 지원	5

2018년   6월     일

평가위원                   (서명)

(서식3)

업체별 정성적 평가점수 집계표

○ 업체명 :

평가부문	평가항목	배점기준	위원명
			A	B	C	D	E	F	G	H
전략 및 방법론	사업의 이해도	3
	추진전략 및 적용기술	7
기술 및 기능	데이터	7
	기능	13
성능 및 품질	성능	13
	품질	7
프로젝트 관리	관리방법	4
	관리역량	4
프로젝트 지원	교육 및 기술이전	7
	기타 프로젝트 지원	5
총 점		70
합계점수 (8명)
최고점수 (제외)
최저점수 (제외)
평균점수 (6명)

2018년    6월     일

작성자 :                  (서명)

검토자 :                  (서명)

확인자(평가위원장) :                  (서명)

(서식4)

입찰가격 평가점수 집계표

○ 사업명 : 인공지능 기반 대화형 서비스 시범사업

구 분	배 점	업 체 명			비 고
		가	나	다
입찰가격	10				최저입찰가격
					원
(예정가격 대비 비율, %)		( %)	( %)	( %)
평가점수	10				예정가격
					원

2018년    6월     일

확인자 : 평가위원장                 (서명)

(서식5)

평 가 결 과  의 결 서

「인공지능 기반 대화형 서비스 시범사업」의 협상대상자 선정을 위한 제안서 평가위원회 심의결과, 아래와 같이 협상적격자 및 협상순위를 결정하고 의결함

○ 협상적격자 :     개 업체 (제안 참여업체 :  개 업체)

○ 협상순위

구 분		1순위	2순위	3순위
업 체 명
총 점
입찰가격 평가점수 (10)
기술능력 평가점수 (90)
	정량적지표 평가점수 (20)
	정성적지표 평가점수 (70)

2018년    6월     일

제안서평가위원회 위원장                    (서명)

위  원                    (서명)

위  원                    (서명)

위  원                    (서명)

위  원                    (서명)

위  원                    (서명)

위  원                    (서명)

위  원                    (서명)

(서식6)

제안서평가위원회 평가위원 동의서

○ 사 업 명 : 인공지능기반 대화형서비스 시범사업

○ 발주기관 : 서울특별시

본 제안서평가위원회 위원 전원은「서울특별시 제안서평가위원회 설치 및 운영에 관한 규칙」제5조 제1항 단서조항에 따라 평가위원의 3분의 2 이상 출석으로 제안서평가위원회를 개회하는 것에 동의합니다.

2018년    6월     일

제안서평가위원회 위원장                    (서명)

위  원                    (서명)

위  원                    (서명)

위  원                    (서명)

위  원                    (서명)

위  원                    (서명)

위  원                    (서명)

위  원                    (서명)

(서식7)

제안서평가위원회 평가위원 보안각서

○ 사 업 명 : 인공지능 기반 대화형 서비스 시범사업

○ 발주기관 : 서울특별시

본인은 위  협상에 의한 계약의 제안서평가위원회(평가위원)으로 위촉받아 평가업무를 수행함에 있어 아래사항을 준수하고 관계 절차에 따라 위원의 양심과 도리로 공정하게 수행할 것을 서약하며 이에 각서를 제출합니다.

1. 본인은 당해 사업의 제안업체와 특수한 이해관계가 없음을 확약합니다.

2. 본인은 당해 평가업무 수행과정에서 습득한 제반내용(평가위원 및 예비위원 정보 포함)을 외부에 누설하지 않겠습니다.

3. 이유여하를 막론하고 이해관계자에게 어떤 부당한 요구를 하거나 금품․향응 등을 제공받지 않겠습니다.

4. 평가위원으로 수락한 시점부터 평가가 완료될 때까지 입찰참여업체의 관계자와는 어떠한 경우에도 직․간접적으로 개별 접촉하지 않겠습니다.

5. 본인은 위 내용을 위반 할 시에는 관계 법령에 따라 어떠한 처벌이라도 감수할 것이며, 발주기관의 보안침해, 제안사의 지식재산권(특허권, 실용신안권, 디자인권, 저작권 등)의 침해, 기타 중대한 문제를 야기 시켰을 경우 관련 제 법규에 의한 조치를 따르겠습니다.

2018년    6월    일

서약자      소속                성명            (서명 또는 인)

서울특별시 정보기획담당관 귀하

제안서 평가 시 평가위원 유의사항

<평가 전 확인사항>

① 평가위원 본인 또는 소속단체가 해당사업의 이해당사자가 되는지 여부

② 해당업체에 재직했거나 하도급을 포함하여 용역, 자문, 연구 등 수행 여부

③ 평가위원 소속단체나 학회 등이 평가대상 업체로부터 지원받은 후원금이 해당사업과 관련이 있는지 여부

④ 평가위원 본인이 기타 공정한 심사를 할 수 있는지 여부

<평가 시 유의사항>

① 평가위원은 분위기를 주도하여 특정업체를 지지하는 발언을 금한다.

② 표정으로 찬성․반대 입장을 표명하여 타 위원에게 영향을 끼쳐서는 안 된다.

③ 평가위원 상호간 상의, 협의 하지 말아야 한다.

④ 우수, 미흡사항에 대해 언행으로 표현하지 말고 평가점수로 표현한다.

⑤ 제안서의 잘못된 부분을 지적하여 고치려 하지 말고 평가점수로 표현한다.

⑥ 미루어 짐작하거나 축소, 확대 해석하지 말아야 한다.

⑦ 자신의 지식을 전달하려 하지 말아야 한다.

⑧ 가르치려 하거나 배우려 하지 말아야 한다.

⑨ 정답이나 오답을 유도하지 말아야 한다.

⑩ 평가 종료 후 본인의 평가내용을 밝히지 말아야 한다.

(서식8)

개인정보 수집 ․ 이용 동의서

서울특별시장 귀하

「서울특별시(정보기획담당관)」에서 제안서 평가위원 추천업무를 진행하는 데에 있어서 본인의 개인정보를 수집 ․ 이용하는 경우에는「개인정보보호법」에 따라 본인의 동의를 얻어야 합니다. 이에 본인은 아래와 같이 본인의 개인정보를 수집 ․ 이용하는 것에 동의합니다.

1. 수집 ․ 이용에 관한 사항
수집 ․ 이용 목적	위원회 운영	￭ 제안서 평가위원회 구성 등 행정업무
	행정업무 관련 우편물 발송	￭ 행정업무와 관련된 각종 안내, 확인, 알림 우편물 발송 등
수집 ․ 이용 항목	필수적 정보	￭ 기타 개인정보 : 성명, 직업, 주소, 전자우편 주소, 전화번호, 은행계좌번호 등
	선택적 정보	￭ 기타 개인정보 : 주거 및 자격정보, 경력정보, 공용정보 등
	기타 정보
보유 ․ 이용 기간	위 개인정보는 수집 ․ 이용에 관한 동의일로부터 ~ 관련문서보존기한(5년)까지 위에 설명된 이 목적을 위하여 보유 ․ 이용됩니다. 보유기간의 경과, 개인정보의 처리 목적 달성 후에는 정보주체로부터 별도의 동의를 받거나 다른 법률에 특별한 규정이 있는 경우 등을 제외하고 해당 개인정보는 복구 또는 재생되지 않는 방법으로 파기됩니다.

2. 동의 거부에 관한 사항

서울시인재개발원은 개인정보 주체가 행정업무상 필요한 최소한의 개인정보 외의 정보 수집에 동의하지 아니한다는 이유로 개인정보 주체에게 각종 행정 서비스의 제공을 거부하거나 불이익을 발생시키지 않습니다.

본인은 위와 같은 사항에 대하여 서울특별시(정보기획담당관)로부터 충분히 설명을 듣고 이해하였으며 본인의 개인정보를 수집 ․ 이용하는 것에 동의합니다.

개인정보의 수집 ․ 이용에 (동의함 □ 동의하지 않음 □)

본인은 위와 같은 사항에 대하여 서울특별시(정보기획담당관)로부터 충분히 설명을 듣고 이해하였으며 업무상 본인의 정보를 수집 ․ 이용하는 것에 동의합니다.

고유식별정보 및 민감정보의 수집 ․ 이용에 (동의함 □ 동의하지 않음 □)

2018 년     6 월     일

성명 :                 서명 또는 (인)

「서울특별시(정보기획담당관)」은 행정업무를 진행함에 있어서 시민의 개인정보를 중요시하며,「개인정보보호법」에 관련된 사항을 준수하고 있습니다.

(서식9)

제안서평가위원별 평가점수 공개표

□ 평가위원 명단

위원명
소 속

※ 평가위원 명단표는 실명공개

□ 평가위원별 평가결과

평가위원명	업 체 별 평 점
	가	나	다
평가위원 A
평가위원 B
평가위원 C
평가위원 D
평가위원 E
평가위원 F
평가위원 G
평가위원 H

※ 평가위원별 평가결과표는 실명비공개

- 인공지능 기반 대화형 서비스 시범사업 -

제안서평가결과

□ 심사위원 :

□ 소    속 :

□ 심사점수

평가 부문	입찰참가 업체명			비고
	가	나	다
ㅇㅇ 부분
⁞
합계

※ 기술 및 기능, 성능 및 품질, 프로젝트 관리, 협력 등

※ 지방자치단체 또는 계약담당자는 평가의 공정성 확보를 위하여 필요하다고 인정되는
경우에는 위원명을 공개하지 아니 할 수 있다.