목적 정의의 선행 — 구축 실패의 주요 원인

실패의 전형 — 그럴듯한 그래프

실무자들이 공통으로 보고하는 실패 유형이 있다. 도구를 익히고, 개념을 모으고, 보기 좋은 그래프를 만들었는데, 막상 쓸 데가 없다. 어떤 질문에도 특별히 잘 답하지 못하고, 어느 시스템에도 꼭 필요하지 않다. 원인은 기술이 아니다. "이 지식으로 무엇을 할 것인가"라는 관점이 정의되지 않은 채 구축이 시작된 것이다. 그래서 숙련자일수록 "일단 온톨로지부터 만들자"는 제안을 경계한다.

이 실패가 구조적인 이유는 1부에서 이미 확보했다. 온톨로지는 목적이 거른 개념화의 명세이고(1-3), 품질은 의도된 모형에 들어맞는 정도다(1-4). 목적이 없으면 개념화를 거를 체가 없고, 의도된 모형이 없으니 들어맞음을 잴 자도 없다. 목적 없는 온톨로지는 나쁜 온톨로지가 아니라, 좋고 나쁨을 따질 수 없는 온톨로지다.

"좋은가"를 세 개의 질문으로 분해한다

"좋은 온톨로지인가"는 그대로는 답할 수 없는 질문이다. 평가 연구들은 이를 세 층으로 분해한다. 이 세 층이 트랙 3 전체의 지도다.

첫째 층은 기술적 품질이다. 모순이 없는가, 흔한 설계 실수는 없는가. 목적과 무관하게 검사할 수 있는 유일한 층이며, 추론기(2-6)와 함정 진단(3-3), 메타속성 분석(3-4)이 담당한다. 둘째 층은 목적 적합성이다. 선언한 목적이 요구하는 질문에 답하는가 — 역량 질문 테스트(3-2)가 담당한다. 셋째 층은 재사용성이다. 만든 맥락 바깥에서도 쓸 수 있는가 — 정렬과 이식성(3-5)이 담당한다.

층의 순서가 곧 의존 관계다. 모순 있는 온톨로지의 질의 결과는 믿을 수 없고(①이 ②의 전제), 목적도 달성 못 한 온톨로지의 재사용은 공허하다(②가 ③의 전제). 거꾸로 ①만 통과한 온톨로지 — 모순은 없지만 아무 질문에도 답하지 못하는 — 를 좋다고 말할 수 없다는 것이 "일단 만들자" 실패의 평가 이론적 번역이다.

목적이 바꾸는 것들 — 한 도메인, 세 온톨로지

같은 심리학 지식이라도 목적이 다르면 다른 온톨로지가 옳다. 1-6의 연습 문제를 표로 확장한다.

표 1목적별 설계의 분기. 세 열 모두에서 갈린다 — 목적은 범위만 바꾸는 것이 아니라 엄밀성의 수준과 이웃(정렬 대상)까지 바꾼다.

평가는 언제 하는가 — 생애주기 전체

평가를 완성 후의 일괄 검사로 미루는 것도 흔한 실수다. 온톨로지 공학 공동체의 합의는 생애주기 평가다. 설계 단계의 평가(관점 정의서와 역량 질문 자체의 검토), 구축 중의 상시 진단(추론기, 함정 스캔), 사후 검증(테스트, 정렬 점검), 그리고 운영 중의 재평가. 실습 프로젝트가 관점 정의서(5-1)를 구축의 첫 산출물로 삼은 것이 설계 단계 평가의 실천이고, 이 구도 전체는 트랙의 마지막 차시(3-6)에서 해석학적 순환으로 묶는다.

판별 연습

적용: 실습 프로젝트의 평가 지도

실습 온톨로지의 관점 정의서(5-1의 표 1)를 세 층에 대응시킨다. ① 기술 품질 — 완료 판정 항목의 "충족 불가능 0개"가 여기에 있고, 함정 진단(3-3)과 메타속성 점검(3-4)을 회고 차시에 추가한다. ② 목적 적합성 — 역량 질문 10문 테스트가 여기에 있다. ③ 재사용성 — Cognitive Atlas 정렬(정의서 항목 ④)이 여기에 있다. 정의서가 이미 세 층을 모두 품고 있었음이 확인된다. 이 트랙의 남은 차시는 각 층의 도구를 하나씩 채운다.

용어 정리