역량 질문 — 온톨로지가 답할 질문의 사전 정의

기원 — 답할 수 있어야 할 질문들

역량 질문은 그륀잉거와 폭스가 기업 온톨로지 TOVE를 만들며 제안했다(5-1). 원래 정식은 두 단계였다. 자연어로 적은 비형식 역량 질문, 그리고 그것을 논리식으로 옮긴 형식 역량 질문. 온톨로지의 역량(competency)이란 곧 "이 질문들에 답할 수 있음"이고, 평가란 그 역량의 확인이다. 1-4의 언어로 다시 말하면, 역량 질문은 의도된 모형의 표본을 질문 형태로 고정한 것이며, 테스트 통과는 그 표본 위에서 정밀도와 커버리지를 확인하는 일이다.

질문의 품질 기준 네 가지

역량 질문 자체의 품질이 평가의 품질을 정한다. 기준은 네 가지다. 첫째, 번역 가능성 — 질의 언어로 옮길 수 있어야 한다. 둘째, 원자성 — 한 질문은 한 가지를 묻는다. "작업기억의 정의와 측정 과제와 구성 요소는?"은 세 질문이다. 셋째, 판정 가능성 — 통과와 실패를 가를 기대 답, 곧 골드스탠더드가 있어야 한다. 넷째, 대표성 — 질문 집합이 용도 시나리오를 고르게 덮어야 한다. 계층 질문만 열 개면 측정 관계는 평가되지 않는다.

조회형과 추론형 — 공리 예산의 근거

질문은 답이 나오는 방식으로도 갈린다. 조회형 질문은 적힌 트리플을 찾으면 답이 나온다(예: CQ3 "작업기억을 측정하는 과제는?"). 추론형 질문은 적히지 않은 결론을 요구한다(예: "일화기억을 재는 과제는 서술기억도 재는 셈인가?" — 계층을 타고 올라가는 추론이 필요하다). 이 구분이 중요한 이유는 비용 때문이다. 추론형 질문이 하나도 없다면 공리와 추론기는 과잉 투자다(1-5, 2-5). 거꾸로 추론형 질문이 있다면 그 질문이 요구하는 공리만 정확히 들이면 된다. 질문 목록이 공리 예산의 영수증이 되는 것이다.

질문에서 테스트로 — 실제 번역과 실행

실습의 CQ3을 끝까지 번역해 본다. 질문: "작업기억을 측정하는 과제는 무엇인가?" 골드스탠더드: 현재 용어 대장 기준 {숫자폭 과제, N백 과제}. SPARQL 번역과 실행 결과는 다음과 같다(실습 명명 체계의 식별자를 그대로 썼다. 작업기억 = PSY_0000041).

# CQ3의 SPARQL 번역
PREFIX : <https://example.org/psymap/>
SELECT ?라벨 WHERE {
  ?과제 :measures :PSY_0000041 ;   # 작업기억을 측정하고
        rdfs:label ?라벨 .          # 그 라벨을 가져온다
} ORDER BY ?라벨

# 실행 결과 (rdflib)
질의 결과: ['N백 과제', '숫자폭 과제']
기대 집합: ['N백 과제', '숫자폭 과제']
CQ3 테스트: PASS

코드 1역량 질문의 테스트화, 실제 실행 결과. 질의 결과와 골드스탠더드가 일치하면 통과다. 결과가 모자라면 커버리지 문제(지식 누락), 넘치면 정밀도 문제(잘못된 연결)다 — 1-4의 두 축이 판정 규칙이 된다.

여기서 2-5의 교훈이 되살아난다. "measures가 없는 과제를 찾아라" 같은 완결성 점검은 열린 세계 가정 때문에 공리 수준에서 성립하지 않지만, SPARQL 테스트 수준에서는 가능하다. 테스트는 그래프를 닫힌 세계처럼 검사할 수 있는 자리이기 때문이다. 역량 질문 테스트가 추론기 검사와 별도로 필요한 깊은 이유가 이것이다.

판별 연습

적용: 실습 CQ 10문의 테스트 사양 확정

5-1의 CQ 10문을 이 차시의 기준으로 재점검한 결과를 기록한다. 10문 모두 번역 가능하고 원자적이다. 유형 분포는 조회형 8(CQ3~10), 추론형 2(CQ1·2)로, 학습용 지도라는 목적에 걸맞게 조회 중심이되 추론기의 존재 이유도 확보한다. 골드스탠더드는 구축이 진행되며 확정된다 — CQ3은 이 차시에서 확정했고({숫자폭, N백}), 나머지는 용어 대장이 계층을 얻는 5-3 이후에 적는다. 테스트 전체는 검증 차시(5-7)에서 일괄 실행하고, 이후 모든 수정마다 회귀 실행한다.

용어 정리