BCIO 사례 연구 — 구축 방법론 9단계

배경 — 증거가 사람의 독해 속도를 넘어섰다

행동 변화 개입 — 금연 프로그램, 운동 장려, 복약 순응 개입 — 의 연구 논문은 한 사람이 읽어 낼 수 없는 속도로 쌓인다. 게다가 보고 용어가 제각각이라(4-1의 징글·쟁글) 무엇이 효과 있었는지의 합성이 어렵다. 유니버시티 칼리지 런던의 미치(Susan Michie) 연구진이 이끈 인간 행동 변화 프로젝트(HBCP)는 이 문제에 정면으로 답했다. 개입 보고의 공유 어휘를 온톨로지로 만들고, 그 어휘로 문헌을 주석해, 증거 합성을 사람–기계 협업으로 바꾼다. 그 산출물이 행동 변화 개입 온톨로지 BCIO다. 상위 구조는 개입 시나리오를 이루는 것들 — 개입(내용과 전달), 맥락(대상 집단과 환경), 기전(MoA — 개입이 행동을 바꾸는 인과 과정), 결과 행동 — 을 가른다. 온톨로지가 AI 시대 과학 지식 합성의 기반 시설로 쓰인, 심리과학의 대표 사례다(1-1의 네 가지 기대 중 '근거 있는 답'의 과학 버전).

9단계 — 기전 온톨로지의 실제 절차

BCIO의 하위 온톨로지인 기전(MoA) 온톨로지는 구축 절차를 9단계로 보고했다. 이 목록이 트랙 4에서 가장 실무적인 자료다.

표 1MoA 온톨로지의 9단계와 실습의 대응. 실습 9차시(5-1~5-9)가 독자적 발명이 아니라 검증된 절차의 축소판임이 확인된다 — 순서만 다르고 성분은 같다.

차용할 핵심 — 주석 기반 정제

3단계가 이 방법론의 심장이다. 초안 온톨로지로 실제 개입 보고 논문들을 주석(annotation)해 본다 — 논문의 문장마다 "이 대목은 어느 클래스의 사례인가"를 붙이는 작업이다. 붙지 않는 문장(커버리지 구멍), 두 클래스에 걸치는 문장(경계 불명), 아무도 안 쓰는 클래스(과잉 구조)가 즉시 드러난다. 역량 질문 테스트(3-2)가 질의로 하는 검증을, 주석은 원자료로 한다. 실습에 작게 차용한다. OWL 구현 뒤(5-6), 인지심리 교과서의 기억 장(章) 한 절을 골라 문장 단위로 우리 클래스를 발라 보는 미니 주석 시험을 넣는다 — 구멍과 과잉의 1차 검출기다.

빌릴 수 없는 것 — 그리고 대체물

4·5단계는 공동체가 있어야 가능하다. 이해관계자 검토는 여러 전문가가 포괄성과 명확성을 심사하는 것이고, 평정자 간 신뢰도는 서로 다른 사람이 같은 논문을 주석했을 때 일치하는지를 재는 것이다 — 정의가 충분히 명확한지의 경험적 검사다. 1인 학습 프로젝트는 이것을 가질 수 없다. 1-6에서 짚은 공유 조건의 긴장이 절차 수준에서 재등장한 것이다.

대체물은 셋이다. 첫째, 정렬 — Cognitive Atlas·MFO라는 공동체 산출물과 맞대는 것이 간접적 외부 검토다(5-8). 둘째, 시차 재주석 — 몇 주 뒤의 자신이 같은 텍스트를 다시 주석해 일치도를 본다. 평정자 간을 평정 시점 간으로 바꾼 것이다. 셋째, AI 보조 검토 — 정의만 준 AI에게 주석을 시켜 불일치 지점을 찾는다. 3부(트랙 6)의 기법이 검증 도구로 쓰이는 지점이며, 완전한 대체는 아니지만 "나 혼자의 맹점"은 깨뜨린다.

판별 연습

적용: 실습 절차의 개정

이 차시로 실습 절차에 두 가지가 보태진다. 5-6(정의·출처 기재) 끝에 미니 주석 시험 — 교과서 기억 장 한 절의 문장 단위 주석, 구멍·과잉 기록. 그리고 5-9(회고)에 시차 재주석과 AI 보조 검토를 선택 항목으로 둔다. 결정 로그에는 이 개정의 출처(BCIO 9단계)를 적는다 — 방법 자체도 재사용(3-5)의 대상이다.

용어 정리