의과대학생의 자기모니터링 정확도(독일, 발달시험 연구)

1

여기 독일의 Charité University Hospital Berlin 라는 의과대학에 다니는 1학년 ~ 5학년 학생들이 있다. 이 학생들은 매 학기 초에 학년과 무관하게 모두 “동일한” 200문항짜리 시험을 본다. 학년과 무관하게 모두 동일한 문제가 출제된다. 당연히 5학년이 가장 높은 점수를 받을 것이며, 1학년은 가장 낮은 점수를 받을 것이다.

 

하지만 학년이 올라가면서 성적이 올라가는지 여부는 관심사가 아니다. 당연하니까. 1학년보다 2학년이, 2학년보다 3학년이, 3학년보다 4학년이, 4학년보다 5학년이 더 잘 하는게 뭐가 신기하겠는가?

 

2

학생들은 매 문제마다 해야 할 일이 하나가 더 있다. “얼마나 확신을 가지고” 문제를 풀었는지를 응답하는 것이다.

선택지는 세 가지이다.

1. 완전히 찍었어요(I am guessing)

2. 웬만큼 자신이 있어요(I am fairly sure)

3. 정답이 확실해요(I am very sure)

 

3

그렇다면, “정답에 자신감이 있는 문제”와 “완전히 찍은 문제”의 정답률은 얼마나 차이가 날까? 너무 당연한 질문일지도 모른다. 정답을 자신하는 문제일수록 정답률이 높을 것이다. 실제로도 그렇다. “정답히 확실해요”는 대략 90%, “웬만큼 자신이 있어요”는 대략 60%, “찍었어요”는 40% 정도의 정답률을 보인다.

 

그리고 당연히 1학년 때는 “완전히 찍은 문제”의 비율이 높고(약 절반), 학년이 올라갈수록 완전히 찍은 문제의 비율은 점점 낮아져서 5학년이 되면 10~15% 정도에 그친다. 반대로 “정답이 확실한” 문제는 1학년 때는 10%도 안 되다가, 5학년이 되면 문항의 절반 정도는 정답을 확실히 알고 풀었다고 답한다.

 

4

진짜 궁금한 것은 여기부터이다. 학생들은 자신의 ‘옳고 그름’ 혹은 ‘맞고 틀림’을 판단하는 능력이 학년이 지나면서 개선될까? 이러한 능력은 대부분의 분야에도 중요할테지만, 의사에게, 혹은 의사가 될 학생들에게도 예외는 아니다. 이유는 명확하다. 내가 뭘 알고 모르는지, 조금 더 나아가서 뭘 할 수 있고, 못 하는지를 알아야 적절한 도움을 요청할 수 있기 때문이다. 반대로 말하면, 내가 뭘 모르는지 모르고, 내가 뭘 못하는지 모르면 궁극적으로 그 부담과 해(harm)는 다른 의료진과 환자에게 가해지게 된다.

 

그러니까, 학년이 올라가면서 자기 평가(self-assessment)능력, 혹은 더 정확하게는 “특정 업무를 수행하는 순간의(in the very moment) 자기평가”를 의미하는 자기모니터링 정확도(self-monitoring accuracy)가 향상되고 있었을까? 어떻게 알 수 있을까?

 

5

만약 1학년은 “정답이 확실해요”라고 스스로 판단하는 자기모니터링 능력이 부족하고, 5학년은 이 능력이 더 높아졌을 것이라 가정해보자. 우선, “찍은 문항”의 숫자가 학년이 올라가면서 줄었더라도, 정답률은 학년 간 차이가 없을 수 있다. 1학년도 찍었고, 5학년도 찍었을 것이기 때문이다. 하지만 “정답이 확실해요”라고 선택한 문항에서는, 1학년의 정답률보다 5학년의 정답률이 높을 것이라고 예상해볼 수 있다.

 

그렇다면 실제 결과는 어떠했을까?

 

6

이미 여러 연구에서, 의사를 포함하여, 인간이 자기평가에 얼마나 취약한지는 반복적으로 확인되었다. 샘플링 관점에서 볼 때 이것은 전혀 놀랍지 않다. 자기평가의 N은 1이기 때문이다. 문제는 자기평가에서는 표본 크기를 늘릴 수 없다는 것이다. 이것의 함의는, 자기평가는 결코 독자적으로 의미를 지닐 수 없고, 반드시 다른 정보와 삼각검증triangulation 되어야한다는 점이다.

 

 

출처:

Kämmer, J. E., Hautz, W. E., & März, M. (2020). Self‐monitoring accuracy does not increase throughout undergraduate medical education. Medical education, 54(4), 320-327.