의대에서 교육하고 있습니다.

1

여러 의학교육 인증기관에서는 역량 프레임워크를 통하여 "교육능력"을 의사에게 필요한 핵심 기술로 강조했다. 이러한 흐름 속에, Resident-as-Teacher (RaT) 프로그램은 지난 수십 년 동안 빠르게 성장해 왔으나, 전공의 수련 기간만으로는 이러한 기술 습득에 한계가 있다. 이러한 이유로, 의과대학 기간 동안 학생들에게 ‘가르치는 방법을 가르치기 위하여’ "Student-as-Teacher"(SaT) 이니셔티브가 여러 국가에서 시도되고 있다. 어떻게 도입하는 것이 좋을까?

2

가장 먼저, 모든 이해 관계자와 함께 SaT 프로그램의 범위를 정의해야 한다. 주요 이해관계자에는 학생교수자(student teacher), 학생학습자(student learner), 교수진, 직원, 기관 리더 등이다. 아직은 SaT 프로그램에 대한 합의된 학습목표나 역량이 없기 때문에 이해관계자의 대화를 통해 모든 그룹이 합의한 목표를 수립해야한다.

3

SaT 이니셔티브는 학생과 교수진이 공동으로 이끌어야(co-led) 한다. SaT 교육과정이 장기적으로 지속가능성하고 양질의 퀄리티를 유지하려면 학생과 교수진 간에 팀 접근 방식이 필요하다. 학생 리더십과 교수 리더십이 공동으로joint 있어야 한다.

4

참여하는 학생들의 SaT 경험은 가능한 자발적이어야 한다. Near Peer Tutor (NPT)에게 비용 지불 여부는 중요한 고려사항이 된다. 논란의 여지가 많으며, 기관내 가용자원과 기관이 추구하는 가치에 달려 있다. 학점을 받는 경우는 대게 비용을 지불하지 않는다.

5

NPT를 충분히 준비시키기 위하여 공식적 teacher-training 커리큘럼을 개발해야 한다. 2016년, 25개에서 참여한 US Academy directors and medical educators의 합의 연구에서는 SaT 교육과정에 필요한 내용으로 (1)피드백, (2)임상 상황에서의 Bedside teaching, (3)소그룹 교육, (4)사례-기반 교육, (5)의학교육자로서 전문직업성 등을 꼽았다.

6

NPT와 교수와의 관계가 종단적으로 유지되도록 해야 하며, NPT와 학생학습자 사이의 사회적 합치(social congruence)와 인지적 합치(cognitive congruence)를 활용해야 한다. 사회적 합치는 (레지던트, 동료, 주치의와 달리) NPT와 학생학습자가 모두 위계의 아래에 있다는 사실에서 기인한다. 인지적 합치는 비슷한 수준의 지식기반(knowledge base)을 가지고 있다는 점에서 발생하는데, NPT가 모든 질문에 대해서 답을 줄 수는 없기 때문에, 자신이 정답을 모르는 경우에는 틀린 답을 주기보다는, "잘 모른다"라고 대답하도록 권장하는 것이 필수적이다. 마지막으로 NPT가 자신의 교수자로서의 경험에 대한 성찰할 수 있는 기회를 포함해야 한다.

7

SaT 프로그램 도입 후에는, 모든 이해관계자로부터 피드백을 수집하는 것이 중요하다. 또한 SaT가 어떤 영향력(impact)을 미쳤는지에 대한 종단적인 조사가 필요하다. RaT와 SaT, 그리고 교수개발 프로그램을 통합하는 방법이 있을지 고려해보아야 하며, SaT 프로그램의 지속가능성을 보장하고자 노력해야 한다.

출처:

Freret, T., Rana, J., Schwartzstein, R. M., & Gooding, H. C. (2017). Twelve tips for implementation of “student-as-teacher” programs. Medical teacher, 39(12), 1221-1226.

1

Scoring inference: 평가는 몇 개의 수행능력을 관찰하는 것으로부터 시작하며, 이로부터 공정/정확/재생산가능한 양적 점수를 생성해내야 한다.

2

Generalisation inference: 일반화를 이해하기 위해서 우리는 '시험 상황'에서의 수행능력과 '실제 상황'에서의 것을 구분할 필요가 있다. 일반화는 '시험 상황'의 수행능력에 대한 것이다. 이론적으로 시험 상황universe of assessment에서 만들 수 있는 문항의 숫자는 거의 무한하다. 따라서 '일반화'란 '얼마나 문항들을 잘 선택했는가'의 문제이다. 이에 대한 답은 크게 두 가지인데, 하나는 test domain 내에서 적절한 표본 선정을 했는지에 관한 것이다(블루프린트 사용, 포화 등). 질적 자료에서 Triangulation과 Saturation은 ‘일반화 추론’을 도와준다. 두 번째는, 완전히 새로운 표본에서 비슷한 점수를 얻을 가능성(재생산가능성, 신뢰도 등)이다. 후자는 CTT나 일반화가능도이론을 이용해서 결정할 수 있다.

3

Extrapolation inference: '외삽'은 시험 상황에서 실제 상황으로 나아가는 것이다. 이를 위해서는 (1) 시험 영역에서의 점수가 실제 수행능력의 핵심 특성을 반영하게끔 해야 하며, (2) 시험 수행능력과 실제상황의 수행능력 간 관계 분석해볼 수 있다. 질적 연구라면, 외삽은 이해관계자들이 해석에 동의하거나 새로운 훈련이나 수행의 맥락에서 적용될 것이라는 기대를 보여주는 근거에 의해서 얻어질 수 있다. 다만, 일반화와 외삽 추론은 서로 반대 방향으로 작용할 수 있다. Kane은 '우리는 일반화를 희생하여 외삽을 강화시킬 수 있다(평가 과제가 평가 대상 영역을 반영하도록 함), 또는 우리는 외삽을 희생하여 일반화를 강화시킬 수 있다(다수의 고도로 표준화된 과제를 사용)'라고 지적했다.

4

Implication inference: Kane은 '시험 점수를 해석하는 특정한 방식’이 타당하다고 해서, 자동적으로 ‘그 점수를 활용하는 방식’까지 정당화되지는 않는다' 라고 말했다. 또한 '완벽하게 정확한 정보를 바탕으로 하더라도, 이에 기반한 의사결정은 목적을 달성하지 못할 수 있다. 설령 목적을 달성하더라도 비용이 너무 많이 들어갈 수도 있으며, 심지어는 그냥 폐기되어야 할 수도 있다' 라고 했다. 다르게 말하면, 비록 정확한 측정을 했더라도, 측정에서 얻어진 정보가 유용할 것인지(혹은 적절하게 활용될 것인지)는 또 다른 문제라는 것이다. 따라서 타당도 주장의 최종 단계는 이 평가가 학습자/이해관계자/사회에 미칠 여파를 평가하는 것이다.

5

함의 추론을 위한 방법으로는, standard setting 연구, 의도하거나 의도하지 않은 결과를 탐색하는 연구, 남성-여성 등 세부그룹 간 차이 비교 연구 등이 있다. 예를 들자면, ‘시험에서 떨어진 학생들과 통과한 학생들에게는 어떤 일이 생기는가?’ ‘재교육remediation이 후속 평가에서 수행능력의 향상을 가져왔는가?’ 등의 질문에 답하는 것이다.

6

타당도 주장이 일관성을 갖도록 근거 수집을 계획하고 제시해야 한다. 타당도 주장을 뒷받침하기 위한 모든 추론은 가치가 있지만, 중요도가 동일하지는 않다. '일반화 추론'은 형성평가를 강조하는 상황에서는 덜 중요하고, '외삽 추론'은 실제 상황에서의 수행을 직접 관찰하는 상황에서는 덜 중요하다. 따라서 근거를 수집하기 전에 '가설을 명확히 설정하는 것(IUA)'이 중요하다. 또한, 흔히 한 목적이나 맥락에서 validate된 검사는 다른 목적이나 맥락에서도 그러할 것이라고 가정하는 실수를 범하곤 하나, 사실은 모든 평가는 새로운 interpretation and use마다 validation되어야 한다.

7

최종적으로 다음과 같이 요약할 수 있다.

첫째, validation은 끝이 아니라 과정이다. 검사가 'validate'되었다고 말하는 것은, 그 과정을 수행했다는 것을 의미할 뿐, 의도한 해석, validation의 과정, 그 과정이 이뤄진 맥락 등을 지칭하는게 아니다.

둘째, 바람직한 validation은 점수의 해석과 사용을 명확히 기술에서 시작해야 한다. 그 다음으로 핵심 주장과 근거를 정의하는 IUA를 세심하게 계획하고, 마지막으로 타당도주장을 위한 논리적, 실용적 근거를 수집하고 종합한다.

셋째, 가장 취약한 고리에 초점을 둬야 한다.

넷째, 많은 임상, 교육 사례에서 점수/일반화/외삽 근거는 상당히 강력하다. 결국은, 실제 행동을 위한 함의implication에 이르러서야 부족한 것이 드러난다. 이러한 이유로, implication이 validity argument에서 궁극적으로 가장 중요하다.

출처: 

Cook, D. A., Brydges, R., Ginsburg, S., & Hatala, R. (2015). A contemporary approach to validity arguments: a practical guide to K ane's framework. Medical education, 49(6), 560-575.

1

우리가 학습자를 평가할 때, 우리는 주로 '숫자'를 생성한다. 그러나 숫자는 중간과정일 뿐이다. 우리가 진짜로 원하는 것은 그 학습자에 대한 '판단decision'이며, 예컨대 '합격인가?' 하는 것이다. 따라서 궁극적으로 보았을 때, 타당화validation라는 것은 결국 '최종 판단의 방어가능성defensibility를 지지하는 근거'를 수집하는 것이다.

2

임상적 예시를 들어볼 수 있다. PSA검사가 전립선암 진단에 유용한가? 근거를 살펴보면, 재검사에 대한 결과가 reproducible하고 매년 측정한 결과도 그렇다. 그러나 이러한 긍정적 결과에도 불구하고 대부분의 남성에 대해서는 검사를 권고하지 않는다. 불일치의 원인은 PSA에 뒤따르는 추가 검사에서 발생할 수 있는 의도하지 않은 부정적 결과 때문이며, 더 중요하게는 대규모 무작위연구의 결과가 상충했기 때문이다. 

3

이 예시의 교훈은 다음과 같다.

첫째, 모든 평가가 다 도움이 되는 것은 아니다. (예: 낮은 점수가 불필요한 재교육활동으로 이어질 수 있다)

둘째, 사람들은 동일한 근거를 두고도 서로 다른 결론에 이를 수 있다.

셋째, 어떤 맥락에서는 유용한 평가가 다른 맥락에서는 그렇지 않을 수 있다 (예: PSA검사의 특성은 연령에 따라 다르다. 교육 시에 체크리스트는 절차적 기술의 평가에는 적합하나, 임상현상의 미묘한 차이를 잡아내지는 못한다.)

넷째, 시험(검사)의 유용성은 목적에 따라 다르다 (예: PSA검사는 일반적으로 암의 재발을 보는데 좋다. mini-CEX는 총괄적 목적보다 형성적 피드백 제공에 유용하다)

다섯째, 평가 행위 자체가 개입intervention이다. 시험-강화 학습Test-enhanced learning이 그 예시이다.

4

평가에 관하여 어떤 근거를 수집하고 어떻게 해석할 것인지는 타당도 주장validity argument에 따라 달라진다. 다만 오직 조각의 근거만으로 결론을 내릴 수 있을 정도로 명백한 경우는 거의 없다. 보통, 타당도 주장에는 각각의 근거는 불완전하더라도, 종합적으로 판단을 내리기에는 충분한 다수의 근거가 필요하다. 법정에 비유하자면, 얼마나 많은 근거가 필요할지는 그 결정의 ‘무게’에 달렸다. Kane은 validation의 과정을 ‘첫째, 의도나 해석에 관한 주장을 기술한다(interpretation/use argument, IUA). 둘째, 이 주장을 평가한다(validity argument)’라고 요약했다. 이와 같은 두 단계 접근법은 일상적으로 연구에서 가설을 검증하는 것과 다르지 않다.

5

가설의 가장 취약한 고리를 찾아내고, 그것을 평가할 검사를 계획해야 한다. 가장 취약한 고리를 찾아내려고 할 때 참고할 수 있는 Kane은 타당도주장에 대한 프레임워크는 다음의 네 단계로 나눠져있다.

(1) 단일한 관찰결과(객관식 문항, OSCE, 포트폴리오)에서 점수를 얻는 과정 (Scoring)

(2) 관찰에 대한 점수를 시험 상황에서의 일반적 수행능력을 대표하는 점수로 일반화 (Generalisation),

(3) 시험 상황에서의 점수를 실제 상황에서의 수행능력으로 추론하는 외삽 (Extrapolation)

(3) 정보를 해석하고, 해석한 의미를 바탕으로 결정을 내리는 것 (Implications)

6

타당도 주장에서 중요한 것은, 여러 단계에 필요한 여러 추론inference을 포괄할 수 있도록 다양한 출처의 근거를 포함하는 것이다. 또한 가장 취약한 고리에 초점을 맞추는 것도 중요하다. 이런 점에서 Kane의 프레임워크가 가지는 장점 중 하나는 심리측정자료psychometric data에 지나치게 의존하지 않기에, 비정량적 평가에도 적용가능하다는 점이다.

출처:

Cook, D. A., Brydges, R., Ginsburg, S., & Hatala, R. (2015). A contemporary approach to validity arguments: a practical guide to K ane's framework. Medical education, 49(6), 560-575.

1

타당도 근거를 수집하고 해석하는 과정을 'validation'이라고 부른다. 지난 100년을 간략히 요약하자면, 초반에는 두 종류의 validity가 있었다. 평가 문항을 만드는 것과 관련된 내용타당도(content validity)와, 동일한 현상을 측정하는 레퍼런스 기준reference standard와 얼마나 상관관계가 있는지에 관한 준거타당도(criterion validity)가 그것이다.

2

하지만 내용타당도는 거의 언제나 검사를 지지하는 결과를 보여주었다. 한편 레퍼런스 기준을 찾고 validating하는 것이 매우 어렵다는 것도 알게 되었다. 특히 실체가 없는 특성(예: 프로페셔널리즘)이 그러했다. 명확하게 정의내릴 수 있는 준거가 존재하지 않는 상황에서 대안으로 제시된 것은 '구인타당도'였다. 이는 특정 '구인'의 개념이나 그것과 관련된 이론을 바탕으로, 구인(construct)이라는 실체가 없는 특성은 관찰가능한 특성attributes과 연결될 수 있음을 의미했다. 구인타당도를 도입한다면, 타당도를 검증할 때, 관찰가능한 특성을 측정하고, 이론적인 관계theorised relationship을 평가하면 된다.

3

뒤이어 다양한 타당도의 '유형'들은, 신뢰도reliability metrics를 통합하고, 궁극적으로는 구인-관련성(construct-related relationship)을 지지하(거나 반박하)는 공통의 경로commom pathway를 갖음을 깨달았다. 그 결과, '다양한 유형의 타당도’라는 개념을 벗어나, ‘구인타당도(construct validity)가 유일한 타당도’의 지위를 얻게 되었고, 이 구인타당도를 지지하는 '다수의 근거 출처evidence from multiple sources'라는 통합된 프레임워크에 이르게 된다.

4

먼저 널리 인정받은 것은 Messick의 프레임워크지만, 여러 다른 출처의 타당도 근거 사이에서 우선순위가 어떠해야 하는지를 정해주지 않았고, 평가에 따라 그 우선순위가 어떻게 달라지는지도 보여주지 못했다. 이런 측면에서 Kane의 프레임워크는 양적 평가, 질적 평가, 평가 프로그램에 모두 적용될 수 있다는 것이 장점이다. 그리고 이러한 다재다능함은 ‘다수의 평가자료가 일상적으로 통합되는 ‘후기-심리측정의 시대post-psychometric era’로 옮겨가게끔 이끌었다.

출처:

Cook, D. A., Brydges, R., Ginsburg, S., & Hatala, R. (2015). A contemporary approach to validity arguments: a practical guide to K ane's framework. Medical education, 49(6), 560-575.

1

기초의학과 임상의학의 통합은 의료(practice of medicine)가 직면한 많은 도전에 대한 해답을 줄 것이라는 기대가 있었다. 1988년 에딘버러 선언은 '의학교육의 목적은 모든 사람들의 건강을 증진시킬 의사를 배출하는 것'이라고 하며, 의학교육의 커뮤니티에 '의학교육의 특성을 변화시켜, [의학교육이 위치한situated 사회가 정의한 요구defined needs]를 충족시키기 조직적이고 지속적인 움직임’을 주장했다. 뒤이어 나오는 구체적인 권고 중 하나는 '(기초)과학 교육과 (임상)실무 교육의 통합을 추구하며, 임상적 문제 해결을 학습의 기초로 활용한다'이다.

2

에딘버러 선언 이후 [기초과학과 임상과학의 통합]이라는 이상향ideal은 계속해서 이슈의 중심에 있었다. 여러 문헌과 더불어, 인증(accreditation)은 이러한 방향으로의 변화를 유도하기 위한 지렛대였다. [인증]은 또한 이러한 방향으로의 변화를 유도하기 위한 지렛대로 사용되어 왔다. 예를 들어, 미국 LCME는 커리큘럼이 '일관성', '조정성', '통합성'을 갖춰야 한다고 요구했으며, 호주의 AMC는 '…관련 교육 내용의 수평적(프로그램 부문 또는 연도 내)과 수직적(연속 프로그램 부문 또는 연도 내) 통합을 이룸으로써, 학생들이 과학적 지식과 임상 경험이 어떻게 좋은 의료 행위로 이어지는지 알도록 해야 한다’고 기술하고 있다. 영국 GMC에서도 각 의과대학이 '기초의학과 임상의학을 통합하여 이론과 실습을 연결할 수 있는 학습 기회'를 줄 것을 의무화하고 있다.

3

지금까지 ‘기초의학 교육이 임상적 역량에 긍정적인 영향을 줄 것이다’라는 가정은 대체로 액면 그대로 의심 없이 받아들여져 왔다. 비록 다수의 연구가 있었지만, 기초의학의 역할이나 통합의 효과를 실증적으로 입증하는 것은 정의하기 어려운(elusive) 목표였다. 뿐만 아니라 [적절한 통합은 어느 정도인지] 또는 [기초 대 임상의 상대적 균형은 어때야 하는지]에 대한 합의도 균일하지 않았다. 무엇보다 [기초과학 그 자체의 중요성]은 기초과학을 하는 사람들에게 국한된 것이었고, 그 외의 사람들에게는 [임상의료 내에서의 기초 과학]이 더욱 중요했다.

4

한편, 통합에 대한 관점도 차이가 있었다. 어떤 사람들은 ‘임상의학’을 의과대학 초기부터 노출시키는 것으로 여기는 반면, 어떤 사람들은 ‘기초의학’을 의과대학의 마지막까지 지속시키는 것으로 여긴다. 둘 중에 더 관심이 집중된 것은 전자이다. 무엇보다 의과대학이든, 전공의수련이든 기초과학의 존재감을 전 시기에 걸쳐서 유지하는 것은 이론적으로나 현실적으로나 어려운 일이었다.

5

통합에 대해 마지막으로 고려할 것은 ‘교육과정의 통합(시간표 상 통합)’과 ‘인지적 통합(학생의 머리 속에서 발생하는 통합적 이해)’가 혼재되어 있다는 것이다. 통합교육이 강조되는 이유는 후자, 즉 ‘인지적 통합’에 있을텐데, 에딘버러 선언을 포함하여 많은 경우에 ‘교육과정의 통합을 이루면 인지적 통합은 자연스럽게 뒤따를 것’이라는 가정을 내포하고 있다. 하지만 이 연결고리는 얼마나 견고한 것일까?

6

이러한 이유로 일부 연구자들은 ‘통합의 진정한 척도는 학습자 지식 수준에서 발생한 인지적 통합의 정도’가 되어야 한다는 경고를 한다. 단순히 ‘교육과정의 통합’을 이루는 것이 자동적으로 ‘인지적 통합’을 만들지 않을 것이기 때문이다.

7

[통합(교육과정)]이 환자진료 또는 미래 의료행위의 패턴에 이득benefit이 있는지를 확실히 입증하는 연구는 거의 없다. 전 세계적으로 프로그램 설계의 variation이 너무 많아서, best practice를 식별할 수 있는 기회도 많지만, 동시에 교란 변수도 너무 많아 프로그램 간의 직접적인 비교가 어렵다. 통합 모델의 교육 성과에 몇몇 메타 분석과 체계적 문헌검토가 있었으나, 여전히 기존 연구 중 확정적인 것은 없으며 학습자 만족도와 같은 낮은 수준의 성과를 보는 경우가 많았다. 이 밖에, 통합의 이득이 [지식의 습득과 보유]에만 관련되는지, 임상 실습 중 [문제 해결]까지 개선되는지 여부도 여전히 불분명하다.

8

통합을 위한 시도는 강의에만 국한되지 않는다. 통합을 위한 어떤 시도들은 종종 기초과학의 통합과는 무관한 다른 것을 추구한다는 점에 주목할 수 있다. 대표적으로 의료의 연속성에 대한 인식 개선과 공감의 저하를 막기 위한 종단적 통합 임상실습(LIC)가 있다. 하지만 이러한 통합이 인지적 통합이라는 목적을 달성하기 위한 것이라고 보기는 어렵다.

9

[인지적 통합]은 학생들이 [여러 임상적 맥락에서 학습하도록 요구]하거나, [기초과학과 임상 내용을 병렬적으로 제시]한다고 달성할 수 있는 것이 아니다. 몇몇 연구는 학생들이 [기초과학 지식을 다양한 맥락으로 '가져올bring' 때 인지적 통합이 자발적으로 일어날 것이라는 기대는 효과적이지 않을 수 있음]을 시사한다. 비록 에든버러 선언이 학습의 기초로서 [임상 및 공동체 환경에서을 문제 해결]을 권고했을지라도, 단순한 [이분법]보다는 보다 [포괄적인 접근법]이 요구된다는 것이 분명해지고 있다.

10

더 중요한 교훈은 교육과정에서 [임상적 징후clinical manifestation]을 [기초의학적 기전]과 통합하는 교육이 명시적으로 이뤄지도록 강조해야 한다는 것이다. 이것이 다양한 임상·공동체 환경에서 배우는 것이 가치가 없음을 의미하지 않는다. 하지만 [인지적 통합을 위한 의도적 교육]은 하지 않으면서, [대규모 커리큘럼 설계]에만 의존하는 것의 무의미함을 뜻한다.

11

마지막으로 언급할 것은, 의사 역량에서 ‘기초의학’ 대 ‘임상의학’이라는 이분법에 대한 의문이다. 여러 역량 프레임워크에는, 임상역량을 뒷받침하는 다양한 '비생물과학 지식non-bioscientific knowledge'가 포함되어 있다. 따라서 교육과정의 통합에서 인지적 통합으로 전환을 이루고자 할 때, ‘기초 과학’의 정의는 ‘임상적 지식과 경험을 더욱 유의미한 방식의 개념적 이해를 확립하는 데 사용될 수 있는 모든 형태의 지식’으로 확장된다. [통합]은 [응집력 있는 의학 지식의 정신적 표상mental representation을] 발달시켰을 때 비로소 달성되며, 여기서 의학 지식이란 [질병의 징후와 증상, 기초적인 생물학적, 심리적, 사회학적 메커니즘 사이의 명시적 연결]을 포괄한다.

12

이제 통합은 [지식 습득과 유지]를 향상시키는 것 이상의 가치를 가져야 한다. 미래의 의사는 기초 및 임상 과학에 대한 통합된 이해를 바탕으로 지식을 생산적으로 사용하여 [새로운 지식을 습득]하고, [복잡한 시스템에서 의료행위를 실천]하며, [건강 격차를 인식하고 바로잡는 역할]을 준비해나가야 한다.

출처:

Bandiera, G., Kuper, A., Mylopoulos, M., Whitehead, C., Ruetalo, M., Kulasegaram, K., & Woods, N. N. (2018). Back from basics: integration of science and practice in medical education. Medical education, 52(1), 78-85.

1

피드백 탐색 행동(Feedback-seeking behavior, FSB)은 자기 동기 (자기 평가, 자기 개선, 자기 향상, 자기 검증), 개인 및 대인 관계 요소 (피드백 제공자의 의도 및 특성, 피드백 탐색자와 제공자 간의 관계), 자존감에 대한 긍정적 또는 부정적 영향에 대한 인식에 달려있다.

2

교수들은 서면평가에서 모호하고 일반적(generic)인 표현을 쓴다. 학생 또는 전공의를 충분히 알지 못해서 일수도 있고, 조직 문화 때문에 자기-이미지에 위협이 되는 표현을 쓰기 어려웠을 수도 있다. 그러나 결국 비특이적이고 도움되지 않는 의견을 주는 결과를 낳았다.

3

예절(공손)이라는 개념에 따르면, "관습적 간접성(conventional indirectness)"이 존재한다. 이는 [어떤 단어가 그 전문직 문화에서 암시하는 특정한 의미가 있는데, 그것이 문자 그대로의 의미와는 매우 다른 것]을 의미한다. 이로 인해 교사와 학습자는 행간을 읽어야만 한다. 예를 들어, "좋음", "괜찮음", "기대 충족"과 같은 표현은 표면적으로 정중하지만, 사실상 불합격을 가까스로 넘는(borderline) 정도의 실력이거나, 평균 이하임을 나타낼 수 있다. 그러나 학습자는 이 용어를 부정확하게 해석하고, 개선 필요성을 깨닫지 못할 수 있다.

4

하지만 이러한 ‘예의바름’의 문화 외에, 또 다른 이유가 있을까? Brigham and Women’s Hospital의 내과전공의들을 대상으로 Focus Group Discussion을 사용하여 연구하였다. FGD에서 토론은 전공의가 주도하고, 교수는 발생하는 상호작용을 관찰하면서 필드 노트를 작성하였다.

5

첫째, 피드백에 대한 명확한 기대나 메시지에 대한 표준이 문화적으로(cultural norm) 결여되어 있다. 예를들어, 피드백을 위한 공식적 시간이 없다거나, 피드백을 주고 받을 때 사용되는 권고되는 구조(suggested structure)가 없다. 수련 로테이션의 핵심 목적이 ‘학습자의 성장’이라고 명확히 전달받았다고 느끼지 못했다.

6

둘째, 친절함(niceness)의 문화가 정직한 피드백을 가로막는다. 교수나 동료, 리더십 모두 ‘나이스’하고, 전공의의 노고에 감사해하지만, 건설적 피드백을 주는 것은 피하는 경향이 있었다. 전공의의 부지런함에 공감하고, 마음의 상처를 주지 않으려고 하며, 더 보살피려고(nurturing) 했다. 그리고 이러한 분위기는 전공의 사이에서 주고 받는 피드백에도 영향을 미쳐서, 부정적으로 여겨질 의견은 생략하는 경향이 있었다.

7

셋째, 문화적으로 ‘양방향’ 피드백이 작동하지 않는다. 즉, 전공의가 전임의/교수에게 피드백을 제공하는 경우는 거의 없다. 마찬가지로 아래 년차 전공의는 윗 년차 전공의에게 피드백하기를 주저한다. 전공의들 사이에서 ‘교수는 건설적인 피드백을 반기지 않을 것이다’라는 인식이 있었다. 비록 실체는 불분명했으나, 윗사람에게 부정적인 피드백을 주는 것은 ‘리스크’가 있다는 불안감이 존재했다.

8

넷째, 교수-전공의 관계가 피드백의 신뢰성(credibility)과 수용성(receptivity)에 영향을 주었다. 현재의 피드백 대화는 “참 잘했어요” 수준의 코멘트가 대부분이었다. ‘도달해야 할 성과’에 대한 기대치가 불분명한 경우 피드백의 신뢰성이 낮아졌다. 직접 관찰에 근거하지 않은 피드백도 마찬가지였다. 한편, 로테이션이 다 끝났을 때 제공되는 총괄적인 피드백도 ‘변화의 기회가 없고’ ‘후속 조치도 없기’ 때문에, 수용성이 떨어졌다.

9

다섯째, 전문직으로서 지속적인(longitudinal) 성장을 중시하는 문화가 필요하다. 전공의들은 의미있는 피드백을 위하여 조직 문화를 바꾸려면, 모든 로테이션이 시작하기 전에 목표 설정 대화(goal-setting conversation)를 을 적극 장려하고, 교수자와 학습자의 전문직으로서의 성장을 더욱 강조해야 한다고 제안했다. 또한 교수를 포함하여 전공의를 조금이라도 지도하는 사람이라면 ‘기관의 교육적 사명’과 ‘지속적 개선의 문화’에 대한 오티를 받아야 한다고 제안했다. 마지막으로 교수와 전공의 사이의 종단적(longitudinal) 관계를 적극적으로 촉진해야 함을 제안했다.

10

전공의들은 교수가 비판(criticism)으로 여겨질 여지가 있는 건설적인 피드백을 생략함으로써 전공의의 감정을 과도하게 보호한다고 생각했다. 이는 공손함 이론(politeness theory)와 부합하며, 공손함이란 ‘사회적 상호작용 속에서 자기확인(self-affirmation, 자신의 존재감과 가치)을 보장해주는 소셜 스킬의 집합’을 의미한다. 건설적인 피드백은 ‘공손함의 문화’ 속에서 기대되는 것에 위배될 수 있기에, 이 문화가 피드백과 관련해서는 명확히 다뤄질 필요가 있다.

11

조직 문화는 ‘외부 환경에 적응하거나 내적 통합을 이루고자 할 때 발생하는 문제에 대응하는 과정에서 한 조직이 발명, 발견, 개발한 공유된 기본적 가정(shared basic assumptions)의 패턴’이다. 이러한 가정은 당연하게 여겨져서, 마치 이것이 옳은 인식과 사고와 감정인 것처럼 조직의 새로운 구성원에게 교육된다. 따라서 현재와 같은 조직 문화 속에서는, 교수에게 피드백 제공 기술을 가르치는 것 만으로는, 피드백의 효과를 높이거나, 정직하고 양방향적인 피드백 대화를 촉진할 가능성이 낮을 것이다.

출처:

Ramani, S., Post, S. E., Könings, K., Mann, K., Katz, J. T., & van der Vleuten, C. (2017). “It's just not the culture”: a qualitative study exploring residents' perceptions of the impact of institutional culture on feedback. Teaching and learning in medicine, 29(2), 153-161.

1

효과적인 피드백이란 ‘긍정적이고 바람직한 발전을 촉진하기 위해 기존 퍼포먼스에 대한 정보를 사용하는 것’으로 정의할 수 있다. 의학교육에서 피드백이 어려운 이유 중 하나는, 피드백의 정직성과 정확성을 보장하면서, 동시에 피드백 수신자의 심리사회적 요구도 인정해야하기 때문이다. 이런 어려움에도 불구하고 피드백은 ‘효과적인 임상 교육의 초석’으로 묘사되곤 한다.

2

피드백은 여러 가지 유형으로 구분해볼 수 있다. 우선 지시적directive 피드백(학습자에게 무엇을 교정해야하는지 알려주는 것)과 촉진적facilitative 피드백(학습자가 스스로 수정하도록 의견을 주거나 제안하는 것)으로 구분할 수 있다. 구체적인 피드백과 덜 구체적인 것으로 구분할 수도 있다. 구체적인 피드백은 초기에는 도움이 되지만, 장기적으로 봤을 때는 학습, 독립적 수행능력, 전이에 도움이 되지 않을 수 있다. 단순히 정답-오답만 알려주는 것(verification)이나 정답에 도달하는 것을 촉진하는 것(elaboration)으로 구분할 수도 있다.

3

피드백을 제공할 때, 이상적으로는 모든 피드백은 숙련된 촉진자가 지지적인 환경을 만들어준 상태에서, 면대면으로 논의되는 것이 바람직하다. 피드백의 타이밍에 있어서, 즉각적인 피드백은 단기적으로 효과적이면서 procedural skills를 익히는 데 도움이 된다. 반면, 복잡한 과제를 수행하는 상급 학습자의 경우 지연된 피드백이 더 나을 수 있다. 중요한 것은, 피드백이 받는 사람을 전혀 고려하지 않고 수동적으로 전달되는 정보가 되어서는 안 된다는 점이다.

4

인간의 무의식적 자기unconscious self는 자기 보존self-preservation을 중시하므로, 자존감을 위협하는 피드백이나 무조건적인 칭찬은 도움이 되지 않는다. 또한 인간은 부정적 피드백을 받을 때 귀인 오류fundamental attribution error를 범하기도 한다. 따라서 내면으로부터 ‘정확한’ 자기 평가를 하라고 요구하기보다는, ‘자기주도적 평가 탐색self-directed assessment seeking’을 하도록 도와줘야 한다. 이는 자기-모니터링이라고 할 수도 있다. 이는 주어진 상황과 시간에 자신의 능력으로 환경에 대응할 수 있는 능력을 말한다. 성찰은 ‘사건의 이해에 초점을 둔 의식적이고 신중한 과정’으로 자기 모니터링의 일부가 될 수 있다.

5

어떤 목표를 설정하는지가 피드백의 수용가능성acceptability에 영향을 준다. 목표는 학습지향적learning orientation인 것과 성과지향적performance orientation으로 나눠볼 수 있다. 전자는 새로운 기술을 개발하고 새로운 상황을 마스터하고자 하는 열망과 관련되며, 후자는 다른 사람에게 자신의 능력을 입증하여 긍정적으로 평가받으려는 열망과 관련된다. 따라서 어려운 과제나 실패를 맞닥뜨렸을 때, 학습지향적인 목표가 있을 때 더 긍정적인 성과를 낼 가능성이 높다.

6

개인 수준에서 신뢰할 수 있는 출처에서 체계적으로 전달된 피드백은 임상적 수행능력을 바꿀 수 있다. 조직 수준에서 지지적 피드백은 직원의 사기와 근속에 도움이 될 수 있다. 하지만 피드백이 반드시 긍정적 변화만 가져오는 것은 아니며, 부정적인 피드백을 받은 사람은 피드백이 쓸모없고, 부담스러우며, 비판적이고, 동제당한다고 느낄 수 있다.

7

‘피드백 샌드위치’, ‘펜들턴의 규칙’, ‘ECO(Emotional response – Content – Outcome)’ 등의 모델이 있지만, 이러한 모델은 환원주의적이고, 실증주의적 패러다임을 내포하고 있다. 피드백의 양방향성이 중요함에도, 이러한 모델은 전문가가 초심자를 돕는다는 의료계의 고전적 위계를 반영한 모델이라는 한계가 있다.

8

피드백은 복잡하고 맥락적이다(complex and contextual). 피드백은 사람이 아닌 업무에 초점을 하며, 구체적이어야 하고, 개개인의 목표에 직접적으로 연결되어야 한다. 피드백은 자존심을 저해해서는 안되지만, 단순히 칭찬으로만 구성되어서도 안 된다.

9

효과적인 피드백을 위해서는 수혜자의 행동-중-성찰reflection in action을 키워야 한다. 여기에는 외부의 피드백에서 얻은 정보를 바탕으로 하는 자기 모니터링이 필요하다. 또한 모든 활동에 피드백이 암시적이거나 명시적으로 포함시키고, 교수자는 학생에게, 학생은 교수자에게 피드백을 줌으로써 피드백을 하나로 문화로 만들어나가야 한다.

10

피드백의 기회를 놓치지 말아야 한다. 이미 많은 기회가 존재한다. 총괄평가summative와 형성평가formative의 인공적인 이분법은 모든 평가에 잠재적으로 존재하는 강력한 피드백의 기회를 억눌러왔다.  

출처:

Archer, J. C. (2010). State of the science in health professional education: effective feedback. Medical education, 44(1), 101-108.

1

의사의 지방(rural area, 지역) 의료 선택과 관련하여, 인간의 행동을 결정하는 데에 천성과 양육 중 무엇이 더 중요하냐는 질문은 매우 오래된 질문이며, 논란은 여전히 진행중이다. ‘천성’이라 함은 의과대학 입학 전에 가지고 있던 요소라고 할 수 있으며 어떤 학생이 농촌 진료에 대한 높은 선호를 가지느냐를 바탕으로 학생을 선발하는데 중요하다. ‘양육’은 의과대학 및 전공의 수련과정과 관련된 측면으로 학생들이 좀 더 농촌 진료에 관심을 가질 수 있도록 만들어주는 역할을 한다.

2

지방에서 성장한 것, 일차의료 전공과에 대한 선호 등과 같은 의과대학 입학전 요인이 농촌지역에 대한 의사의 ‘모집(recruitment)’와 관련이 있었다. 반면, 수련 요인(농촌 진료 관련 교육과정과 해당 지역 로테이션(특히 전공의 기간))이 농촌 지역에 대한 의사의 ‘유지(retention)’과 관련이 있었다.

3

Geyman 등이 “지방 의료인력 양성의 길은 멀고도 복잡하다.”라고 했으며, 지방 의료인력에 대한 의사들의 관심에 대해서 관련 정책을 담당하는 사람들은 “그들(의사, 의대생)이 어떤 의학 교육을 받았는지 보다 그들이 어떤 성격(특징)을 가진 사람이냐와 연관되어 있다.”라고 주장하기도 한다. 또한 “지방에서 성장한 의사를 양성하는 것이 가장 효과적인 방법이며, 이것을 고려하지 않는 정책은 실패하게 되어있다”라고 말하기도 한다.

4

초기 모집에 중요하게 영향을 주는 요인과 유지에 영향을 주는 요인은 서로 다르다. 초기 모집의 관점에서 지방 진료에 더 관심이 있는 지원자를 고르는 것이 의과대학 입학위원회에서 중요하게 고려되어야 한다. 또한 일단 학생을 선발한 후에는 일차의료와 지방 의료에 대한 ‘양육적(nurturing)’ 분위기가 형성되어야 한다. 지방 의료에 특화된 트랙이나 지방의료를 강조하는 것 모두 학생의 준비를 도와줄 수 있다. 전공의 프로그램에서 어떤 수련을 거치는지는 의과대학 시기에 시행하는 로테이션보다 훨씬 더 효과가 좋다.

5

유지의 관점에서 전공의 수련 후 요소 역시 중요하다. 일단 새로운 지역사회에 의사와 그/그녀의 가정이 자리를 잡게 되면 지속적인 삶의 유지에는 전문직 관련, 생활 관련, 경제 관련 이슈들이 중요하게 작용한다. 전문직으로서의 고립, 긴 근무 시간, 적은 교육 기회, 낮은 경제적 보상 등이 모두 부정적으로 작용할 수 있으며, 이들 중 많은 것들이 의학교육자들의 영역 밖에 있다.

출처:

Brooks, R. G., Walsh, M., Mardon, R. E., Lewis, M., & Clawson, A. (2002). The roles of nature and nurture in the recruitment and retention of primary care physicians in rural areas: a review of the literature. Academic Medicine, 77(8), 790-798.

1

효과적인 의학교육에 지지적 학습환경(learning environment)이 필수적이라는 것에는 많은 사람이 동의하지만, LE의 퀄리티에 대한 정확한 평가는 어려운 일이다. LCME는 의과대학이 "LE를 정기적으로 평가해야 한다."고 요구하지만, 표준적인 LE 지표가 없는 한 이 표준을 지키기는 쉽지 않다. 무엇보다 학습자가 학습환경을 어떻게 인식하는지 모른다면, 개선하기 위한 방법에도 한계가 있다.

2

의학교육에서 LE 평가를 위해 처음 보고된 도구는 고등교육에 사용되는 College Characteristics Index를 AAMC가 수정한 것으로, 1960년대 의대 졸업생에게 교수 및 동료에 대한 인식을 연구했다. 이후 수십 년 동안, 연구자들은 의대생의 LE에 대한 인식을 평가하기 위한 도구를 계속해서 개발하고자 시도해왔다.

3

그렇다면 지금까지 의학교육에서 LE를 측정하기 위해 개발된 도구는 무엇이 있으며, 이 도구들에 대한 타당성 근거는 어떠한가? 28개의 고유한 도구를 체계적으로 검토하였다. 이 중 다음의 네 개 도구만이 UME와 GME에 모두 사용되었다: the Dundee Ready Education Environment Measure (DREEM), the Veterans Affairs Learners’ Perceptions Survey (VA LPS), the Postgraduate Hospital Educational Environment Measure (PHEEM), and the Surgical Theatre Educational Environment Measure (STEEM).

4

28개 도구 중 17개(61%)가 어떤 형태로든 내용 타당성 증거를 제공했지만, 4가지 타당도 근거 출처를 모두 제공하는 도구는 없었다. 32%(9/28)의 내부 구조 증거를 제공하고, 21%(6/28)는 다른 변수 증거와 어떤 형태의 관계를 제공했으며, 14%(4/28)는 응답 프로세스 증거를 제공했다. LE 도구의 타당성 증거 점수와 후속 간행물 수 사이에는 약한 관계만이 존재했다.

5

LE에 대한 의대생이나 레지던트의 인식을 평가하기 위한 gold standard는 존재하지 않는다. 그보다, 이상적인 도구는 효율적으로 시행할 수 있고, 참가자가 신속히 완료할 수 있으며, 광범위하게 적용가능하고, 시간이 지남에 따라 변화에 민감해야 한다. 물론 LE는 다면적인 구조이므로, LE 도구가 너무 짧아지면 이 모든 면을 포착하기 어려울 것이다. 대체로 LE는 50개 미만의 항목으로 평가될 수 있어 보인다.

6

흥미롭게도, 가장 높은 수준의 타당성 증거를 가진 LE 도구는 후속 출판물에서 사용되지 않았으며, 반면 타당성 증거가 좋지 않았음에도 DREEM은 전 세계적으로 40개 이상의 연구에서 사용되었다. 아마 연구자들은 다른 LE 도구를 찾기 위한 문헌 검토를 실시하기보다는 DREEM을 알고 있었기 때문에 사용했을 수 있으며, DREEM을 사용함으로써, 다른 학교의 결과와 비교할 수 있었을 것이다.

출처: 

Colbert-Getz, J. M., Kim, S., Goode, V. H., Shochet, R. B., & Wright, S. M. (2014). Assessing medical students’ and residents’ perceptions of the learning environment: exploring validity evidence for the interpretation of scores from existing tools. Academic Medicine, 89(12), 1687-1693.

1

질적 연구에 대한 평가는 해석적인 행위이며, 평가 기준의 단순한 적용이 아닌, 정보에 입각 한 성찰적 사고가 필요하다. 질적 연구를 읽을 때 생각해야 할 핵심 질문은 다음과 같다.

2

첫째, 연구에 사용 된 표본이 연구 질문에 적합했는가? 질적연구는 경험과 의미의 구성에 토대를 두고 있다. 따라서 표본은 현상의 여러 측면을 포착 할 수 있을 정도로 충분히 넓어야하며, 표본을 제한한다면 명확하게 정당화되어야 한다. 사회적 소속(문화, 종교, 사회 경제적 그룹, 직업 등)에 따라 경험과 의미가 달라지기에 이러한 맥락을 인정하는 것도 중요하다

3

둘째, 데이터가 적절하게 수집 되었는가? 호손 효과(Hawthorne effect) 같은 특정한 방법론적 문제에 주의를 기울여야한다. 관찰자의 존재가 참가자의 행동에 영향을 줄 수 있기 때문이다. 두터운 기술(thick description)은 자세한 맥락적 정보를 포함시킴으로써, 질적 연구에서 독자가 마치 연구 환경에 있었던 것과 같은 감각을 가질 수 있게 하는 방법이다. 다양한 연구방법이나 관점을 삼각측량하는 것도 유용한 테크닉 중 하나이다. 마지막으로 반복적 과정iterative process은 데이터 분석을 데이터 수집과 동시적으로 진행함으로써, 분석에서 얻은 결과를 수집에 활용inform하는 것이다.

3

셋째, 데이터가 적절하게 분석 되었는가? 어떤 방법을 사용했든, 누가, 어떻게, 무엇을 하였는지 보고해야 한다. 예를 들어, 반복적인 프로세스가 사용되었다면 명확하게 기술하고, 두 명 이상의 연구자가 분석 한 경우 연구자 간 차이를 어떻게 조율하였는지 밝혀야 한다. 많은 연구에서는 member check(연구 결과의 전부 또는 일부를 참가자에게 보여주고 경험과 일치하는지 확인)을 사용하기도 하며, Audit trail(연구원 분석 노트, 연구자 회의록 및 연구 프로세스를 추적하는 데 사용할 수 있는 기타 자료)을 설명 할 수도 있다.

4

넷째, 이 연구 결과를 내 자신의 상황으로 전이transfer시킬 수 있는가? Transferability를 평가할 책임은 독자에게 맡겨져 있다. 독자는 연구의 setting이 자신의 맥락에 transferable할 수 있을 정도로 충분히 유사한지 판단해야 한다.

5

다섯째, 반사성Reflexivity을 포함하여 잠재적인 윤리적 문제를 적절하게 다루고 있는가? 반사성Reflexivity이란 연구자가 스스로 연구 과정에 미치는 영향을 인식하는 것을 뜻한다. 특히 연구자가 보건의료인이거나 교수자이고, 참가자는 환자, 고객, 학생인 경우 연구자와 연구 참가자 사이에는 잠재적 권력 관계가 존재할 수 있다. 또한 연구자의 성별, 인종, 직업, 사회적 지위도 연구 질문 및 데이터 수집과 같은 연구 내적인 선택에 영향을 준다. 질적 연구의 윤리는 단순히 규범적 가이드라인이나 연구 윤리위원회에 그치지 않으며, 연구참여자의 경험을 수집하고 그것을 대중적으로 공개하는 것에 따르는 윤리적인 결과까지도 확장된다.

출처:

Kuper, A., Lingard, L., & Levinson, W. (2008). Critically appraising qualitative research. Bmj, 337.

1

의학 교육에서 예술을 사용한다는 아이디어는 새롭지 않다. 하지만 왜 예술의 통합이 더 널리 확산되지 않는가? 한 가지 이유는 예술에 기반을 둔 교육이 흔히 교수자의 개인적 관심이나 열정에 의존하는 경향이 있기 때문일 것이다. 두 번째 이유는 예술을 활용한 교육과정의 설계와 평가에 널리 활용되는 개념적 프레임워크가 없기 때문이다. 가이드가 없기에, 많은 교수자들은 예술을 활용할 때 자신의 개인적인 경험에 기초하여 ‘그럴 듯해 보이는’ 과정을 설계한다.

2

먼저 예술의 고유한 특성은 무엇이 있을까? 첫째, 예술은 본질적으로 표상적이고 은유적이다. 예술가는 현실의 모든 것을 소통하거나 묘사하지 않으며, ‘다른 방식으로는 표현되지 않는’ 의미와 감정을 선택적으로 전달한다. 둘째, 예술은 주관적이다. 감상하는 사람은 자신과 작가의 문화와 경험, 그리고 작품을 접하는 시간과 장소에 따라 서로 다른 의미를 구성한다. 셋째, 예술은 모호하고 복잡하다. 오히려 그렇기에 학습자는 의미를 탐색하고 다양한 관점을 발견할 수 있다. 넷째, 예술은 보편적이다. 예술은 문화와 언어의 장벽을 뛰어넘을 수 있는 능력이 있다.

3

예술을 가지고 학생은 무엇을 할 수 있을까? 먼저, 학습자는 예술을 자신의 주관적 경험과 사고로 끌어들여 성찰과 해석을 시도할 수 있다. 이는 인지적인 과정으로 볼 수 있다. 한편 예술과 감정을 결합할 수 있다. 예술가는 작품을 창조할 때 기쁨, 슬픔, 두려움, 혼란과 같은 자신의 정서적 상태를 최대한 활용하듯, 학습자도 예술을 자신의 감정 상태와 연결지어볼 수 있다. 이는 질병의 정서적 경험을 부정하고, 그저 해결해야 할 문제라고만 배워온 학생들에게 특히 중요하다.

4

예술을 활용한 교육은 어떤 효과가 있을까? 예술은 자기-인식, 타인의 관점에 대한 개방성, 모호함을 다루는능력, 개념과 주제에 대한 정교한 이해에 도움이 된다. 예술을 통해 학생들은 타인의 관점과 경험을 더 잘 이해하고, 다양성과 차이를 인식하고, 타인을 더 폭넓게 볼 수 있게 된다. 예술은 인간의 상태에 대한 통찰력을 길러줄 수 있다. 여기에는 비단 신체적인 것 뿐만 아니라, 정서적인 것, 그리고 서사적인 것도 포함된다.

5

예술을 활용한 교육에 어떤 전략이 필요할까? 첫째, 참여전략(engagement strategies)이다. 이 전략의 일차 목적은 교수자와 학습자 사이의 권력 차이를 최소화하고, 안전하고 신뢰할 수 있는 학습 환경을 조성하는 것이다. 신뢰 형성이 중요한 이유는 학생은 직관적으로 이러한 교육이 자신을 노출시키는 과정임을 인식하기 때문이다. 따라서 안전한 학습 환경 조성을 위하여 수업 운영의 그라운드 룰을 만들고, 합의된 계약을 만들 수 있다.

6

둘째, 의미형성전략(meaning-making strategies)이다. 참여전략이 학습자 참여의 무대를 설정하는 것이었다면, 의미 형성 전략의 목적은 다음과 같다. 학습자가 스스로의 관점을 인식하게 하고, 현재 상태에 의문을 제기하고 대안적 관점을 받아들이게 한다. 모호한 상황에 대처할 수 있도록 하고, 관계 속에서 ‘다름’의 가치를 깨닫게 한다. 구체적인 방법으로는 학습자에게 성찰의 기회를 제공하고, 각자의 견해와 의미를 공유할 수 있는 환경을 조성하는 것이 있다.

7

셋째, 중개 전략(translational strategies)이다. 이는 예술을 통해 습득한 지식과 기술을 전문직업적인 실천으로 전이(transfer)하게끔 돕는 것이다. 학습자에게는 예술을 통해 새롭게 학습한 기술을 임상적 맥락 속에서 성찰과 결합하여 실천해볼 수 있는 기회가 주어져야 한다.

8

그림에서 각각의 박스는 다음 단계가 실현될 수 있는 조건이지만, 다음 단계를 직접 발생시키지는 않는다. 예를 들어, 예술 작품의 모호성과 복잡성 그 자체가 학습자의 해석과 성찰을 유발하지는 않는다. 따라서 이 지점에서 교수자의 행동이 중요하다. 참여 전략을 통해서 학습자가 예술의 고유한 특성을 포용하게끔 도와야 한다. 의미 형성 전략을 통해서 예술을 이해하고, 예술과의 조우 속에서 새로운 통찰과 존재 방식을 발견하게 도와야 한다. 마지막으로 중개 전략을 통해서 일상의 실천 속에서 새로운 통찰을 작동시킬 수 있도록 구체적이고 명확한 방법을 계획하게 해줘야 한다.

출처:

Haidet, P., Jarecke, J., Adams, N. E., Stuckey, H. L., Green, M. J., Shapiro, D., ... & Wolpaw, D. R. (2016). A guiding framework to maximise the power of the arts in medical education: a systematic review and metasynthesis. Medical education, 50(3), 320-331.

1

의학교육은 지난 30년 동안 '측정 가능한 것'을 평가하는 것에서, '중요한 것'을 평가하려는 방향으로 많은 노력을 기울여왔다. 피상적인 [지식의 테스트]에서 [이해, 구성, 해석 테스트]로 바뀌어왔고, Bloom의 분류법과 같이 기술과 태도과 지식만큼 중요하다는 인식을 얻었으며, 심리측정학적으로 평가자 주관성과 사례 특수성을 알게 되었다.

2

하지만 이러한 발전이 [평가를 해체deconstructed]했으며, 일부는 결과적으로 [학습이 해체]되었다는 주장도 있다. 평가할 행동을 하위 구성 요소로 나누거나, 이렇게 나눠진 하위 구성 요소를 샘플링하는 것은 학습자들이 [큰 그림]에 덜 집중하고 ['역량'을 뒷받침하는 (세부)요소]에 집중하게 강제mandated했다는 지적이다.

3

반면, 역량 운동competency movement에는 완전히 대조적인 것도 있었다. 실제 업무의 문제를 해결하려면 역량의 모든 요소들이 통합되어야 한다는 것이다. Miller의 피라미드는 이를 잘 보여준다. [지식]은 [이해]에 필요하지만 충분하지 않으며, [이해]는 [능력(또는 역량)]에 필요하지만 충분하지 않고, [능력]은 [실제 일상적 업무성과]에 필요하지만 충분하지 않다.

4

피라미드의 상위 수준으로 갈 수록, 평가자는 동일한 내용을 관찰하고도, 응답 척도에 대해서는 다르게 해석할 수 있다. 그래서 흔히 평가자를 훈련하고, 차이를 논의하는 보정 단계를 사용한다. 하지만 비록 평가자마다 척도를 해석하는 방식이 달라도, 수행능력에는 동의할 수 있다. 그렇다면 work-based assessment(WBA)는 어떻게 개선해야 좋을까?

5

평가 척도(Scale)의 관점에서, 척도를 임상 평가자의 우선순위에 맞춰 조정하는 것 만으로도 평가자의 변별력은 더 개선될 수 있으며, 평가자 간 불일치는 줄일 수 있다. 즉, 불만족-만족-우수 같은 척도나, 기대 이하-기대 이상과 같은 척도보다, 위임가능성(감독하에서도 수행불가 – 감독하에서 수행가능 – 최소한의 감독으로 수행가능 – 감독 없이 수행가능) 기준의 척도가 더 낫다.

6

이는 평가자의 인지 구조를 반영한 척도라 볼 수 있다. 평가 양식(rating form)을 개선하려는 노력보다, 어떻게 하면 평가자의 인지적 스키마를 이해하고, 적절히 활용할 수 있을지를 고민해야 한다. 핵심은, 평가자의 현실 지도reality map에 응답 척도(response scale)을 맞추는align 것이다. 그러려면 척도의 앵커anchor로 사용되는 문구가 그 자체로 평가자의 경험에 공명resonate해야 한다. ‘기대 수준임’, ‘만족스러움’ 과 같은 추상적인 문구는 그러지 못한다.

7

평가자에게 ‘객관적인 관찰’보다 ‘판단’을 요구하는 편이 낫다. 하지만 지난 수십 년 동안, 주관성에 대한 우려로 인해 [평가자 간 일치도]를 높이기 위해, 평가도구는 [프로세스 수준]에 초점을 뒀다. 예를 들면, 악수하기, 눈맞춤 하기 등이다. 그리고 수행능력performance 점수는 개별 프로세스 항목 점수를 합산하였다. 하지만 ‘수행능력’이란 단순히 부분의 합보다 크다.

8

이처럼 [수행능력performance이 부분parts의 합sum보다 더 복잡]하고, [적절한 경험이 있는 관찰자]는 [좋은 수행능력이란 무엇인지에 동의할 수 있다]면, 직관에 반하는 결론을 내릴 수 있다. [실제로 무슨 일이 발생했는지에 대한 객관적인 응답]보다 [성과 수준의 수행능력에 대한 주관적인 판단]이 평가자 간 일치와 피평가자 간 수행능력 변별에 더 유리할 수 있다.

9

즉, 어떤 과제를 잘 수행했는지를 평가하고자 [하위 구성요소의 무수한 세부사항]을 긁어모으는 것은 [뒤로 물러서서 전체를 고려하는 것]보다 더 나은 그림을 보여주지 못한다. 이는 도구적 인상주의instrumental impressionism이라 할 수 있다. 전반적global 판단을 내리면서도, 동시에 세부사항을 인식하는 것이다. 적절한 경험이 있고 교육을 받은 평가자라면, 행동을 맥락 속에서, 서로 조합하여 해석한다. 그 결과, [단순한 행동의 총합을 측정]하기보다는 [행동의 기저에 있는 비교적 안정적인 속성]을 판단할 수 있을 것이다.

10

그렇다면 평가도구는 어떠해야 할까? 흥미롭게도 대부분의 WBA 평가도구는 매우 광범위한 맥락에서 사용되게 만들었으면서, 거의 동일한 수행능력 영역에 대해 묻고 있다. 하지만 평가도구를 설계할 때 어떤 이유로 [모든 컨텍스트]에서 [모든 도메인]을 잘 평가할 수 있다고 간주했는지는 명확하지 않다. 과연 [모든 컨텍스트]는 [모든 도메인]에 대해서 타당하고 신뢰할 수 있는 데이터를 제공할 수 있는가?

11

평가 결과의 신뢰도는 [어떤 도메인에서 어떤 도구를 사용하느냐]에 따라서 달라진다. 이는 특정한 수행능력 도메인은 특정한 상황이나 활동에서 더 잘 입증demonstrated되기 때문이다. 특정한 도메인이 더 효과적으로 샘플링되는 맥락이 존재한다. 따라서 특정 수행능력 도메인에 대해서도, 평가자는 그 도메인을 명확히 보여줄 수 있는 상황이나 활동으로부터 더 신뢰도와 타당도가 높은 판단을 내릴 수 있을 것이다.

12

그렇다면 모든 평가자는 동등한가? 우선 평가자 개인 간 차이varation도 있지만, 어떤 그룹에 속해있느냐에 따라서도 관점이 달라진다. 즉, 서로 다른 평가자 집단은 서로 다른 관점을 제공한다. 따라서 단일한 그룹에서 여러 명이 동료평가를 하는 것에 비해서, 서로 다른 그룹에서 Multi-source feedback을 하는 것은 단순히 평가자의 숫자 외에도 추가적인 가치add value가 있다.

13

또한 누구의 관점이 가장 타당한지를 생각해보아야 한다. 평가할 수 있는 능력이라는 관점에서는 상당히 자명하다. 예를 들어, 일반 사무직이나 환자가 의사의 임상적 판단의 적절성을 평가하는 것은 거의 불가능할 것이다. 하지만 이에 더하여 평가자가 평가대상의 수행능력을 정기적으로 관찰할 수 있는지도 중요하다. 예를 들어, 수술방 간호사는 의사가 병동에서 어떻게 하는지는 거의 못 보았을 수 있다. 즉, 하나의 평가방법으로 모든 임상 역량을 평가할 수 없는 것처럼, 하나의 전문직 집단도 모든 임상 역량을 평가할 수 없다. 종합하자면, [수행능력에 대한 판단 능력]이 있는 사람이, 수행능력을 [관찰할 기회]가 있을 때 보다 신뢰할 수 있는 평가 결과를 내놓을 것이다.

14

복잡한 역량에 대한 평가는 '판단의 문제'이다. 따라서 [올바른 질문]을, [올바른 방식]으로, [올바른 것]에 대해, [올바른 사람]에게 해야만이 효과적이다.

출처:

Crossley, J., & Jolly, B. (2012). Making sense of work‐based assessment: ask the right questions, in the right way, about the right things, of the right people. Medical education, 46(1), 28-37.

1

전공의의 업무 시간에 대한 연구 결과에 따르면, 직접 환자를 보는데 사용하는 시간은 매우 적고, 대부분의 시간을 educational and administrational task에 쏟는다. 이러한 현상은 수십년간 지속되어왔다.

2

2010년 6월과 7월, NewYork- Presbyterian/Columbia University Medical Center (NYP/CUMC)에서 Time and motion study를 수행하였다.

3

레지던트는 전체 근무시간의 50% 이상의 시간을 컴퓨터를 쓰면서 보냈고, 직접 환자를 보는 시간은 10% 이하였다. 이는 이전 연구 (40% and 12%) 보다 더 두드러진 것이었다.

4

컴퓨터 기반 활동의 대부분은 documentation과 관련된 것이었다(35%). 이는 이전 연구에 비해서도 높은 것이며 (21%), 우리 기관의 이전 보고와 비교해도 높다.

5

그러나 EHR 사용시간 중 비효율적으로 사용되는 비율이 높다. 예컨대 레지던트는 9.3%의 시간을 note를 읽기보다는 notes의 목록을 보는데 쓴다. 새로운 note가 있을 때 EHR이 레지던트에게 알림을 주지 않기 때문에 정기적으로 업데이트가 있는지 확인해야 하기 때문이다. 또한 patient record의 분절되어 있어서, 상당한 시간을 이 서로 다른 영역들로부터 자료를 통합하는 작업에 사용해야 한다. 마지막으로 주로 데스크탑 컴퓨터에 의존하는데, 위치가 환자에게 떨어져 있기 때문에 레지던트는 환자를 직접 보면서 컴퓨터-기반 활동을 하기 어렵다.

6

컴퓨터 시스템을 통해서만 접근가능한 환자 데이터가 증가할수록 환자 접촉에 덜 의존하고 EHR에 저장된 정보에 더 의존하는 경향은 더 심해질 것이다. 하지만 여전히 데이터를 해석하는데 환자의 역할이 필요하다고 한다면, 문제는 컴퓨터 시스템이 환자와 의사간의 engagement를 (diminish하기보다) facilitate하는 방법을 찾는 것이다.

출처: Mamykina, L., Vawdrey, D. K., & Hripcsak, G. (2016). How do residents spend their shift time? A time and motion study with a particular focus on the use of computers. Academic medicine: journal of the Association of American Medical Colleges, 91(6), 827.

1

학습의 과정process of learning을 복잡성 과학complexity science에 비유할 수 있다. 복잡하다는 것은 평형상태와는 한참 떨어진 ‘열린 시스템’을 뜻한다. 또한 ‘복잡하다’는 의미는 전체를 부분으로 환원하여 이해할 수도 없으며, 단순 선형 방정식에 의해 설명 될 수도 없다는 것이다. 경계가 불분명하여 외부 세계에 개방되어 있으며, 주위 환경과 끊임없이 에너지를 교환하고, 환경으로부터 받은 영향을 다시 환경으로 되돌려준다.

2

복합complicated 시스템과 복잡complex 시스템은 다음과 같이 구분할 수 있다. 전자는 "비교적 안정되어있는 측정 가능한 변수의 관점에서 이해될 수 있는 경향”이 있다. 반면, 후자는 특정 요인의 영향은 그 요인이 어떤 시점에 다른 요인과 갖고 있는 관계에 따라서 달라진다. 여러 구성요소elements간의 상호작용이라는 맥락 속에 존재한다. 새로운 변수와 특징이 창발할 수도 있는데, 창발을 설명하기 위해서는 요소들의 상호작용이라는 맥락만으로는 설명이 안 되고, 상호작용 프로세스 그 자체를 고려해야만 설명가능할 수도 있다.

3

이러한 관점에서 일부 연구자들은 ‘가설 검정 프레임워크’라는 의학교육 연구 관행의 문제를 지적하기도 한다. 이 지적은 ‘모든 것이 상호작용 할 때, 단순한 것은 아무것도 없다'라고 볼 수도 있다. 한 변수의 효과는 단순히 다른 변수의 뒤에 숨는 것이 아니라, 다른 변수에 의해 근본적으로 변형’되기 때문이다. ‘비선형성을 강조’하는 이론을 언급하거나, ‘전체는 부분의 합보다 크다는 주장'도 같은 맥락이다.

4

이러한 주장에는 공통적으로 ‘비선형성’과 ‘불확실성’이라는 개념이 깔려 있다. 카오스 이론과 복잡성 이론 모두 비선형적 관계가 어떻게 예측불가능성으로 이어지는지를 설명한다. 그리고 만약 이것이 사실이라면, 의학교육연구는 환원주의적 접근과 기존의 통계를 모두 버리고, 완전히 밑바닥부터 재구성해야 한다. 하지만 정말 그러한가? 교육이란 너무 복잡하고 카오스적이어서 실증주의적 접근과 보편적인 것universals을 찾으려는 포기해야 하는가?

5

먼저 각 시스템의 특징을 살펴보자.

•복합 시스템: 다수의 변후가 선형적이고 예측가능한 방식으로 결합되어서, 변수들의 효과를 분리해낼 수 있으며, 궁극적으로 시스템에 미치는 전체적overall 영향을 알 수 있다. 선형 방정식 시그템으로 변수 사이의 관계를 포착해낼 수 있다고 가정한다.

•카오스 시스템: 상황에 따라서는, 시스템의 궁극적인 상태를 예측할 수 없는 방식으로 결합되는 비선형적 관계에 의해 지배된다. 하지만 변수 그 자체는 명시적이고 알 수 있으며, 오히려 변수의 수 자체는 많지 않을 수도 있다.

•복잡 시스템: 비선형적 관계에 더하여, 다수의 불확정, 불안정, 불가지한 방식으로 상호작용하는 다수의 불확정적 변수로 특징지어진다. 선형 방정식을 어떻게 조합해도 현실을 나타낼 수 없다. 복잡한 적응적 시스템 complex adaptive system은 다규모의 규칙성(자기-조직화)를 나타내기도 하는데, 이는 개별 요소의 특성으로부터 추정할 수 없다.

6

이렇게 본다면 복잡 시스템과 카오스 시스템은 반대이다. 둘 모두 비선형성과 상호작용 관계로 인한 결과지만 복잡은 ‘여러 변수가 복잡하고 불확정한indefinable 방식으로 상호작용하지만, 그 결과물outcome은 규칙적으로 예측가능 할 수’ 있고, 카오스는 ‘매우 작은 수의 변수가 겉보기에는 단순한 관계를 갖지만, 상황에 따라 그 결과는 완전히 예측 불가능’할 수 있다. 마지막으로 복합 시스템은 세계에 대한 고전적 결정론적 관점deterministic view과 일치한다.

7

양자물리학은 본질적으로 확률론적이지만, 그렇다고 정밀한 예측이 불가능함을 의미하지는 않는다. Tc99의 경우, 특정한 원자가 붕괴하는 시점을 예측하는 것은 불가능해도, 모든 원자는 감마선을 140keV로 방출함으로써 붕괴할 것이고, 6.00 시간마다 절반이 붕괴할 것임은 절대적으로 확신할 수 있다. 일상에서도 마찬가지이다. 우리는 특정한 잎이 특정한 가을의 어느 날 나무에서 떨어질지는 정확하게 예측할 수는 없지만, 예컨대 12월 31일까지 모든 잎이 떨어질 것임을 확신할 수는 있다. 유방암 4기로 진단받은 여성이 언제 사망할지를 정확히 예측할 수는 없지만, 1기로 진단받은 경우보다는 여생이 짧을 것이라고 거의 확실하게 이야기할 수 있다. 많은 물리적 및 생물학적 현상은 매우 복잡하지만, 그렇다고 이해 불가능하다는 이야기는 아니다.

8

우리 주변에서 관찰되는 복잡성을 설명하기 위해 ‘카오스’를 생각해 보는 것은 매력적이지만, 사실 물리 이론에서 ‘카오스’는 매우 구체적인 조건을 갖는다. 또한 어떤 시스템이 ‘chaotic’하려면, solution이 반드시 불확정indeterminate해야 한다. 그래서 카오스 시스템chaotic system은 역설적으로 매우 단순할 수 있다. 카오스는 수도꼭지의 물, 담배 연기, 교통 흐름 등 많은 현상에 적용 할 수 있다. 그러나 이 시스템 자체는 단순하다. "사람들은 chaos와 disorder를 헷갈려한다. 카오스는 비선형 시스템에서 발생하는 아주 특별한 현상이며, 데이터세트가 절망적으로 뒤죽박죽인 것처럼 보인다고 해서, 매번 존재하는 것은 아니다."

9

역설적으로, 복잡성 이론은 카오스 이론과 정반대다. 이 두가지가 모두 비선형 시스템의 특성을 반영하지만, 복잡성 이론은 끊임없이 변화하는 다수의 상호작용적, 비선형적 요소들이 어떻게 규칙성(자기 조직화)가 발생하는지를 보여준다. 간단히 말하자면, “복잡성 이론은 어떻게 복잡한 시스템complex system이 단순한 결과를 생성하는지 보는 것”이다.

10.

따라서 복잡성 이론은 복잡하고, 다-요소 시스템에서 얼마나 쉽게 예측 가능한 결과가 나타나는지를 보여준다. 하지만 [고전적, 결정론적 시스템의 결과로 관찰되는 규칙성]과의 중요한 차이는 복잡성 이론에서 규칙성은 [시스템 자체]에서 발생한다는 점이다. 복잡 시스템은 ‘미시적인 수준’에서 관계/행동/양이 고정될 필요가 없고, 개별 요소의 기능도 정의되지 않지만, ‘집합적 움직임collective motion’에는 규칙성이 관찰된다. 즉, 복잡 시스템의 초점은 ‘전체 시스템에 있으며, 개별 요소의 행동이나 개별 요소 사이의 관계는 부차적인 것이다.

11

교육에서도 마찬가지이다. 개별 학생이나, 아니면 개별 수업에서 얼마나 배울지를 정확하게 예측할 수 없지만, ‘어떤 학습 조건이 다른 학습 조건보다 뛰어나다’는 것은 확신을 가지고 말할 수 있을 것이다.

Reference

Norman, G. (2011). Chaos, complexity and complicatedness: lessons from rocket science. Medical education, 45(6), 549-559.

1

피드백은 종종 피드백을 받는 사람의 성과를 향상시키는 단 하나의 목표만 있는 것처럼 간주되나 그렇지 않다. 자기평가, 자기조절 능력을 키우는 데 중요한 도구이다. 학습자는 외부 평가와 비교하여 자기 평가의 정확성을 확인할 수 있는 기회를 제공한다.

2

피드백이 실패하는 이유에 관하여 고려해볼 만한 이유가 있다.

▣ 교수는 피드백을 주는 기술이 부족하다.

▣ 피드백을 줄 시간이 할당되지 않는다.

▣ Supervisor는 학습자와의 충분한 접촉이 없거나 직접 관찰 할 기회가 없다.

▣ 학습자는 피드백을 받거나 수용할 "prime"이 되어있지 않다.

3

피드백 개선을 위한 여러 노력은 일반적으로 내용과 전달(무엇을 말하고 어떻게 말 할지)의 개선을 시도했다. 하지만 관계-기반 피드백의 개념을 생각해야 한다. 이 개념의 핵심은 "무슨 의견을 어떻게 전달하느냐"만큼이나 "누가 전달하느냐"에 주목해야 한다는 것이다.

4

Telio 등이 제시한 교육 동맹educational alliance model은 피드백에서의 "출처 신뢰도source credibility”의 중요성을 강조한다. 피드백 제공자에 대한 신뢰가 피드백 수용과 효과에 영향을 미치기 때문이다. 이 신뢰는 다음에 달려있다.

▣ 교수자-학습자 관계의 본질과 가치관의 일치

▣ 교수자가 학습자의 역할과 목표를 이해

▣ 교수자가 학습자를 직접 관찰

▣ 학습자가 교수자의 선의를 인식 ( "beneficence").

5

하지만 바쁜 임상 업무 환경에서 교육 동맹을 수립하는 것은 어려운 일이다. 다음과 같은 이유가 있다.

▣ 환자-의사 관계와 달리, 학습자(학생, 전공의)는 일반적으로 슈퍼바이저에 대한 선택의 여지가 거의 없다.

▣ 누가 Supervisor 역할을 할 것인지는 교육에 대한 관심, 학습자 평가 및 피드백 제공 능력과 무관하게 결정된다(직급, 전공, 환자군 등)

▣ 수련/실습 일정으로 인하여 학습자는 슈퍼바이저와 연속적 관계를 구축하고 유지하는 것이 제약된다.

▣ 시간 압박과 진료의 특성에 따라, 전공과목에 따라서는 교수자가 학습자를 직접 관찰 할 기회를 주지 않고, 결과적으로 신뢰도가 저하된다.

6

따라서 다음과 같이 바뀌어야 한다.

▣ 임상 슈퍼바이저 선정은 교수자의 대인 관계 기술 및 교육 관심도를 반영해야하며, 기존에 학습자가 해당 교수자를 어떻게 인식하고 있는지를 고려해야 한다

▣ Trainee는 여러 명의 슈퍼바이저(faculty supervisor)에게 노출되어야 한다. 관계 구축을 위하여 여러 슈퍼바이저를 순차적으로 혹은 종단적으로 경험할 수 있다.

▣ 평가와 피드백의 정확성과 신뢰도를 높이려면 직접 관찰의 기회를 최대화해야 한다.

▣ 학습자를 멘토나 코치 역할을 해줄 교수와 짝을 짓게 하여(이상적으로는 스스로 고르게 한다), 평가 결과를 더 잘 이해하고, 피드백을 강화하고, 행동 계획에 대한 조언을 받을 수 있다.

Reference

Weinstein, D. F. (2015). Feedback in clinical education: untying the Gordian knot. Academic Medicine, 90(5), 559-561.

1. 논문에서 [문헌 고찰Literature review] 섹션의 목적은 알려진 것을 보고하는 것이 아니다. 그보다 알려지지 않은 것('지식결손knowledge deficit')이 무엇인지 식별하여, 연구의 필요성을 확립하는 것이다. 이것은 갭 주장(Gap claim)이라고도 할 수 있다.

2. 문헌 고찰에서 '지금까지 알려진 것을 기술한다'는 방식의 문제점은 [세상의 온갖 사실들에 대한 너저분한 목록]만 만들고, 정작 독자에게 [다음 단계로 본 연구가 필요하다는 것]은 설득하지 못한다는 것이다.

3. 따라서 문헌 고찰은 [연구 영역의 지도를 그리는 것]으로 생각해야 한다. 이는 ['중요하다고 알려진 것'으로 둘러싸인 채색된 틈새에서, 아직 채색되지 않은 하얀 공간]을 강조하는 지도이다. 문헌 고찰을 이렇게 개념화 함으로써, [알려진 것을 제시]하고 [알려지지 않은 것을 지적]하는 두 가지 목표를 달성할 수 있다.

4. 문헌 고찰에는 자신이 읽은 모든 논문을 토해내지regurgitate 않아야 한다. 이것이 직관에 반할지도 모르지만, 세 가지 이유가 있다. 첫째, 공간이 없다. 둘째, 이미 개종한 사람에게는 설교할 필요가 없다. 셋째, 문헌 고찰에서 [관련성relevance]의 핵심은 [이미 알려진 것의 갭]을 짚어내는 것이다.

5. 문헌 고찰 파트는, 독자에게 중력을 가하여, [지식의 지도 위의 하얀 공간]으로 독자를 거침없이 이끌어야 한다. 그리고 그 하얀 공간이 바로 당신의 연구가 채워줄 공간이다.

6. 이렇게 문헌 고찰을 쓸 때는 '지식 주장knowledge claims'이라는 개념이 유용할 것이다. 지식 주장은 해당 분야의 연구자 공동체에서 특정 주제에 대한 이해가 어떻게 증대되어 왔는지를 보여주는 방법이다. 따라서 어떤 사람들은 여기에 동의할 수도 있고, 어떤 사람들은 동의하지 않을 수도 있다. 하지만 이러한 방식으로 기술함으로써, 검토한 지식의 현재 위치를 파악locating할 수 있다.

7. 지식 주장KC으로부터, 갭, 훅hook까지 이어지는 구조는 다음과 같다

1. KC: X에 관해 우리는 A를 알고 있습니다.
2. KC: X에 관해 우리는 B를 알고 있습니다.
3. KC: A와 B로 인해서 지금까지 C와 같은 시도가 있었습니다.
4. KC: 하지만 C는 D1이라는 조건에서 주로 이뤄졌습니다.
5. Gap: 결국 D2라는 조건에 대해서는 거의 알려진 바가 없습니다.
6. Hook: D2조건 하에서 X가 다수 발생하기에, D2조건에서 C에 대한 이해가 필요합니다.

8. 위의 구조는 문헌 검토를 구성하는 아웃라인으로 쓸 수 있다. 무엇보다 이러한 방식으로 지식 주장KC로부터 갭 주장gap claim까지 전략적으로, 설득력있게 이끌어갈 수 있다. 

9. 그렇다면 갭 주장Gap claim에는 어떤 유형이 있을까? 대표적으로 다음이 있다.

• 지식의 완전한 결여: 'A1과 A2사이의 관계를 살펴본 연구자는 아무도 없다'
• 학술적 취약 지점: '연구자들은 B1의 관점에서 X를 해석했지만, B2의 관점은 경시했다' 또는 'Y라는 주제는 B3의 접근법으로 조사되어왔지만, B4 접근법으로는 탐구하지 않았다.'
• 논란: 'C의 정의에 대한 연구자 간 불일치가 있다'
• 널리 퍼져있지만, 증명되지 않은 가정:  문헌에서 쉽게 찾아볼 수 있는 D라는 믿음은 무엇에 기반을 두고 있는가?'

10. 요약하자면, 문헌 검토는 '알려진 것의 요약'이 아니라, '갭의 지도화mapping the gap'라고 생각해야 한다. 그리고 이 갭의 유형을 어떻게 특징지을 수 있는지에 주의를 기울여야 한다. 

Reference

Lingard L. Writing an effective literature review : Part I: Mapping the gap. Perspect Med Educ. 2018 Feb;7(1):47-49. doi: 10.1007/s40037-017-0401-x. PMID: 29260402; PMCID: PMC5807267.