Is There a Problem With Evidence in Health Professions Education?
의료전문직 교육(Health Professions Education, HPE)에서 ‘증거(Evidence)’의 진짜 의미와 역할에 대한 고민 🩺📚
안녕하세요! 오늘은 의료전문직 교육(Health Professions Education, HPE) 분야에서 ‘증거(Evidence)’가 과연 무엇이고, 어떻게 활용되어야 하는지에 관한 매우 중요한 논문을 소개하고 이야기해 보려고 합니다.
1. 증거란 무엇일까? 그리고 왜 고민이 많을까? 🤔
많은 사람들이 ‘증거(evidence)’라는 단어를 자주 쓰지만, 실제로 ‘증거가 뭐냐’에 대해선 의견이 분분해요.
논문에서는 이렇게 말합니다.
“Evidence is a relational concept that has been described both in terms of how it is produced … and in terms of its use, including the contexts in which it is considered and negotiated.”
“증거는 어떻게 생산(produced)되는지, 또 어떤 맥락(contexts)에서 어떻게 사용되는지에 따라 정의되는 관계적(relational) 개념이다.”
즉, 증거는 단순히 연구 결과가 만들어지는 과정뿐 아니라, 그 결과가 어떻게 해석되고 사용되는지까지 포함하는 복잡한 개념이에요.
2. 연구 지식(Knowledge)이 곧 증거는 아니다! ⚠️
연구자들이 생산하는 ‘지식(knowledge)’이 항상 증거가 되는 건 아니에요.
논문에서 가장 중요한 포인트 중 하나는 이겁니다.
“Knowledge only becomes evidence when it is used to inform or support a particular position or claim.”
“지식은 특정 입장이나 주장을 알리거나 뒷받침하는 데 사용될 때 비로소 증거가 된다.”
즉, 연구 결과를 누군가가 실제로 어떤 결정을 내리거나 주장을 할 때 참고해야만 ‘증거’라는 이름을 붙일 수 있다는 거죠.
3. 증거는 한 번에 딱 맞게 모든 현장에 적용되기 어렵다 🧩
의료현장도, 교육현장도 각기 다 다릅니다. 논문에서는 이렇게 설명해요.
“No research finding perfectly generalizes or transfers as evidence from one context to another without consideration of local implementation variables, cultural traditions, and available resources.”
“연구 결과는 지역별 실행 변수, 문화적 전통, 가용 자원 등을 고려하지 않고는 한 맥락에서 다른 맥락으로 완벽하게 일반화되거나 이전될 수 없다.”
즉, 어떤 연구 결과가 어느 한 곳에서는 잘 맞아도, 다른 곳에서는 그리 쉽지 않다는 뜻이에요.
4. 연구자와 사용자, 둘 다 역할과 책임이 있다 👥
연구자(knowledge producers)와 그 연구를 활용하는 교육자, 정책 입안자 등 지식 소비자(knowledge consumers) 모두가 증거의 생산과 활용 과정에서 책임이 있다는 점이 강조됩니다.
논문에서는 이렇게 말해요.
“Researchers who do seek to influence decision-making should put thought and effort into making their research relevant and accessible to decision-makers.”
“의사결정에 영향을 미치고자 하는 연구자들은 자신의 연구가 관련성 있고, 의사결정자들이 이해하고 활용할 수 있도록 노력해야 한다.”
반대로, 지식 소비자들도 자신들이 믿고 싶은 증거만 받아들이는 ‘확증 편향(confirmation bias)’에 빠지지 않도록 주의해야 합니다.
5. 증거 활용의 현실적 한계와 제안 🛠️
- 실제 교육 현장에서는 교육과정(curriculum capacity), 교사 가용성(teacher availability), 자원(resources) 등 여러 제약이 증거 활용을 막기도 합니다.
- 연구가 출판되고 나서 실제 의사결정과 실천에 반영되기까지 속도의 차이도 문제입니다.
그래서 논문은 이렇게 제안합니다.
“Rather than accelerating the former or slowing down the latter, scholarly inquiry should be considered both as an end in and of itself and as a way of advancing broader conversations about HPE.”
“연구 출판 속도를 무작정 높이거나 의사결정 속도를 늦추기보다는, 학술적 탐구는 그 자체로 중요하며, 의료전문직 교육에 관한 더 넓은 논의를 촉진하는 방법으로 간주되어야 한다.”
또한, 증거가 실천으로 연결되는 과정을 체계적으로 추적하고 감시(audit)하는 시스템이 필요하다고 강조합니다.
마치며: 증거 기반 교육, 어떻게 볼 것인가? 🤝
논문에서는 결론적으로 이렇게 말합니다.
“Health professions educators should be asking, ‘How does knowledge activated as evidence add to or change conversations in HPE?’ and ‘How do HPE institutions shape knowledge production and its use as evidence, and for what purpose?’”
“의료전문직 교육자들은 ‘증거로 활성화된 지식이 의료전문직 교육 내 대화에 어떻게 기여하거나 변화를 주는가?’와 ‘의료전문직 교육 기관들은 지식 생산과 증거 활용을 어떻게 형성하며, 그것이 어떤 목적을 위해 이루어지는가?’라는 질문을 던져야 한다.”
이번 글은 증거 기반 교육(evidence-based education)의 복잡성과 현실적 어려움을 짚어보며, 앞으로 의료교육 현장에서 증거를 더 효과적으로 활용하기 위한 고민의 출발점이 될 것입니다.
읽어주셔서 감사합니다! 🙏
“나는 증거를 믿는다.”
— 아이작 아시모프, The Roving Mind¹
오늘날은 마치 증거(evidence)가 넘쳐나는 시대처럼 보입니다. 증거의 본질, 출처, 유용성, 그리고 강도에 대해 활발한 논의가 이루어지고 있습니다. 정책과 실천을 안내하는 데 어떤 종류의 증거가 사용되어야 하는지, 또는 사용되어서는 안 되는지에 대한 논쟁이 계속되고 있습니다. 그러나 이러한 논의의 상당 부분은 지식이 언제 그리고 어떻게 증거가 되는지에 대한 명확성의 부족에 의해 제한되고 있습니다.
근거중심의학(evidence-based medicine) 운동은 의사결정과 정책 수립에 증거 활용을 촉진하며 증거에 관한 이론들을 제시해왔으나², 이 이론들은 주로 증거의 출처(provenance), 즉 증거가 어떻게 생성되는가에 초점을 맞추었을 뿐, 실제 활용도(utility), 즉 실용적 적용에서의 가치에는 상대적으로 덜 집중하였습니다³.
근거중심의학은 특히 임상진료와 공공정책에서 문제에 접근하는 다양한 방식을 제한하는 방법론적 엄격성(methodological rigor)의 제약과 관련해 증거철학자들로부터 상당한 비판을 받았으며⁴, 여전히 무엇이 증거를 구성하는지, 그리고 증거가 어떤 가치를 가지는지에 관한 문제는 해결되지 않고 있습니다.
증거란 무엇인가?
우리는 서두에서 정보(information), 지식(knowledge), 증거(evidence)라는 용어들이 종종 혼용되며, 서로 다른 맥락과 학문 분야에서 다양한 의미를 갖는다는 점을 인정합니다. 본 글에서는 지식(knowledge)을 엄격한 방법론으로 수행된 연구 보고서나 논리적이고 근거가 탄탄한 전문가 의견을 담은 논문과 같이, 권위(authority)와 엄밀성(rigor)을 전달하는 출처로 정의합니다.
물론 동료심사(peer-reviewed) 저널에 게재된 것 외에도 다른 형태의 지식 출처가 존재하지만, 본 논문에서는 그러한 부분은 다루지 않고, 학술적 활동을 통해 생성되고 동료심사를 거친 저널에 출판된 지식에 초점을 맞춥니다. 그리고 이러한 지식이 어떻게 증거가 되는지를 논의합니다.
지식과 증거에 관해 역할에 따라 구분이 이루어지기도 합니다. 여기서는 Albert 등⁵의 틀을 빌려,
- 지식 생산자(knowledge producers): 다양한 종류의 지식을 창출하는 연구자와 학자
- 지식 소비자(knowledge consumers): 이 지식을 활용하여 의사결정을 내리고, 정책을 만들거나 변경하며, 행동에 정보를 제공하고, 의사결정을 지원하는 리더, 교사, 교육 설계자, 정책 입안자 등
으로 구분합니다. 본 글에서는 주장을 전개하기 위해 이러한 용어를 다소 변증법적(dialectical)으로 사용하지만, 두 역할의 구분이 불명확한 경우가 많고, 많은 사람들이 시기에 따라 두 역할을 모두 수행한다는 점을 분명히 인식합니다.
증거(evidence)는 관계적(relational) 개념으로, 그 생산 방식(즉, 어떤 종류의 연구나 학술활동이 그것을 생성했는지)과 그 사용 방식, 그리고 증거가 고려되고 협의되는 맥락(contexts) 측면 모두에서 설명되어 왔습니다⁶. 하지만 우리는 증거의 본질적 특성은 출처(provenance)가 아니라고 주장합니다. 연구(research)와 프로그램 평가(program evaluations), 지식 통합(knowledge syntheses)과 같은 기타 학술 활동들은 지식(knowledge)을 생산하거나 집약할 수 있으나, 우리는 지식이 특정 입장이나 주장을 알리거나 지지하는 데 사용될 때에만 비로소 증거가 된다고 봅니다.
무엇이 증거인지, 증거가 무엇을 의미하는지, 그리고 증거가 무엇을 하거나 해야 하는지에 관한 수많은 논쟁을 고려할 때, 증거라는 용어는 오히려 해결하기보다 더 많은 문제를 만들고 더 많은 질문을 야기하는 듯 보입니다.
의료 전문직 교육자(health professions educators)들은 무엇이 증거를 구성하는지, 증거가 어떻게 또는 어떤 용도로 사용될 수 있는지, 그리고 증거의 질이나 신뢰성을 어떻게 평가할 수 있는지에 대해 오랫동안 고민해 왔습니다⁷–¹². 실제로, 의료 전문직 교육 분야(health professions education, HPE)에 출판된 방대한 양의 연구와 증거에 기반한 실천에 대한 분명한 열정을 고려하면⁷,¹¹,¹³, HPE 분야의 증거 기반(evidence base)이 견고하고 유용하며, 좋은 증거가 무엇인지에 대해 합의(consensus)가 이루어져 있을 것으로 기대할 수 있습니다¹⁴.
하지만 현실에서는 다음과 같은 오래된 우려들이 존재합니다:
- HPE의 증거 기반이 실제 교육 실천이나 교육의 질에 거의 영향을 미치지 못했다는 점¹⁴,¹⁵
- 증거 기반 자체가 상대적으로 약하다는 점¹⁶
- 교육 실무자들에게는 관련성이 부족하다고 여겨진다는 점¹⁷–¹⁹
- 맥락의 복잡성에서 너무 동떨어져 있다는 점¹⁵,²⁰
- 그리고 실제로 교육 현장에 적용하기 어렵다는 점¹⁷,²¹
또한, 연구에서 생성된 지식이 정책결정자 및 다른 지식 소비자들(예: 교사, 프로그램 책임자)과 공명(resonate)하는 방식으로 표현되지 않는 경우가 많아, 이로 인해 변화를 촉진하는 증거로서의 유용성이 감소한다는 지적도 있습니다²². 예를 들어, 어떤 HPE 강사가 연구 결과를 자신의 교육에 활용하고자 하나, 교육과정의 제약, 인증 기준, 자원 및 시간 부족, 그리고 동료나 학습자들의 해당 실천 변화 또는 혁신 참여 부족에 직면해 어려움을 겪는 상황을 생각해볼 수 있습니다. 이처럼, 출판된 연구 지식이 현지 맥락(local contexts)에서의 적용까지 연결되지 못하는 ‘익숙하지만 어려운 간극’을 넘지 못하면, 그 지식은 강사의 실제 교육 활동에 거의 영향을 미치지 못합니다.
우리는 현재 HPE 연구 지식이 증거로 활용되는 상황에 대해 좌절하며 손을 놓고 탄식하는 학자들의 대열에 합류하고 싶지 않습니다. 또한 증거-실천 간격(evidence-to-practice gap)을 좁히기 위해 더욱 창의적인 방법을 제안하려 하지도 않습니다. 많은 이들이 이를 시도해 왔으나, 그 노력들은 그들이 동원하려 한 연구만큼이나 교육 실천에 거의 영향을 미치지 못한 것으로 보입니다²³,²⁴.
대신, 우리는 Argyris의 루프 학습 프레임워크(loop learning framework)²⁵에 기반한 사고 실험(thought experiments)을 통해 HPE에서 증거 문제를 재개념화하려 합니다.
우리는 다음과 같은 질문을 던집니다:
- HPE에서 증거에 문제가 있는가?
- 만약 문제가 있다면, 이를 해결하기 위해 무엇을 할 수 있는가?
- 그리고 HPE 연구자와 교육자들이 증거와 관련해 올바른 질문을 던지고 있는가?
이 질문에 대한 답은 지식 생산자와 소비자 간의 대화에 기초를 제공하며, 공통의 학술 목표를 규명하고 학자, 교육자, 리더의 필요를 더 잘 균형 있게 반영하는 학술 활동을 계획하는 데 도움을 줄 수 있습니다. 더 나아가, 우리는 HPE에서 증거의 역할, 증거에 관여할 때 지식 생산자와 소비자가 갖는 책임, 그리고 증거가 무엇을 할 수 있고 해야 하며 할 수 없는지에 대한 기대를 HPE 분야가 어떻게 정립할 수 있는지에 관한 균형 잡히고 심도 있는 논의를 안내하고자 합니다.
단일, 이중, 삼중 루프 학습 (Single-, Double-, and Triple-Loop Learning)
우리는 HPE(의료전문직 교육)에서 증거에 문제가 있는지 묻기 위해 Argyris의 단일-, 이중-, 삼중 루프 학습25,26 개념을 적용합니다.
- 단일 루프 학습(single-loop learning) 은 “우리는 어떻게 하고 있는가(How are we doing)?”라는 질문으로, 주어진 활동이 계획대로 실행되었는지를 탐색합니다.
- 이중 루프 학습(double-loop learning) 은 “우리는 더 잘할 수 있을까?(Could we do better?)”라는 질문으로, 활동 실행 중 발견된 문제나 부족한 점에 대해 무엇을 할 수 있을지 탐색합니다.
- 삼중 루프 학습(triple-loop learning) 은 “우리가 올바른 질문을 하고 있는가?(Are we asking the right questions?)”라는 질문으로, 그 활동 자체가 정말 필요한 것인지, 혹은 목표를 다른 방식으로 달성할 수 있는지를 탐색합니다.
학습은 각 루프의 끝에서 일어나며, 활동 책임자들은 일어난 일을 점검하고 다음 활동 반복 시 어떻게 접근할지 반성합니다. 이 루프들은 분석적이며 본질적으로 위계적(hierarchical)이거나 상호 배타적(mutually exclusive)이지 않습니다. 서로 다른 루프는 활동이 중요한 개인이나 활동에 어려움을 겪는 사람들에게 초점을 맞출 수 있습니다. 우리의 틀에서는,
- 1루프(loop 1) 에서는 지식 소비자(knowledge consumers)와 그들이 지식 생산자(knowledge producers)의 작업을 실천으로 옮기려는 노력을 집중적으로 봤습니다.
- 2루프(loop 2) 에서는 지식 생산자와 소비자 간의 상호작용에 집중했습니다.
- 3루프(loop 3) 에서는 지식 생산자가 지식을 증거로 사용할 때의 역할과 책임에 초점을 맞췄습니다.
우리는 HPE 문헌에서 자주 논의되는 두 가지 잠재적 증거-실천 간극(evidence-to-practice gaps)을 인지했습니다.
- 첫째, HPE가 해결하려고 할 수 있는 임상 증거-실천 간극(clinical evidence-to-practice gaps) 이 있습니다(예: 지속 의학교육을 통해), 이 경우 교육 방식을 통해 증거 기반 임상 실천 변화를 구현합니다²⁷.
- 둘째, 교육적 증거-실천 간극(educational evidence-to-practice gaps) 이 있는데, 이는 교육 자체와 관련된 문제입니다²⁸.
- 본 논문에서는 후자에 초점을 맞춥니다.
1루프: HPE에서 증거에 문제가 있는가?
일부 학자들은 HPE(의료전문직 교육) 증거에 심각한 문제가 없다고 주장하는 반면²⁹, 다른 이들은 많은 문제를 지적해 왔습니다¹¹,¹². 따라서 1루프 질문에 어떻게 답하느냐는 우리가 증거(evidence)를 어떻게 정의하느냐에 달려 있습니다.
먼저 증거를 엄격한 연구(rigorous research)를 통해 생성된 지식(즉, 출처(provenance))으로 개념화한다면, 우리는 자금 지원 기관과 학술지가 과학적으로 타당하고 연구할 가치가 있는지를 결정하는 ‘관문 관리자(gatekeepers)’ 역할을 한다고 볼 수 있습니다. 이 관점에서 보면, 연구 증거 생산에 본질적으로 잘못된 점은 없다고 주장할 수 있겠지만, 연구 품질의 지표(markers)를 사용하는 데는 여러 문제가 따릅니다. 특히, 사회과학 연구의 질을 단순한 체크리스트나 알고리즘으로 환원할 수 없다는 점은 중요한 문제입니다³⁰.
더욱이, 교육자들이 전체적으로 볼 때, 그들을 위해 명목상 생산된 연구와 제대로 연계되지 않거나, 심지어 전혀 참여하지 않는 경우도 많은 것 같습니다¹²,²¹,³¹,³². 출처가 있다고 해서 적용이 보장되는 것은 아니며, 엄격한 지식 생산과 실제 적용 간의 이러한 괴리가 지속되는 이유를 이해하는 것은 어려울 수 있습니다⁵. 예를 들어, 일부 학술지는 연구 결과의 실용적 관련성(practical relevance)이나 함의를 논의하는 것을 중요시하며, 이는 동료 심사(peer-reviewed) 논문 저자가 자신의 연구가 실제로 적용되도록 번역(translation)하는 데 큰 책임이 있음을 시사합니다. 대안적으로, 관련성(relevance)은 지식 소비자(knowledge consumers)의 실용적 필요와 지식 생산자(knowledge producers)의 이론적 풍부함(theoretical richness) 및 방법론적 엄밀성(methodological rigor) 간의 필연적 협상(negotiation)이라는 입장이 있습니다. 이는 다시 생산자가 자신들이 활용하는 지식의 관련성과 가치를 주장하는 타당성에 도전할 수 있습니다. 어떤 지식은 생산자 자신의 맥락에서는 관련성 있고 유용했을 수 있으나, 그것이 다른 맥락으로 일반화되거나 이전될 수 있다는 보장은 없습니다²⁰.
교육과 연구 관행 모두에서 표준화 부족과 맥락의 역할에 대한 주의 부족 역시 출판된 연구 결과의 유용성을 저해할 수 있습니다³³.
간단히 말해, 지식이 좋은 품질로 생산되도록 보장하는 메커니즘은 존재하지만, 연구 품질의 검증이 곧 지식 소비자가 연구 지식을 활용할 것이라는 보장은 아닙니다. 만약 그 지식이 사용되지 않는다면, 그것은 결국 증거가 되지 못합니다.
증거(evidence)를 유용성(utility) 측면에서 개념화하는 관점은, HPE(의료전문직 교육) 연구의 주된 역할이 실천(practice) 및/또는 정책(policy)을 안내할 증거를 생산하는 것임을 시사합니다. 하지만 이것이 현재 그렇거나 그렇게 되어야 하는지에 대해서는 격렬한 논쟁이 있었습니다²⁰,³⁴. 의사결정자 같은 지식 소비자(knowledge consumers)는 개인적 경험(personal experiences), 선호도(preferences), 동료 추천(peer recommendations) 등 다양한 지식 출처를 참고한다는 점을 고려할 때³⁵, 과학적 증거(scientific evidence) 즉, 체계적이고(methodical), 투명하며(transparent), 동료심사를 통해 신뢰성을 갖춘(peer review) 증거는 여러 증거 출처 중 하나일 뿐이며, 반드시 가장 중요하거나 유용한 증거일 필요는 없습니다.
더욱이, 과학적 지식이 존재한다고 해서 반드시 그것이 발견되고(appraised), 평가되어 사용될 것이라는 보장은 없으며, 특히 개인적 신념(personal beliefs)이나 경험(experiences) 같은 다른 지식 출처가 더 편리하거나 정치적으로 유리한 경우에는 더욱 그렇습니다. 이러한 개념화에서는 과학적 지식과 그 사용 사이의 연결이 상대적으로 약하고 상황적(circumstantial)입니다.
이는 반드시 문제가 되는 것은 아닙니다. 특정 논문이 특정 결정에 직접적으로 활용되지 않더라도, 해당 논문이 당면한 이슈에 관한 광범위한 담론(broader discourse)을 형성함으로써 그 결정에 영향을 줄 수 있기 때문입니다. 예를 들어, Lucey 등은 미국 의과대학에서 연구 결과가 보여준 환자에 대한 지속적인 불이익, 학생 구성의 다양성 부족, 평가에서의 체계적 편향(systemic bias)에 직면하여, 공정성과 형평성(equity and fairness)에 관한 사고가 어떻게 변화했는지를 설명합니다³⁶. 또 다른 예는 글로벌 남반구 국가에서 제출된 논문들의 낮은 출판율에 관한 연구를 기반으로, 동료심사(peer review)에서의 공정성에 대한 대화가 어떻게 변화했는지를 보여줍니다³⁷.
실제로 연구에서 생성된 지식은 여러 방식으로 실용적 함의(practical implications)를 갖거나 영향력을 발휘할 수 있습니다. 예를 들어, 지식 소비자가 던지는 질문의 종류, 증거로 간주하는 지식의 종류, 그리고 추구하는 해결책의 유형을 변화시킬 수 있습니다. 또한 연구의 관련성(relevance)이나 증거로 활용될 잠재력은 지식 생산자(producers)와 소비자(consumers) 간에 다르게 인식될 수 있으며, 이는 주어진 연구의 유용성 평가에 내재된 주관성(subjectivity)을 반영합니다. 비록 연구 질의 척도가 엄격성(rigor)과 신뢰성(reliability) 문제를 식별하는 데 도움을 줄 수 있지만³⁸, 궁극적으로 지식을 증거로 전환하는 최종 판별자는 바로 그 유용성에 대한 판단을 내리는 지식 소비자의 몫입니다.
첫 번째 루프에서: HPE에서 증거에 문제가 있는가?
첫 번째 루프는 HPE(의료전문직 교육)에서 증거에 문제가 있는지를 묻는 질문인데, 실제로 증거에 많은 문제가 있을 수 있습니다(하지만 그 정도와 범위는 증거가 무엇인지 또는 무엇이어야 하는지에 대한 다양한 해석에 따라 달라집니다). 이러한 불확실성은 연구 지식이 언제, 어떻게, 혹은 사용되고 있는지를 알지 못한다는 점에서 더욱 심화됩니다²⁸,³⁹,⁴⁰. 현재 수집되고 있는 인용 수(citations), 다운로드 수(downloads), 언론 보도 언급(media mentions)과 같은 데이터는 교육자들이 연구 지식을 어떻게 활용하는지와는 느슨한 상관관계만 있을 뿐입니다. 지식이 어느 정도, 어떤 방식으로 증거로 사용되는지 파악하기 위해서는 다양한 지표(metrics)와 방법론(methods)이 필요합니다.
더욱이, 이 루프는 지식 생산자들이 영향력의 지표로서 단순히 인용 수에 덜 집중하고, 지식 소비자들은 증거가 문제 접근 방식에 어떻게 영향을 미치는지(문제 해결 방식뿐 아니라)에 대해 더 인식해야 함을 시사합니다. 예를 들어, 영국의 연구 우수성 평가(Research Excellence Framework)는 영향력(impact)을 “학문 영역을 넘어 경제, 사회, 문화, 공공 정책 또는 서비스, 건강, 환경, 삶의 질에 미치는 효과, 변화 또는 이익”으로 정의했습니다⁴¹. 이러한 영향력의 증거를 입증하기 위해 고등교육기관은 연구 영향(impacts)을 설명하는 사례 연구(impact case studies)와 그 영향의 증거(corroborating evidence)를 제출해야 했으며, 여기에는 언론 및 소셜미디어 산출물, 웹사이트 방문 및 다운로드 수, 자원 활용률, 워크숍 참석률, 학습자 또는 조직의 결과, 그리고 실천 및 정책 변화 등이 포함되었습니다.
이처럼 증거가 어떻게 활용되는지를 평가하고 문서화하는 방식은 HPE에서 증거에 일반적인 문제가 있는지 평가하는 데 더 견고한 방법일 수 있습니다. 이러한 한계에도 불구하고, 우리는 두 번째 루프로 나아가, 잠정적으로 확인한 문제들에 대해 무엇을 할 수 있을지 묻습니다.
2루프: 문제가 있다면, 어떻게 해결할 수 있을까?
여러 종류의 지식이 증거로 사용될 수 있지만, 간결함(parsimony)을 위해 우리는 공식적인 과학적 지식(formal scientific knowledge)의 증거 사용에 초점을 맞춥니다. 이 과정에서 우리는 지식 생산자(knowledge producer) 측 문제, 지식 소비자(knowledge consumer) 측 문제, 그리고 생산자와 소비자 간 목표 불일치(misalignments)를 고려합니다.
분명히, 많은 HPE 연구가 지역적 필요, 기회, 개인적 관심사를 반영하는 소규모 연구를 수행하는 개인이나 작은 팀에 의해 이루어진다는 비판이 있었습니다⁴²,⁴³. 또한 연구가 너무 실용적이라는 비판⁴⁴,⁴⁵, 너무 이론적이라는 비판⁴⁶, 그리고 이론과 실천 간의 긴장(tension)이 종종 존재한다는 지적도 있습니다²⁰. 한편, 의학교육 학술 연구에서 영어권, 서구, 북반구 관점이 지배적이라는 비판도 있습니다¹⁴.
먼저, 지식 생산자 측 문제를 살펴보겠습니다. 지식 관련성(knowledge relevance)의 문제는 연구자들이 지식 소비자(예: 교사, 프로그램 책임자, 정책 입안자)에게 중요한 질문을 제기하고, 보다 전략적이고 엄밀하며 맥락(context)과 의미 있는 함의(meaningful implications)에 주의를 기울임으로써 해결할 수 있습니다⁴⁷,⁴⁸. 그러나 시간, 자원, 윤리, 정책 등 제약에 갇혀 있는 개별 연구자들에게 이 모든 책임을 전가하는 데는 한계가 있습니다. 또한, 어떤 문제들이 우선순위로 간주되는지, 어떤 문제들이 해당 분야에 관련성이 있다고 여겨지는지, 그리고 문제 접근법의 적절성 등에 의해 제한받습니다.
이러한 지식 생산자 측 문제에 대한 해결책으로는
- 이러한 제약을 최소화하고, 지식 소비자의 필요에 민감한 연구 우선순위를 공동으로 설정하기 위해 분야 전체가 협력하는 것이 있을 수 있습니다. 예를 들어, 연구비 지원 기관이 의학교육에서 주요 정책 변화(예: 역량 기반 의학교육)와 관련된 도전 과제에 연구자들의 관심을 집중시키기 위해 연구비를 사용하는 것이 하나의 우선순위 설정 전략입니다⁴⁹.
- 또 다른 전략은 연구팀에 교사, 학습자, 정책 입안자와 같은 지식 소비자를 포함시키는 것입니다²².
- 세 번째 전략은 HPE 연구비 지원 기관이 지식 생산자와 소비자 모두와 협력하여 우선순위를 설정하는 것입니다⁵⁰.
그럼에도 불구하고, 지식 생산자 및/또는 소비자, 혹은 그들이 속한 조직과 시스템에서 우선순위가 되는 질문과 중요한 격차를 체계적으로 식별하고 해결하는 전략적 방향이 거의 존재하지 않습니다.
지식 소비자(예: 교육자나 교육 리더)의 관점에서 볼 때, 교육과정 역량(curriculum capacity), 교사 가용성, 교사 업무량, 교육 자원은 지식을 증거로 활용하는 데 있어 지원 요소이자 저해 요소가 될 수 있습니다. 더욱이, 한 교육 현장에서의 지식이 다른 교육 환경으로 일반화되거나 전이되지 않을 수 있다는 점이 잘 알려져 있으며²¹, 교육과정 위원회(curriculum committees), 학장단(deaneries), 인증 및 면허 기관(accreditation and licensing bodies)과 같은 의사결정 구조가 실제 교실이나 임상 현장 교육과 다소 떨어져 있다는 점도 인식되고 있습니다. 의사결정자들이 제도적·정치적 동인(institutional and political drivers)에 주의를 기울이는 과정에서, 연구 증거를 심의 과정에 포함시키는 데 한계가 있을 수 있습니다²². 예를 들어, 결함이 있고 논란이 많은 학생들의 강의 평가(student evaluations of teaching)가 계속 우선시되는 상황을 생각해 볼 수 있습니다⁵¹,⁵². 이러한 평가들은 학생들이 선호하는 방향으로 교육 실천을 이끄는 데 종종 사용되지만, 보다 적절한 방향임에도 불구하고 인기가 덜한 방향에 대한 증거가 존재합니다⁵³. 또한, 증거 사용자 확증(evidence-user confirmation, 즉 기존 신념이나 가치를 확인하거나 지지하는 지식을 찾고 해석하며 선호하는 현상)⁵⁴, 그리고 가용성 편향(availability bias, 즉 가장 쉽게 떠오르는 지식에 의존하는 현상) 같은 문제는 해결하기 어려울 수 있습니다. 특히 교사나 학습자들이 교육에서 효과적인 것이 명백하고 상식적이며 직관적이라고 믿어 경험적 연구(empirical study)를 불필요하다고 생각할 때 그렇습니다⁵⁵,⁵⁶.
증거가 가치 없거나 관련성이 없거나, 교육 거버넌스의 복잡성에 잘 맞지 않는 문제들은 단지 지식 생산자나 소비자만의 문제라기보다는, HPE에서의 한정적 합리성(bounded rationalities, 의사결정의 구조적 제약) 의 일부입니다⁵⁷. 따라서 지식 생산과 증거로서의 활용 모두가 이러한 현실과 특이성(idiosyncrasies)을 반영해야 하며, 이 문제들이 해결되거나 현재와 다르기를 바라는 것보다는 현실을 인정하는 태도가 필요할 수 있습니다.
연구와 실천의 접점에서 발생하는 문제를 고려할 때, HPE는 다양한 이해관계자들의 기대치를 더 잘 관리하는 데서 이득을 얻을 수 있습니다. 예를 들어, 지식 생산자들이 권장 변화를 실행하는 데 필요한 일정과 자원에 관한 지침을 제공하면, 지식 소비자들이 그에 맞게 계획할 수 있을 것입니다. 아울러, HPE 학술 활동으로 생성되는 모든 증거가 반드시 유용성과 활용도(utility and uptake)를 가져야 한다는 암묵적 기대가 있다면, 이는 도전받거나 적어도 더 면밀히 검토되어야 한다고 생각합니다. 우리는 이러한 기대가 좀 더 섬세한 접근과 인식론적 겸손(epistemic humility) 으로부터 이익을 얻을 수 있다고 주장합니다. 모든 HPE 연구가 실무자 지향적(practitioner-oriented)인 것은 아니며, 다양한 종류의 연구가 생산하는 여러 형태의 지식은 다양한 목적에 부합할 수 있습니다.
중요하게도, 우리는 개별 연구들이 모든 곳에서 (혹은 어디서든) 실천(practice)을 근본적으로 변화시킬 것이라고 기대할 수 없습니다. 해석(interpretation), 맥락화(contextualization), 그리고 번역(translation)은 거의 항상 필요합니다⁵⁸.
- 실제로, 연구 현장, 사람, 중재(interventions) 등 간의 맥락 차이로 인해, 연구 결과가 지역별 실행 변수(local implementation variables), 문화적 전통(cultural traditions), 그리고 가용 자원(available resources)을 고려하지 않고서는 한 맥락에서 다른 맥락으로 완벽하게 일반화되거나 이전(transfer)될 수 없습니다⁵⁹.
- 대신, 그러한 연구 결과를 뒷받침하는 개념적 산출물(conceptual artifacts), 원칙(principles), 철학(philosophies) 이 다른 맥락에 더 유용하게 일반화되거나 번역될 수 있을 것입니다. 하지만 이러한 기본 개념적 산출물, 원칙, 철학은 종종 지식 생산자나 소비자에 의해 제대로 표현되지 않아, 다양한 교육 혁신의 수용 또는 실행을 제한하는 요인이 됩니다⁶⁰–⁶³.
요약하면, 증거와 관련된 문제는 HPE 지식 생산자와 소비자에게 너무 많은 것을 기대한다는 데 있을 수 있습니다. HPE가 증거 기반 실천(evidence-informed practice)에 대해 더욱 생산적이고, 민첩하며, 역동적인 접근법을 갖도록 재구성될 수 있을까요? 아마도 HPE 문제 해결책은 ‘주어진 상황에서 우리가 할 수 있는 최선’이라는 이해에 기반해야 하며, 달성 불가능하거나 바람직하지 않을 수 있는 이상을 추구하는 것보다 더 현실적이어야 합니다.
사실, 만약 증거 기반 실천이 HPE 전반의 시스템적 문제로 간주된다면 어떨까요? 예를 들어, 과학적 지식 생산과 그 수용 간의 현재 단절 대신, HPE는 이러한 지식이 증거로서 어떻게 사용되는지를 체계적으로 추적할 수 있을 것입니다.
- 논문 다운로드 시 어떻게 증거로 활용될 것인지에 대한 간단한 설문조사를 포함하거나, 일정 기간 후에 해당 논문이 증거로 어떻게 사용되었는지(예: 실천 또는 정책에 정보를 제공하는 데 사용되었는지) 자동으로 후속 알림을 보내는 방법도 가능합니다.
- 또 다른 방법으로는, 교육 혁신과 변화(다양한 수준에서)에 대한 체계적 검토를 수행하여 어떤 지식이 어떤 맥락에서 어떤 방식으로 증거로 사용되었는지를 감시(audit)하는 방법도 있습니다.
비록 지식이 증거로, 다시 실천으로 번역되는 대부분의 사례가 추적 불가능할 것이라고 주장될 수 있지만, 추적 시도가 전혀 이루어지지 않는다면, 여기서 제기된 문제들은 계속될 가능성이 높습니다.
3루프: HPE에서 증거에 관해 올바른 질문을 하고 있는가?
세 번째이자 마지막 루프에서는, “만약 증거와 관련된 특정 문제가 해결된다면, 그 다음에야 비로소 증거 기반 HPE의 더 넓은 문제들이 해결될 수 있는가?” 라는 질문을 통해 HPE 내 증거 문제에 대한 대안적 관점을 탐색합니다. 결국, HPE에서 가장 큰 제약 요인 중 하나는 한정된 자원으로 학습을 최적화하는 데 초점을 맞춘 사회경제학(social economics)입니다⁵⁷. 이 관점에서 보면, 교육적 결정들은 이상(ideals)이나 증거(evidence)보다 타협(compromises)에 기반할 가능성이 큽니다.
실제로, HPE 프로그램들이 직면하는 많은 제약을 고려할 때, 증거가 HPE 의사결정에서 큰 역할을 하지 못하는 것은 놀랍지 않습니다²². 학술 논문의 권고사항을 무시한다고 해서, 법적, 제도적, 윤리적 정책을 따르지 않을 때처럼 의사결정자에게 크게 불이익이 가지는 않는 경우가 대부분입니다. 그렇다면 만약 상황이 바뀐다면 어떨까요? 만약 지식 생산자들이 자신들이 생성한 지식의 실행을 진정으로 중요하게 여기고, 지식 소비자들이 정책 및 절차 준수에 대해 책임을 지듯, 증거로서의 지식 활용에 대해서도 책임을 진다면?
2루프에서 우리는 증거(예: 알려진 것과 그것이 주장을 어떻게 뒷받침하는지에 관한 사고)와 실천 간에 더 의미 있고 현실적인 연결고리가 필요하다고 주장했습니다. 이러한 연결을 추구하며, 우리는 다시 “HPE 증거란 무엇인가?”, “그 증거는 어떤 목적을 위해 의도되는가?”라는 질문으로 돌아갑니다. HPE 커뮤니티는 종종 증거를 ‘생산(producing)’한다고 말하지만, 이는 오해를 불러일으킬 수 있습니다. 서두에서 논의했듯이, 지식은 주로 의사결정을 포함하는 주장(claim)을 지지하거나 반박하는 데 사용될 때에만 증거가 됩니다. 따라서 근거가 확실한 주장을 하는 사람들은 지식이 어떻게 증거로 사용될 수 있는지를 고려해야 하며, 이는 원래의 지식 주장(strength of the original knowledge claims)이 얼마나 강한지, 그리고 이 지식 주장이 주장을 뒷받침하는 데 어떻게 사용될 수 있는지를 포함합니다.
출처(provenance)가 아니라 유용성(utility)의 관점에서 지식을 증거로 이해하는 한 가지 결과는, 주장과 독립적으로 존재하는 ‘올바른 증거(right evidence)’는 없다는 것입니다(단일 또는 복수 출처에 근거한 여부와 관계없이). 대신, 증거로 사용되는 지식의 질(quality)이나 ‘올바름(rightness)’은
- 그것이 주장의 일부로 사용되는 방식,
- 그 지식으로부터 도출되는 증거적 추론(evidentiary inferences)의 적절성,
- 그리고 이를 수행하는 사람들의 능력에 반영됩니다.
같은 연구 논문의 서로 다른 측면에서 각기 다른 지식 소비자들이 서로 다른 유용성(utility)을 인식할 가능성이 매우 높습니다.
더 나아가, 유용성은 단순히 올바른 지식을 증거로 적용하는 문제만이 아닙니다. 지식은 실제로 적용되지 않는 주장이나 입장을 지지하는 데 사용될 수도 있고, 지식을 잘못 해석하거나 결함이 있거나 편향된 지식을 증거로 사용할 수도 있습니다.
우리는 이것이 이상적이라고 말하는 것이 아니라, 지식 소비자들은 자신에게 유용한 것을 사용하며, 이러한 사용은 지식 생산자에게 예상치 못하거나 용인될 수 없는 경우가 있을 수 있음을 말하고자 합니다. 당연히, 다양한 종류의 지식 주장을 제시하는 저자들은 자신의 연구가 증거로 어떻게 활용될지, 혹은 어떻게 사용될지 예측할 수 없습니다. 그러나 그들은 자신들의 연구 중 어떤 측면이 사용된다면, 그것은 그 측면이 특정 맥락에서 유용했기 때문이지, 그 지식이 본질적으로 옳거나 좋기 때문이 아님을 확신할 수 있습니다.
지식이 사용될 때 잘못 해석되거나 오용되는 경우가 있음을 보여주는 증거는, 지식 생산자들이 자신이 생산한 지식이 어떻게 해석되고 사용되거나 오용되는지에 대해 더욱 경계해야 할 필요가 있음을 시사합니다. 특히 윤리적 파장이 있을 때는 더욱 그렇습니다. 반면, 지식 소비자들도 자신의 신념과 일치하는 지식을 증거로 선호할 가능성에 대해 더욱 인지하고 주의를 기울여야 할까요? 우리는 무지(awareness)의 결여는 맹점을 감추고 바람직하지 않거나 심지어 차별적인 결과를 초래할 위험이 있기 때문에, 인식과 주의(mindfulness)가 필요하다고 주장합니다.
따라서, 지식 생산과 그것이 증거로 사용되는 것 사이의 관계는 비교적 분리되어(decoupled) 있습니다. 이러한 분리는 교육 학자들이 실천에 바로 적용 가능한 증거를 생산하고 배포한다는 널리 퍼진 가정을 도전합니다. 우리의 주장은 그들이 증거로 사용될 수 있는 지식을 생산하고 배포한다는 것입니다. 지식이 반드시 또는 당연히 증거가 되어야 한다는 규칙은 존재하지 않습니다(암묵적이든 명시적이든)⁵.
지식(증거의 출처, evidence providence)과 적용(증거의 유용성, evidence utility) 간의 연결은,
- 연구가 증거로 사용되도록 의뢰(commisioned)되었거나(예: 프로그램 평가), 연구가 의사결정자의 가치 제안(value propositions)을 목표로 사전 설계된 경우 강화될 수 있습니다. 이러한 경우, 연구자들이 특정 의사결정자의 관심사와 가치를 겨냥하는 모습을 기대할 수 있으며, 이는 지식 생산의 관계적(relational)이고 상황적(situated) 성격과 증거로서의 사용 가능성을 강조합니다.
- 또 다른 전략으로는 지식 생산자가 대안적 전달 방식(예: 동료심사 출판에 한정하지 않는 지식 공유)을 더 잘 활용하는 것입니다. 그러나 때로는 원저자가 아닌 중개자(intermediaries)에 의해 수행되기도 하는데, 이는 지식 중개자(knowledge brokers)가 지식을 증거로 번역하여 활용을 촉진하는 데 유용한 역할을 할 수 있음을 시사합니다.
요약하면, 의사결정에 영향을 미치려는 연구자들은 자신들의 연구가 의사결정자에게 관련 있고 접근 가능하도록 생각과 노력을 기울여야 합니다. 하지만 이는 전체 상황의 일부에 불과하며, 고려해야 할 다른 요소들도 있습니다. 예를 들어, 연구가 출판되기까지 걸리는 속도는 상대적으로 느린 반면, 의사결정 속도는 훨씬 빠른 경우가 있습니다⁶⁴. 연구 출판 속도를 가속하거나 의사결정 속도를 늦추기보다는, 학술적 탐구는 그 자체로 목적이며, HPE에 관한 더 넓은 대화를 진전시키는 방법으로 간주되어야 하며, 특정 의사결정 과정에 기여하는 것으로만 이해되어서는 안 됩니다. HPE 분야는 또한 “지식 그 자체를 위한 지식(knowledge for knowledge’s sake)” 태도를 벗어나, 의사결정자 및 다른 지식 소비자들과 협력함으로써 연구 지식의 증거로서 동원(mobilization)에 더욱 주의를 기울일 수 있습니다.
논의 (Discussion)
증거와 관련된 문제에 대한 논의는 보건의료 분야나 의료전문직 교육(HPE)에 새로운 것이 아닙니다. 그러나, 지식과 증거가 무엇으로 간주되어야 하는지에 관한 사회 전반의 광범위한 논쟁을 고려할 때, HPE 내에서 이 대화를 새롭게 시작하는 것은 시기적절합니다. 단일, 이중, 삼중 루프 학습의 분석적 틀을 사용하여, 우리는 HPE에서 증거의 유용성에 대한 다양한 관점을 탐색했습니다:
- 증거 혹은 유용성에 문제가 있는지,
- 그 문제들에 대해 무엇을 할 수 있는지,
- 그리고 증거의 생산, 배포, 수용에 대한 책임이 지식 생산자, 지식 소비자, 또는 양자에게 있는지 등입니다.
예를 들어, 어떤 기관은 자신의 교육 프로그램에서 연구 지식의 유용성에 대해 한탄하면서도, 구성원들의 출판 양과 속도를 장려하는 ‘출판 아니면 멸망(publish or perish)’ 문화를 지속할 수 있습니다.
우리의 첫 번째 권고는 HPE에서 지식과 증거의 본질에 대한 체계적인 성찰(systemic reflection) 을 촉구하는 것입니다. 예를 들어, 이 글을 준비하면서 유용성 문제는 종종 논쟁적(contentious)으로 여겨졌다는 점을 주목하며, 우리는 과학적 지식을 평가할 때 유용성만을 고려해야 한다고 주장하는 것이 아니라, 지식이 증거로 번역되는 과정에서 유용성은 피할 수 없는 필수적인 요소임을 강조합니다.
사실, 좋든 싫든, 우리는 번역(translation)이 그 출처 지식의 질에 의해 제한되지 않는다는 점을 분명히 해야 합니다. 왜냐하면 때로는 약하거나 모호한 지식이 과도하게 강한 증거적 주장을 만들기 위해 활용될 수도 있기 때문입니다. 따라서 우리는 지식 생산자와 소비자가 이러한 번역 과정과 그것의 투명성, 책임성에 더 주의를 기울일 것을 요청합니다. 결국, 연구자들은 한 연구 내에서 데이터가 발견으로 번역되는 과정을 신중하게 추적하는데, 그렇다면 왜 발견이 증거로 번역되는 과정에 대해서는 유사한 기준을 적용하지 않을까요?
우리의 두 번째 권고는 연구 지식이 증거로 어떻게 사용되는지에 대한 체계적인 추적과 감사(systemic tracking and audit) 입니다. 비록 우리의 논의가 주로 공식적인 과학적 연구 및 학술 성과물에 초점을 맞추었지만, 증거로 간주되거나 사용될 수 있는 많은 다른 지식 출처들이 존재함을 인정합니다. 또한, 3루프 논의가 1, 2루프와는 다른 결론에 도달했음을 주목합니다. 즉, 증거가 실천을 변화시킬 수 있거나 변화시켜야 한다는 주장(고전적 번역 이해, 초기 논쟁의 대부분)과, 증거가 문제에 대한 사고 방식이나 논의 방식을 변화시킬 수 있거나 변화시켜야 한다는 주장 사이의 대조가 가능합니다. 지식 생산자와 소비자가 특정 실천 변화의 권고를 넘어서, HPE 내 대화(conversation)를 변화시키고, 적응하며, 전환함으로써 정책이나 실천에 더 실질적인 영향을 미칠 수 있을지도 모릅니다.
세 번째 권고는 HPE가 지식을 생산하고 소비하는 방식에서의 체계적인 문화 변화(systemic culture change) 입니다. 현재 이 분야는 지식 생산자와 소비자에 대해 다소 양극화된 시각을 가지고 있는 것 같습니다. 이 두 극단 중 한쪽에 자신을 위치시키는 것은, 많은 구성원들이 이 두 역할 사이를 유동적으로 오가고 있다는 현실을 가릴 수 있으며, 프로그램, 기관, 그리고 분야 전체에서 지식 생산자와 소비자의 목표를 반영하고 성찰적 대화(reflexive dialogue)를 가능하게 하는 기회를 저해할 수 있습니다. 이 양극화된 문화의 결과는 분명하며, 이를 해결하지 않으면 교육 발전과 개선에 대한 공동 목표가 위축되고, 지식이 방치되거나 생산되었으나 사용되지 않는다는 좌절감이 커질 수 있습니다. 이 점을 제안하면서, 연구가 반드시 실용적인 목적을 수행하거나 특정 프로그램이나 기관의 문제를 해결해야 하는 것은 아니라는 점을 다시 한 번 강조하고자 합니다. 그렇지 않으면 혁신적이고 창의적인 아이디어와 가능성이 제한될 것입니다. 또한, 다른 체계적 변화가 이러한 노력들을 촉진하거나 억제할 수 있음을 인정합니다(예: 지식-증거-실천 번역 과정을 추적·보고하는 생성형 인공지능 활용 등).
마지막으로, 용어 사용이 오해를 불러일으킬 수 있습니다. HPE 분야가 정말 지식 생산자와 소비자로만 축소될 수 있을까요? 분명히 상황은 그보다 훨씬 복잡하고 얽혀 있습니다. 대신 의료 전문직 교육자들은 다음과 같은 질문을 던져야 합니다:
- “증거로 활성화된 지식이 HPE 내 대화에 어떻게 기여하거나 변화를 주는가?”
- “HPE 기관들은 지식 생산과 그것의 증거로서의 사용을 어떻게 형성하며, 그것이 어떤 목적을 위해 이루어지는가?”
우리는 이 질문들에 대해 결정적인 답을 내리지는 않았지만, 이러한 흥미로운 질문들을 던짐으로써 다른 이들이 이 문제들에 대해 더 깊이 생각하도록 독려했기를 바랍니다.
'논문 읽기 (with AI)' 카테고리의 다른 글
| 의료적 지혜 탐구: 의사들이 정의한 실용적인 지혜적 역량 모델의 개발 (Med Educ. 2025) (0) | 2025.06.01 |
|---|---|
| 역량 기반 의료 교육: 의료 분야의 혁신을 촉진하는 촉매제 (Med Teach. 2024) (0) | 2025.06.01 |
| 커리큘럼 변경 중 평가 관리하기 오타와 컨센서스 선언문 (Med Teach. 2024) (0) | 2025.05.28 |
| 의학교육에서의 감성 지능: 직업적 정체성 형성에서의 역할: AMEE Guide No. 186 (Med Teach, 2025) (0) | 2025.05.28 |
| 보건 전문직 교육에서 학습 전이를 위한 교수법: AMEE Guide No. 176 (Med Teach, 2024) (1) | 2025.05.28 |