[리뷰] 보건 전문직 교육의 범위에는 지식 종합을 위한 상호 보완적이고 다양한 접근 방식이 필요합니다.

출처: Norman, G., Sherbino, J., & Varpio, L. (2022). The scope of health professions education requires complementary and diverse approaches to knowledge synthesis. Perspectives on Medical Education, 11(3), 139-143.

https://link.springer.com/article/10.1007/s40037-022-00706-y

 

이번 Perspectives on Medical Education 호는 메타연구, 즉 연구 과정을 연구하는 것에 중점을 두고 있습니다. Maggio와 동료들은 논문 모집 공고에서, 보건직 교육(Health Professions Education, HPE) 연구가 확장되고 점점 더 조직화, 통합 및 종합하기 어려워짐에 따라 메타연구를 더 잘 이해할 필요가 있다고 지적했습니다[1]. HPE 연구의 확장에 대응하여, 지식 종합(예: 문헌 검토)은 중요한 역할을 맡게 되었습니다. 그 예로, 이 분야의 서지학적 리뷰(bibliometric review)가 등장하게 된 것을 들 수 있습니다. 2011년에 Rotgans는 주요 6개 저널에서 10,000개의 초록을 검토하여 HPE의 주제와 주요 인물들을 파악했습니다[2]. 흥미롭게도, 내용 주제와는 무관하게 분야 내 상위 10개의 논문 목록이 밝혀졌는데, 그 중 어느 것도 원래 연구(original study)는 아니었습니다. 1개의 체계적 리뷰와 4개의 비판적 리뷰가 있었고, 나머지는 논평 및 1개의 기술 보고서였습니다. 더 최근의 리뷰에서 Azer도 유사한 결과를 발견했습니다[3].

 

이러한 분석은, 최소한 인용 수로 측정된 결과에 따르면, 리뷰 논문과 논평이 원래 연구 논문보다 더 높은 가치를 인정받고 있을 수 있음을 시사합니다. 여기에는 역설이 존재합니다. HPE를 발전시키는 실제 연구는 연구를 종합하고 해석하는 리뷰 및 논평보다 인용 빈도가 낮습니다. 따라서 과제는 지식 종합이 원 연구에 충실한 요약을 보장하기 위해 엄격하게 설계되고 보고되도록 하는 것입니다.

 

지식 종합은 연구 방법론과 마찬가지로 객관주의적(objectivist) 성향과 주관주의적(subjectivist) 성향 사이의 연속선에 존재합니다. 체계적 리뷰는 객관주의 전통에 속하며, 비판적 리뷰는 주관주의 전통에 속합니다. 이 극단들 사이에는 여러 가지 문헌 리뷰 방식들이 산재해 있습니다. HPE는 이처럼 다양한 지식 종합 방식을 필요로 합니다. HPE는 이론과 방법론이 분명하게 정의된 학문과 달리, 특정한 경계가 없는 분야이기 때문입니다. 오히려 HPE는 필요한 방법을 고안하는 데 있어 다양한 철학적 관점이 유익하게 작용하는 풍부한 다양성을 가지고 있습니다. 그러나 이러한 다양성을 활용하기 위해서는 학자들이 지식 종합 접근 방식에서도 유사한 다양성을 채택해야 합니다. 이를 설명하기 위해, 우리는 서로 다른 연구 전통을 반영하는 세 가지 형태의 지식 종합을 검토합니다: 1) 체계적 리뷰와 메타 분석, 2) 서술적 리뷰, 3) 서지학적 연구. 우리는 이 지식 종합 목록이 포괄적이지 않으며 스코핑 리뷰(scoping review), 실재론적 리뷰(realist review) 등 많은 다른 유형을 논의하지 못하고 있음을 인정합니다.

 

체계적 리뷰와 메타 분석

Systematic reviews and meta-analysis

 

제목에서 암시하듯, 이 지식 종합의 영역에는 두 가지 주요 구성 요소가 있습니다.

• 첫 번째는 체계적 리뷰로, 여기에서는 키워드와 데이터베이스, 검색 전략, 특정 기사를 상세히 검토하기 위해 선택하는 방법 및 기준을 명확히 설정합니다.
• 두 번째 구성 요소는 메타 분석으로, 통계적 전략을 사용하여 개별 연구 결과를 적절한 가중치를 적용해 종합함으로써 전체 효과 크기를 도출합니다.

이 영역은 편향을 최소화하고 일반화 가능한 "진리"를 추구하는 객관주의적 성향을 따릅니다.

 

HPE에서는 생물의학 연구와 달리, 많은 체계적 리뷰가 메타 분석으로 이어지지 않습니다. 앞서 언급된 리뷰에서는 76개의 논문 중 8개(11%)만이 메타 분석을 사용했습니다[3]. Maggio와 동료들이 수행한 더 최근의 리뷰에서는 963개의 지식 종합이 확인되었습니다[4]. 저자들은 체계적 리뷰가 가장 일반적이며(35%), 체계적 리뷰와 메타 분석을 별도로 고려한 결과 전체의 6%를 차지했다고 보고했습니다. 따라서 체계적 리뷰 중 오직 17%만이 메타 분석을 포함하고 있었습니다.

 

HPE에서 메타 분석이 포함된 체계적 리뷰가 상대적으로 드문 이유는 여러 가지로 설명될 수 있습니다.

• 1) 해당 분야의 상대적 미성숙성으로 인해 동일한 질문을 탐구하는 다수의 실험이 부족해 집계된 효과를 분석할 수 없는 경우,
• 2) 교수법과 학습 문제에서 메타 분석을 위한 단일 변수를 고립시키는 것이 지나치게 단순화된 접근 방식이 되는 경우 등이 있습니다.

여러 저자들[5,6,7]은 첫 번째 설명을 지지하며, Ioannidis는 이번 호에서 이를 다루고 있습니다[5]. 그의 비판은 익숙한 경로를 따르며, “[HPE의] 대부분의 문헌은 [엄격하고, 실행 가능하며, 관련성 있고, 적용 가능한] 기준을 충족하지 못한다. 대부분의 논문은 단일 기관의 회고적이고 통제되지 않은 데이터를 제시하며, 최적이 아닌 통계적 방법을 사용한다”고 지적합니다. Ioannidis는 HPE의 문헌을 폄하하며 “엄격한 무작위 대조 실험을 사용하는 실험적 연구는 소수에 불과하다... 사전 증거와 비교해 유용한 배치를 제공하는, 편향되지 않은 실험적 통제, 장기 추적 조사, 그리고 매우 관련성 높은 실용적 결과를 갖춘 완벽한 연구는 존재하지 않을지도 모른다”고 말합니다.

 

Ioannidis가 최고 품질의 연구에 부여한 특성은 좋은 과학이 무엇인지를 지나치게 좁은 시각으로 바라보고 있음을 보여줍니다. HPE에는 표준화된 중재, 무작위화, 유효한 결과 등을 사용하는 연구들이 다수 존재하지만[8, 9], 이러한 연구들은 보통 매우 단기적이고 단일 차원의 결과에 집중합니다. 반면에, 다양한 유형의 질문을 적합한 방법으로 다루는 연구가 훨씬 더 많습니다. 한 가지 완벽한 연구 기준을 충족하지 않는다고 해서 HPE 전체 분야를 비판하는 것은, HPE를 깊고 미묘하게 이해하는 데 필요한 다양한 지식과 방법론을 이해하지 못하는 것이며, 나아가 이를 인정하지 않는 것입니다. 다시 말해, HPE는 미래의 보건 전문가들을 교육하는 예술과 과학을 이해하기 위해 다양한 종류의 지식을 필요로 합니다. 이 분야는 단일한 방법론으로 모두를 해결할 수 있는 곳이 아닙니다. 마찬가지로, HPE는 다양한 지식 종합 방식을 통해 '좋은 과학'을 식별해야 하며, 연구 질문에 따라 연구를 뒷받침할 철학과 방법론이 결정되는 분야입니다. 여기서 시작점은 단순히 실험적 설계가 아니라는 점이 중요합니다. 따라서 HPE에서 책임 있는 학자가 되기 위해서는 연구자가 존재론적, 인식론적, 방법론적으로 다방면에 걸쳐 폭넓은 이해를 갖추어야 합니다[10].

 

메타 분석을 포함한 체계적 리뷰는 다음과 같은 요소들이 포함된 충분한 양의 실험 연구가 있을 때 효과적으로 작동합니다:

1. 연구의 목표가 중재를 조사하는 것일 때;
2. 중재가 표준화되었을 때;
3. 결과가 표준화되었을 때;
4. 적절한 대조군이 있을 때.

HPE에서 대부분의 체계적 리뷰가 메타 분석을 포함하지 않는다는 사실은 이러한 조건들이 실제로는 거의 충족되지 않음을 시사합니다.

• 첫째, 교육 분야에서는 비교적 적은 질문들이 중재로 정의될 수 있어, 표준적인 실험적 패러다임이 적용되지 않습니다.
• 둘째, 생의학 연구와는 달리, HPE에서는 이론 개발이 일반화 또는 전이를 촉진하는 전략으로 강하게 중시되며, 이론 기반 연구는 두 그룹을 무작위로 나누는 실험에 쉽게 적용되지 않습니다.

Cook과 동료들은 연구의 목표를 분류하며, 정당화(효과가 있는가?)와 명확화(왜 효과가 있는가?)를 구분했습니다[11]. 메타 분석은 정당화 프레임워크에 잘 맞지만, 점점 더 많은 HPE 저널에서 연구 질문이 이론적 틀에 내재되어야 한다고 요구하고 있습니다. 마지막으로, 중재로 정의될 수 있는 질문일지라도, 교육 중재에는 보통 여러 가지 중재 변형, 다양한 결과 변수, 그리고 무수히 많은 혼재 변수들이 존재합니다. 예를 들어, 문제 중심 학습(PBL)이라는 중재는 단일한 용량이 아니라 여러 중요한 요소(예: 문제, 소그룹, 자기주도 학습, 다양한 평가 방법 등)를 포함하며, 다양한 맥락(예: 워크숍 또는 전체 커리큘럼)과 다양한 집단(예: 기초 의학 교육, 임상 교육, 지속적 교육)에서 시행될 수 있습니다. 결과는 학습자 만족도부터 표준화된 시험 성과, 실제 실무에서의 성과까지 다양할 수 있습니다[12]. 이론은 이러한 차원들을 하나로 묶는 접착제 역할을 합니다. "PBL이 효과가 있는가?"라는 질문은 사실상 의미가 없습니다. 교육 실험 설계의 아버지인 Donald Campbell이 말했듯이:

“연구자가 어떤 효과가 존재한다고 말할 때, 모든 다른 조건이 동일하다는 전제 하에 그는 매우 많은 다른 조건들을 동일하게 설정한 경험에서 나온 것이다.”

 

메타 분석을 포함한 체계적 리뷰는 일부 HPE 문헌을 체계적으로 조직하고 종합하는 데 가치 있는 접근 방식입니다. 그러나 이 접근 방식은 연구의 일부분에만 적용될 수 있습니다. 생의학 연구와 달리, HPE에서는 메타 분석을 포함한 체계적 리뷰가 피라미드의 꼭대기에 위치하고 다른 형태의 지식 종합이 그 아래에 위치하는 계층 구조가 존재하지 않습니다. 각종 지식 종합 방식은 상호 보완적이며, 나란히 배치될 때 복잡하고 성장하는 HPE 문헌을 이해하는 다양한 방법을 제시합니다.

 

서술적 리뷰

Narrative reviews

 

서술적 리뷰는 주관주의 철학을 채택하여, 문헌 종합에 대한 정보를 저자의 전문성과 관점에 의존합니다. 서술적 리뷰라는 용어는 다양한 종류의 리뷰를 포함하는 포괄적인 용어입니다. 서술적 리뷰는 현상의 "진실"을 밝히려는 학자들이 사용하는 방식이 아닙니다. 서술적 리뷰를 수행하는 연구자들은 다른 목표를 가지고 있습니다. Greenhalgh와 동료들이 그들의 대표적인 논문에서 설명했듯이[13], "서술적 리뷰는 해석과 비판을 제공하며, 그 주요 기여는 이해를 심화하는 것"입니다. 그들이 밝히듯이, 모든 연구 질문이 방대한 데이터로만 답변될 수 있는 것은 아닙니다. 어떤 질문은 성찰, 명확화, 그리고 통찰을 필요로 합니다. 이것이 서술적 리뷰가 실현할 수 있는 작업입니다.

 

예를 들어, 최첨단 문헌 리뷰(state-of-the-art literature review)를 살펴보겠습니다. 이 리뷰의 목적은 세 가지 논거를 통해 특정 분야에서 현상의 발전된 이해를 설명하는 것입니다: "현재 우리가 있는 위치", "우리가 여기에 도달한 경로", 그리고 "다음에 나아가야 할 방향". 이 논거를 구성하기 위해 연구자들은 현상의 발전적 통찰의 역사를 검토하고 성찰해야 하며, 그 진화에서 중요한 전환점을 식별하고 향후 연구 방향을 제시해야 합니다. 모든 연구자가 이 역사를 동일하게 해석하지 않을 것입니다. 모든 학자가 동일한 사건을 중대한 순간으로 지목하지도 않을 것입니다. 또한 그렇게 할 필요도 없습니다. 최첨단 리뷰에 참여하는 학자들의 정보에 기반한 지혜는 리뷰에서 발전된 통찰을 형성해야 합니다.

• 최근 Schuwirth와 Van der Vleuten이 발표한 "의학교육 평가의 역사"라는 적절한 제목의 논문은[14] 이 유형의 서술적 리뷰가 과학에 기여하는 바를 강력하게 보여줍니다. HPE 평가 연구에서 중요한 인물인 두 학자는 학습자 평가에 대한 HPE의 지속적으로 성숙해 가는 사고방식을 역사적으로 개관하고, 그 사고방식이 어떻게 발전하여 미래의 요구와 기대를 충족할 수 있을지를 제안합니다.

이러한 리뷰는 작성하기가 매우 어렵습니다. 저자는 수십 년에 걸친 연구 역사를 요약하면서 그 근거를 진정성 있게 기술하고, 그러한 문헌을 종합하여 결론을 지지할 방법을 설명해야 하기 때문입니다. 그러므로 이 리뷰의 목적은 평가에 대한 보편적이거나 논쟁의 여지가 없는 요약을 제공하는 것이 아닙니다. 대신 저자는 자신들의 해석을 변호하며, 계속되는 학문 연구를 이끌 통찰을 제공합니다. 이는 단순히 평가에 대한 출판물을 식별하고, 목록화하고, 객관적으로 요약하는 것만으로는 이루어질 수 없습니다. 최첨단 문헌 리뷰는 체계적 리뷰와는 다른 방식으로 엄격하고, 실행 가능하며, 관련성이 있고, 적용 가능한 통찰을 제공합니다. 여기서 '다름'은 품질의 판단이 아닙니다. 대신, '다름'은 그저 다른 종류일 뿐입니다.

 

이것은 서술적 리뷰가 만들어내는 독특한 지식의 한 가지 예에 불과합니다. 서술적 리뷰에는 비판적 리뷰, 해석학적 리뷰, 메타-민족지학적 리뷰와 같은 다양한 형태가 있으며, 각각은 현상을 새로운 방식으로 드러냅니다.

• 일부는 다른 연구 분야의 통찰이나 이론을 활용하기도 하며(예: 비판적 리뷰),
• 일부는 문헌 전체에 걸쳐 개별 논문을 연결하여 새로운 해석의 길을 열어줍니다(예: 해석학적 리뷰).
• 또 다른 종류는 여러 출판물의 질적 데이터를 종합하여 복잡하고 미묘한 인간 경험의 범위를 통찰할 수 있게 해줍니다(예: 메타-민족지학적 리뷰).

서술적 리뷰가 단일 연구 전통의 객관주의적 뿌리를 따르지 않는다는 이유로 이를 배척하는 것은 문제가 있습니다. Ioannidis가 주장하듯이, 다른 관점에서 수행된 연구를 무시한다면, 우리는 HPE를 흥미로운 연구 분야로 만들어온 다양성을 잃게 될 것입니다. 한 전통만을 고집스럽게 붙드는 것은 엄격함의 표식이 아니라, 좁은 사고의 특징입니다. HPE는 더 넓은 관점을 가지고 있습니다. HPE 학자들은 다양한 방식으로 과학에 참여하는 힘을 인정하고 이를 활용해왔습니다.

 

이는 서술적 리뷰가 한계가 없다는 것을 의미하지는 않습니다. 서술적 문헌 리뷰는 이를 수행하는 연구자의 영향을 받습니다. 따라서 연구자의 입장이 문헌 해석에 어떤 영향을 미치는지를 명확히 하기 위해 반성적 전략(reflexivity strategy)이 포함되어야 합니다. 게다가, 관련 문헌을 식별하기 위한 검색 전략이 명시적이지 않은 경우가 많기 때문에, 저자가 문헌을 공정하게 대표하고 지지하는 연구만을 인용하지 않도록 책임이 요구됩니다. 동일한 문헌을 보고 서로 다른, 때로는 매우 다른 결론을 도출하는 것은 흔한 일입니다. 바로 이러한 차이가 서술적 리뷰를 HPE 연구자의 도구 상자에서 강력한 도구로 만드는 이유입니다.

 

서지학적 연구

Bibliometric research

 

서지학적 메타연구에 대해서는 Ninkov가 이번 호에서 이 주제를 포괄적으로 다루었기 때문에 간략하게 논의하겠습니다[15].

 

서지학적 연구는 다른 두 전통과 동일한 원천 자료, 즉 연구 논문을 사용하지만, 초점은 매우 다릅니다. 주된 관심은 연구 결과 자체보다는 연구 산물(예: 출판물)을 과학 활동의 본질을 이해하는 전략으로 사용하는 것에 있습니다. 특정 연구의 실제 결과는 특별한 관심의 대상이 아닙니다. Ninkov가 말했듯이:

"서지학은 출판된 정보(예: 책, 저널 기사, 데이터 세트, 블로그)와 그와 관련된 메타데이터(예: 초록, 키워드, 인용)를 통계적으로 분석하여 출판된 작품들 간의 관계를 설명하거나 보여주는 학문입니다."

 

객관주의 철학에 기반을 둔 서지학적 리뷰는 HPE에 대한 이해에 독특한 관점을 제공합니다. 예를 들어, 이번 호에서 Albert와 동료들은 서지학적 방법을 사용하여 의학교육 연구자와 일반 교육 연구자들이 학문적 지식을 사용하는 방식을 비교했습니다[16]. Rees와 동료들은 이번 호에서 연구 생산성과 h-인덱스의 독재에 대해 다루고 있습니다[17]. 그러나 서지학적 접근법은 특정 질문에 대한 연구 결과를 요약하거나 종합하지 않습니다. 이는 설계상의 결함이 아니라 설계의 의도입니다.

 

서지학적 연구는 체계적 리뷰와 서술적 리뷰를 보완하여 연구 간의 연결점과 공백을 보여줍니다. 결과를 집계하는 데 도움을 주지는 않지만, 한 연구가 다른 연구에 미치는 영향을 밝혀냅니다.

 

결론

Conclusion

 

HPE(보건직 교육) 연구는 여러 학문 분야에서 다양한 영향을 받으며, 이러한 다양성은 생산적이라는 평가를 받고 있습니다[18]. 다양한 연구 패러다임에 의해 형성된 방법론들의 상호작용은 의학교육 분야에서 일관되게 생산적이고 유익하다고 평가됩니다. 40년 전 Shulman이 우아하게 언급했듯이[19]:

"교육은 연구 분야로서 현상, 사건, 기관, 문제, 사람, 그리고 과정들을 포함하는 영역이며, 이는 다양한 종류의 탐구를 위한 원료를 제공합니다. 여러 학문의 관점과 절차가 교육이라는 연구 분야에서 발생하는 질문들에 적용될 수 있습니다."

 

이러한 다양성의 결과로, HPE의 모든 질문과 방법론에 동일하게 적용되는 보편적인 연구 품질 기준을 고안하는 것은 불가능합니다. RCT가 최상에 있고 사례 시리즈가 최하에 있는 연구 설계의 계층 구조를 HPE 연구에서 논하는 것은 우주론에서 사례-대조 연구를 논하는 것만큼이나 무의미합니다. 단일한, 우월한 과학적 방법이 존재하는 것이 아니라, 적절한 방법은 추구하는 질문에 의해 도출됩니다. Shulman이 논의한 바와 같이, 교육의 여러 질문에 대응하는 다양한 연구 접근법들 사이에서 공통점은 "규율 있는 탐구"라는 개념입니다[19]. Cronbach와 Suppes가 정의한 바에 따르면, 규율 있는 탐구는 “[연구가] 철저히 검토될 수 있는 방식으로 수행되고 보고되는 것”입니다[20]. 규율 있는 탐구는 다양한 탐구 경로에 대해 기준을 제공하며, 이들 경로는 모두 가치가 있고, 설명력을 가지며, HPE 지식체에 중요한 기여를 할 수 있습니다.

 

연구 종합에 관한 한, 우리는 Ioannidis와 하나의 공통된 지점을 발견합니다. 연구에 대한 연구는 여러 학문 영역에서 점점 더 주목받고 있습니다. 그러나 우리는 HPE가 뒤처지는 것이 아니라, 오히려 이 추세에 강력하게 참여해왔으며, 수십 년 동안 그러해왔다는 점을 제안합니다. 사실, 메타 분석은 교육 통계학자들에 의해 발명되었으며[21], 50년 동안 교육 연구에서 사용되어 왔습니다.

 

HPE는 다양한 패러다임적 지향을 수용함으로써 더욱 풍부해졌습니다. 이러한 다원주의적 과학 접근은 다학문 간의 상호작용에서 발생하는 창발적 속성을 활용하며[18], 이는 서로 다른 학문 영역의 학자들이 협력할 때 나타납니다. 그러나 이를 실현하기 위해서는 단일한 과학적 접근(및 지식 종합)이 다른 모든 방법론보다 우위에 놓여서는 안 됩니다. 일부가 혼란스러운 미로를 볼 때[5], 우리는 의학교육을 이해하는 다양한 경로를 종합해 나가는 학문적 유연성을 봅니다.