교육과정 연구의 해결책: "우리 기관에서 효과가 있었나?"에서 학술적 대화에 기여하기로의 전환 (Acad Med, 2025)

Meded 2026. 3. 4. 22:00

2026. 3. 4. 22:00

Acad Med. 2025 Aug 1;100(8):896-908. doi: 10.1097/ACM.0000000000006072. Epub 2025 Apr 22.

Curriculum Research Solutions: Shifting From "Did It Work Locally?" to Contributing to a Scholarly Conversation

David A Cook, Karen E Hauer, Arianne Teherani, Andrea N Leep Hunderfund, Steven J Durning, Jorie M Colbert-Getz

📝 우리 학교의 새로운 교육과정, 논문으로 낼 수 있을까?

교육 현장에 계신 분들이라면 한 번쯤 이런 생각 해보셨을 겁니다. "이번에 새로 도입한 플립 러닝(flipped classroom) 반응이 너무 좋은데? 학생들 성적도 올랐고! 이거 데이터 모아서 논문으로 하나 써볼까?" 하지만 야심 차게 준비한 교육과정 중심 연구(curriculum-focused research)는 종종 학술지에서 거절당하곤 합니다. 도대체 왜 그럴까요? 단순히 데이터가 부족해서일까요? 오늘 소개해 드릴 논문에서는 그 근본적인 이유와 함께, 내 교육과정을 훌륭한 연구로 탈바꿈시키는 핵심 비법을 소개합니다! 💡

🚫 내 교육과정 연구가 번번이 거절당하는 5가지 이유

저자들은 교육자들이 흔히 범하는 실수들을 날카롭게 지적합니다.

중복성 (Redundancy): "가르치면 성적이 오른다"는 건 이미 수백 편의 연구가 증명했습니다. 또 증명할 필요는 없겠죠?
맥락 특수성 (Context-specificity): 우리 학교만의 독특한 문화나 환경에서만 통하는 결과라면, 지구 반대편의 다른 교육자에게는 별 도움이 되지 않습니다.
교란과 희석 (Confounding and dilution): 성적이 오른 게 정말 내 수업 때문일까요? 학생들이 따로 학원에 다녔거나, 시간이 지나면서 자연스럽게 성장했을 수도 있습니다.
피상성 (Superficiality): 연구를 위해 정교하게 설계된 데이터가 아니라, 기말고사 점수나 형식적인 강의 평가 등 '얻기 쉬운 데이터'만 사용한 경우입니다.
개념적 모호성 (Conceptual obscurity): 현상을 설명해 줄 탄탄한 이론적/개념적 프레임워크(conceptual framework)가 빠져있어 연구가 방향을 잃는 경우입니다.

🔑 해결책: '내 수업'에서 벗어나 '학술적 대화'에 참여하라

이 논문이 제시하는 가장 핵심적인 통찰은 바로 초점의 전환입니다.

연구진은 이렇게 당부합니다.

"(동료심사 출판으로 이어지는) 연구의 목적은 국지적인 교육과정에 대해 '연구를 하는 것'이 아니라,
전 세계적인 '학술적 대화'에 참여하고 유용한 기여를 함으로써 해당 분야를 발전시키는 것입니다."
(“The purpose of research (leading to peer-reviewed publication) is not to “do research” on the local curriculum but rather to advance the field by joining a global “scholarly conversation” and making a useful contribution.”)

즉, "내 수업이 효과가 있었나?"를 자랑하는 것은 일기장이나 내부 보고서에 어울립니다. 학술지라는 파티에서 훌륭한 대화 상대가 되려면 다른 기관의 사람들이 겪는 문제(needs of others)에 집중해야 합니다.

"국지적 요구와 성취에서 타인의 요구로 초점을 전환하는 것(즉, 학술적 대화를 진전시키고 과학을 발전시키는 것)이 모든 연구에서와 마찬가지로 교육과정 연구에서 성공의 열쇠입니다."
(“Shifting the focus from local needs and accomplishments to the needs of others (i.e., advancing the scholarly conversation and advancing the science) is the key to success in curriculum research—as in all research.”)

🚀 더 나은 연구를 위한 꿀팁: "효과가 있나?" 대신 "왜, 어떻게 작용하나?"

지금까지 많은 교육 연구가 "우리 프로그램이 효과가 있었나요?(Did it work?)"를 묻는 정당화(justification) 연구에 머물렀습니다. 하지만 앞서 말했듯 교육은 안 하는 것보단 무조건 효과가 있기 마련입니다.

이제는 질문을 바꿔야 합니다. 다른 연구자들도 궁금해할 만한 "이 교육은 왜, 그리고 어떻게 작용하는가?(Why and how does it work?)" 혹은 "어떤 상황에서 누구에게 가장 효과적인가?"를 밝히는 명료화(clarification) 연구로 나아가야 합니다. 이를 위해서는 튼튼한 개념적 프레임워크(conceptual framework)를 바탕으로 가설을 세우고 연구를 설계하는 것이 필수적입니다.

맺음말: 꼭 논문을 써야만 훌륭한 교육자인가요? 🌱

마지막으로 연구진은 아주 따뜻하고 현실적인 조언을 건넵니다. 모든 사람이 굳이 학술지에 실리는 '대문자 연구(Research)'를 할 필요는 없다는 것입니다.

우리 학교 학생들을 위해 좋은 교육과정을 개발하고, 내부적으로 평가하여 질을 높이는 '소문자 연구(research)'나 학술적 교수법(scholarly teaching) 그 자체로도 이미 엄청난 가치가 있습니다. 자신이 진정으로 원하는 것이 출판을 위한 험난한 연구인지, 아니면 현장에서 학생들과 호흡하며 교육의 질을 높이는 것인지 솔직하게 고민해 보는 것이 첫걸음입니다.

보건의료 전문직 교육자들(Health professions educators)은 종종 자신들의 교육과정(curriculum)을 연구하고자 합니다. 학위 수여 프로그램(degree-granting program)을 위한 새롭거나 개정된 교육과정이든, 해당 교육과정의 한 구성 요소이든, 또는 독립된 과정이나 세션(stand-alone course or session)이든 상관없이 말입니다. 이러한 조사 노력(investigative efforts)은 일반적으로 새로운 기술, 교수 기법 또는 교육 패러다임(educational paradigm)(예: 온라인 학습, 역량 기반 교육(competency-based education), 플립 러닝(flipped classroom), 정밀 교육(precision education))의 적용과 같은 혁신적인 교수법(innovative teaching approach)에 대한 기대감에서 비롯됩니다. 다른 자극제로는 새롭거나 화제가 되거나 이전에 충분히 다뤄지지 않았던 주제를 다루는 새로운 과정을 도입하거나, "과거의" 교육과정에 대해 전면적인(종종 막대한 자원이 소요되는) 개편을 단행하는 것 등이 있습니다.

누군가는 논문 출판을 제안하기도 하고("우리 새로운 교육과정에 대한 논문을 발표해야 해!"),
교육 훈련의 임상적 또는 경제적 영향(clinical or economic impact)에 대해 곰곰이 생각해보거나("환자의 예후에 미치는 영향은 무엇인가?" 또는 "이것이 더 큰 효율성과 비용 절감으로 이어지는가?"), 혹은
하나의 목적(예: 인증(accreditation))을 위해 수집된 데이터 세트를 연구 목적으로 용도를 변경할 수 있다고 추측하기도 합니다("우리에겐 이미 데이터가 있어!").

아아, 교육과정 중심 연구(curriculum-focused studies)는 출판하기 어려울 수 있습니다. 실제로 보건의료 전문직 교육(health professions education, HPE) 분야에서 이러한 연구는 반복적으로 만류되어 왔는데,1–7 그 이유 중 하나는 "결과가 교란되어 있고 사소하기(confounded and trivial)" 때문입니다.1 그러나 실용적인 해결책을 제시한 저자는 거의 없습니다. 우리는 그 격차를 바로잡고자 합니다. 적절하게 설계되고 실행될 때, 교육과정 중심 연구는 교육 과학(education science)에 중요한 기여를 할 수 있습니다. 이 논문의 목적은 HPE 내 교육과정 연구의 일반적인 문제점들을 명확히 설명하고, 교육과정 연구가 성공적으로 수행(및 출판)될 수 있는 구체적인 방법들을 제안하는 것입니다. 우리는 잠재적으로 성공 가능한 교육과정 중심 연구의 예시를 제시하고, 피해야 할 연구들을 강조하며, 실제적 고려사항(practical considerations)으로 결론을 맺습니다.

정의 및 개념적 프레임워크 (Definitions and Conceptual Framework)

이 논문에서 우리는 여러 유형의 교육 활동을 "교육과정"의 (일부)로 간주합니다. 즉,

단일 교육 세션,
하나의 과정(course)으로 조직된 일련의 교육 세션,
훈련 프로그램 단계(예: 훈련 연도, 임상실습 로테이션(clerkship rotation))로 조직된 일련의 과정/경험, 그리고
프로그램 전체가 여기에 해당합니다.

우리의 제안은 모든 전문직(비보건의료 전문직 포함), 전공 분야, 그리고 훈련 수준(지속적인 전문성 개발(continuing professional development) 포함)의 활동에 적용됩니다.

우리는 연구(research)를 동료심사 포럼(peer-reviewed forum)(예: 저널 출판)에 결과를 배포할 의도로 새로운 지식을 엄격하고 체계적으로 추구하는 것으로 정의합니다.8,9 연구는 학술활동(scholarship)이라는 더 넓은 개념의 하위 집합으로, 학술활동은 "학자[주제를 아주 상세히 연구하는 사람]의 자질, 방법 또는 성취"10로 정의됩니다. 보이어(Boyer)11는 4가지 유형의 학술활동을 구분하는 널리 인정받는 모델을 설명했으며(표 1), 우리의 연구 정의는 발견의 학술활동(scholarship of Discovery)과 대체로 일치합니다. 우리는 교수 및 학습(Teaching and Learning),12–15 적용(Application),16,17 그리고 통합(Integration)16,18이라는 보이어의 다른 형태의 학술활동을 인정하고 높이 평가합니다. 하지만 동료심사 저널(peer-reviewed journal)에 출판하는 것을 목표로 하는 대부분의 연구자들이 구상하는 교육과정 중심 연구의 목표는 이러한 활동들이 아니라고 제안합니다.

표 1. 보이어(Boyer)가 정의한 4가지 유형의 학술활동 (Table 1. Four Types of Scholarship, as Defined by Boyer)

유형 (Type)	보이어의 원문에 따른 정의 (페이지) (Definition (page) as per Boyer’s original text)11	예시 (Examples)
발견 (Discovery)	• "새로운 지식의 발견 (Discovery of new knowledge)" (18) • "학자들이 '연구(research)'에 대해 말할 때 의미하는 바에 가장 근접함" (17) • "지식 그 자체, 탐구의 자유, 그리고 ... 훈련된 ... 조사에 대한 헌신" (17)	• 전통적인 "독창적(original)" 연구 • 체계적인 과정을 사용하여 새로운 통찰력을 식별하고 해당 분야의 전문가를 대상으로 하는 문헌 고찰(Literature reviews)a 및 개념적 연구(conceptual works)8
통합 (Integration)	• "학문 간의 연결을 만들고, 전문 분야를 더 큰 맥락에 배치하며, 데이터를 의미 있게 조명하고, 종종 비전문가를 교육함" (18) • "원저 연구(original research)를 해석하고, 결합하며, 새로운 통찰력을 제공하고자 하는 진지하고 훈련된 작업" (19) • "'결과가 의미하는 바는 무엇인가? 발견된 것을 더 크고 포괄적인 이해를 제공하는 방식으로 해석할 수 있는가?' 이와 같은 질문들은 비판적 분석(critical analysis)과 해석의 힘을 요구함" (19) • "[다음을 포함할 수 있음] 교과서 집필, ... 종종 '대중적 글쓰기(popular writing)'라 불리는 비전문가를 위한 글쓰기, ... 양질의 컴퓨터 소프트웨어 준비, ... 비디오 카세트 및 텔레비전, ... [그리고] 핵심 교육과정(core curriculum) 구성 또는 학제간 세미나(cross-disciplinary seminar) 준비" (34–36)	• 특히 비전문가 독자를 대상으로 특정 주제에 대한 연구 결과 개요를 제공하는 문헌 고찰, 저서, 팟캐스트 또는 블로그a • 한 분야에서 사용되는 개념이나 접근법을 다른 분야에 도입 • 학문이나 시간을 초월한 정보의 종합
적용 (Application)	• "'지식이 중대한 문제에 어떻게 책임 있게 적용될 수 있는가? 기관뿐만 아니라 개인에게도 어떻게 도움이 될 수 있는가? ... 사회적 문제 자체가 학술적 조사(scholarly investigation)의 의제를 정의할 수 있는가?'" (21) • "새로운 지적 이해는 바로 이 적용이라는 행위 자체에서 발생할 수 있음" (23) • "학술활동(scholarship)으로 인정받기 위해서는, 봉사 활동[위원회 참여, 학생 동아리 지도, 시의회 참여 등]이 개인의 전문 지식 분야와 직접적으로 연결되어야 하며, 이러한 전문적인 활동과 관련되고 그로부터 직접 파생되어야 함. 이러한 봉사는 진지하고 까다로운 작업이며, 전통적으로 연구 활동과 연관된 엄격함(rigor)과 책무성(accountability)을 요구함" (22) • "교수의 지적 작업과 직접적으로 관련되는 활동들이 포함되며 ... 자문, 기술 지원, 정책 분석, [그리고] 프로그램 평가(program evaluation)를 통해 수행됨" (36–37)	• 응용 연구(Applied research) 또는 기술 이전(technology transfer); 실생활의 새로운 제품, 프로세스 또는 서비스를 만들기 위한 연구(지식, 방법)의 실용적 적용 • 기술 지원 및 자문; 특정 기술 분야(예: 공학, 정보 기술)에 대한 전문성 공유 • 전문적인 지식과 직접적으로 연결된 전문 기관이나 지역사회 그룹에서의 리더십 역할
교수 [및 학습] (Teaching [and Learning])	• "가르치는 자는 ... 정보에 밝고, 자신의 분야의 지식에 깊이 스며들어 있어야 하며 ... 폭넓게 읽고 지적으로 참여해야 함" (23) • "교육적 절차(Pedagogical procedures)는 세심하게 계획되고, 지속적으로 검토되어야 하며, 가르치는 주제와 직접적으로 연관되어야 함" (23) • "교수(teaching)가 연구(research)와 동등하게 간주되려면, 단일 기관 내에서만이 아니라 학계 내에서 인정되는 기준을 사용하여 엄격하게 평가(vigorously assessed)되어야 함 .... 증거는 최소 세 가지 출처에서 수집되어야 함: 자기 평가, 동료 평가, 학생 평가" (37)	• 최상의 교육 실무의 체계적 적용 후, 평가, 성찰, 타인과의 공유; 공유 기회에는 교수에 관한 워크숍, 블로그, 저서, 교육 매뉴얼 또는 정책 문서가 포함됨 • 지속적인 학습 자료(예: 오픈 액세스 온라인 모듈, 출판된 강의 계획, 새로운 평가 도구)의 생성 및 공유 • 피교육자의 목표와 성과에 대한 문서화를 수반하는 교육생 또는 동료에 대한 멘토링, 코칭 또는 조언(1대1 교육) • 훌륭한 교수에 대한 공개적 인정 (동료 또는 학생으로부터)

a 문헌 고찰(literature reviews)을 발견(Discovery) 또는 통합(Integration)으로 분류하는 보이어(Boyer)의 분류11는 모호합니다.

본 논문의 저자들은 체계적인 방법(반드시 "체계적 문헌고찰(systematic reviews)"에 국한되지 않음)을 사용하고, 새로운 통찰력을 생성하며, 과학계의 동료들을 대상으로 하는 고찰은 발견(Discovery)에 해당한다고 제안합니다.

덜 체계적인 방법을 사용하거나, 간략한 개요 또는 시놉시스를 제공하거나, 비과학계 독자를 대상으로 하는 고찰은 통합(Integration)으로 분류될 수 있습니다.

두 유형 모두 고품질의 고찰은 "연구(research)" 자격을 얻을 수 있으며 학술적 논의에 중요하게 기여할 수 있습니다.

야심 찬 교육 연구자들(aspiring education researchers)에게 한 가지 과제는 연구(research)가 단순히 "주제에 대한 상세한 공부(detailed study of a subject)"10로 정의될 수도 있다는 것입니다. (동료심사를 거친 배포(peer-reviewed dissemination)의 목적을 생략한) 이러한 광범위한 정의는 프로그램 평가(program evaluation), 질 향상(quality improvement), 교육 혁신(education innovation), 그리고 학술적 교수법(scholarly teaching)과 같은 관련 개념들을 모두 포괄할 수 있습니다. 이러한 개념들 간의 중복은 혼란을 야기하고 때로는 좌절감을 낳을 수 있습니다. 예를 들어, 잠재적인 교육 연구 활동은 교육적 혁신을 연구하기 위해 질 향상 접근법(예: 계획-실행-학습-적용 사이클(Plan-Do-Study-Act cycle))을 사용할 수 있으며, 그 결과는 일상적인 프로그램 평가 보고서와 학습자 평가(learner assessments)에서 도출될 수 있습니다. 이 활동은 좁은 정의와 동료심사 출판의 목표를 반영하는 "Research(대문자 R 의도)" 프로젝트로 구성되거나, 광범위한 정의와 국지적 적용(local application)의 목표를 반영하는 "research(소문자 r 의도)" 프로젝트로 구성될 수 있습니다.

Research 프로젝트와 research 프로젝트 간의 차이는 방법(이 예시에서는 둘 다 질 향상 및 프로그램 평가 방법을 사용함)이나 연구 대상(교육적 혁신)에 있다기보다는 프로젝트 자체의 의도(intent)에 있습니다.
우리의 프레임워크에서 대문자 Research는 외부 독자를 대상으로 하므로 반드시 국지적 상황을 넘어서는 관련된 질문들에 답해야 합니다.
반면 소문자 research는 국지적인 사용을 위해 의도된 것입니다.
이러한 각각의 의도는 다양한 방법을 사용하여, 그리고 변동성 있는 엄격함(variable rigor)을 가지고 추구될 수 있습니다. 이 논문에서 우리가 설명하는 모든 연구는 대문자 Research이며, 대문자와 소문자의 구분은 더 이상 계속하지 않겠습니다.

임상의학(clinical medicine)에서도 이와 동일한 긴장—그리고 동일한 결론—을 발견할 수 있습니다. 예를 들어, 대부분의 임상 질 향상 활동은 국지적 독자를 대상으로 의도되지만, 그중 일부는 외부로 확산됩니다. 교육 연구와 임상 연구 모두에서 핵심적인 차이는 방법론 자체에 있다기보다는, 외부 독자에게 적용하기 위한 문제, 해결책, 평가를 어떻게 구성(framing)하느냐에 있습니다(여기에는 이전의 관련 경험적 및 개념적 연구(prior relevant empirical and conceptual work)에 대한 참조 및 확장이 포함됩니다).

교육과정 중심 연구의 문제점 (Problems With Curriculum-Focused Research)

교육과정 중심 연구(curriculum-focused research)의 한 가지 과제는, 야심 찬 저자들이 동료심사 저널(peer-reviewed journal)에 출판하기를 희망함에도 불구하고 종종 저널 편집자, 동료 심사자(peer reviewers), 그리고 잠재적 독자들의 관점과 기대를 제대로 이해하지 못한다는 것입니다. 우리는 교육과정 중심 연구에서 관찰되는 5가지 공통적인 문제점들을 발견했습니다:

중복성(redundancy)(선행 연구를 바탕으로 발전시키지 못함),
맥락 특수성(context-specificity),
교란과 희석(confounding and dilution),
피상성(superficiality)(편의적인 데이터 출처 사용), 그리고
개념적 모호성(conceptual obscurity)(관련 개념적 프레임워크를 사용하지 못함).

중복성 (Redundancy)

많은 교육과정 중심 프로젝트에서 근본적인 질문에 대한 답은 이미 알려져 있습니다. 이러한 프로젝트들은 "가르치면 배우게 될 것이다"라는 발견을 재입증합니다.19 교육자들은 보편적으로 "주제 X에 대한 내 과정이 학습 성과(learning outcomes)를 향상시키는가?"를 알고 싶어 합니다. 그러나 외부 독자에게 이것은 "가르치는 것이 학습 성과를 향상시키는가?"라는 일반적인 질문으로 번역되며, 그 대답은 거의 항상 "그렇다"입니다. 예를 들어, 수백 개의 인터넷 기반 교육(Internet-based instruction) 및 시뮬레이션 기반 교육(simulation-based education) 연구를 종합한 메타분석(meta-analyses)에 따르면, 극히 예외적인 경우를 제외하고 교육적 개입(educational interventions)은 개입이 없는 대조군(no-intervention controls)과 비교했을 때 예외 없이 성과를 향상시킵니다.19,20 이러한 일관된 발견은 교육적 개입을 개입이 없는 것과 비교하는 추가 연구가 중복적이며 불필요하다는 것을 시사합니다.2

중복성의 또 다른 발현은 부적절한 문헌 고찰(inadequate literature review)이며,21,22 이는 5가지 방식으로 나타납니다:

선행 문헌에 대한 고찰이 완전히 부재한 경우. 저자들이 해당 문헌 지식체계에 기여하려고 노력하면서도 자신들의 연구와 관련된 문헌의 존재를 인정하지 않는 것은 아이러니합니다.
교육 과정(educational process)의 다른 측면들보다는 특정 주제에 대한 교육과정에만 초점을 맞춘 문헌 고찰. 여기에는 두 가지 문제가 있습니다:
- 첫째, 주제를 너무 좁게 정의하여 어떤 교육과정 접근법이든 "최초"가 되게 만드는 것이 항상 가능합니다. ("사람들이 다른 주제에 대해서는 이 교육적 접근법을 사용해왔지만, 이 특정 주제에 대해 이 특정 접근법을 사용한 사람은 아무도 없다.")
- 둘째, 어떤 접근법이 다른 주제에서 효과가 있었다면, 이 주제에서도 효과가 있을 가능성이 매우 높습니다. 연구자는 새로운 주제가 너무나 달라서 새로운 연구나 반복 연구(replication)가 필요하다는 것을 독자들에게 납득시켜야 하지만, 저자들은 종종 이러한 입증 책임(burden of proof)을 충족하지 못합니다.
교육과정의 특정 주제에 초점을 맞춘 문헌 고찰.
- 이러한 유형의 고찰은 주제 자체의 중요성을 강조합니다("주제 X[예: 특정 의학적 상태]는 환자의 이환율(morbidity)을 크게 높이기 때문에 매우 중요하다."). 만약 이것이 주제 X에 대한 연구라면 적절하겠지만, 교육에 대한 연구에서 주제 X와 관련된 인용은 불필요하며, 교육 관련 문제(예: 이론의 강점과 약점, 교수 접근법(instructional approaches), 연구 설계(study designs), 이전 연구의 성과)에 대한 철저한 검토를 대체해서는 안 됩니다.
관련 선행 연구를 누락하는(또는 그 간략함으로 인해 그러한 연구가 존재할 가능성을 열어두는) 피상적인 문헌 고찰(cursory literature review).
- 저자들은 종종 "...하는 연구를 우리는 알지 못한다"라고 언급하며 방어적인 태도를 취합니다. 그러나 그러한 진술은 저자들이 얼마나 열심히 찾아보았는지에 대한 아무런 지표도 제공하지 못합니다. 그들이 알지 못한다는 것은 단순히 불완전한 검색을 반영할 수 있습니다. 보다 설득력 있는 주장은 "관련 검색어를 사용하여 PubMed와 Google을 성실히 검색한 결과 ...하는 연구는 발견되지 않았다"가 될 것입니다.
해당 분야로 제한된 고찰(restricted-to-this-field review).
- 보건의료 전문직 교육자들은 종종 자신들의 검색을 같은 전문직 종사자들에 대한 문헌으로 제한합니다. 예를 들어, 의사는 현재 및 미래의 의사를 포함하는 연구를 찾고, 간호사는 간호사를 포함하는 연구를 찾으며, 약사는 약사를 포함하는 연구를 찾습니다.
- 그러나 약사, 간호사, 심지어 비보건의료 전문직 학습자(초, 중, 고, 고등 교육 기관의 학습자 포함)에게 효과가 있는 것은 의사에게도 효과가 있거나 적어도 의사(또는 간호사나 약사)를 대상으로 하는 연구의 출발점을 제공하는 경우가 많습니다.

맥락 특수성 (Context specificity)

모든 정치는 지역적이며, 교육과정 역시 그러합니다. 한 기관에서 행해지는 것은 고유한 문화, 학습 환경, 학습자, 교육자, 그리고 자원 때문에 (엄밀히 말해) 오직 그 기관에만 관련이 있습니다. 더욱이, 교육과정을 다른 현장에서 복제하거나 구현하기가 어렵기 때문에, 교육과정이 국지적으로 효과가 있었다는 것을 아는 것은 제한적인 유용성만 가집니다.1,23 한 저자는 이러한 연구를 "시장 조사(market research)"로 해석했습니다2 (즉, 독자들이 온전한 교육과정—그리고 아마도 기관의 문화까지도—을 습득할 수 있을 때만 유용함). 맥락 특수성의 문제는 연구가 교육과정의 더 큰 구성 요소(예: 전체 프로그램 또는 대규모 블록 [단계, 연도])에 초점을 맞출 때 더욱 두드러집니다.1

교란과 희석 (Confounding and dilution)

교란(Confounding)은 관찰된 결과가 개입의 어떤 특정 특징으로 역추적될 수 없을 때 발생합니다.1,23
- 교란은 복잡한 개입(complex interventions)(교육과정을 변경할 때 흔히 그렇듯 여러 구성 요소가 동시에 변하는 경우)이나 측정 전에 계획되지 않은 "개입"(예: 자율 학습, 인생 경험, 다른 가르침)이 발생할 때 흔히 일어납니다.
- 구체적인 예로는 "역사(history)" 위협(연구 중인 교육과정 구성 요소 외부의 임상 또는 교육 환경에서의 사건)과 "성숙(maturation)" 위협(시간 경과에 따른 학생 내부의 변화)이 있습니다.4,24
- 교란은 어떤 연구 프로젝트에서든 나타날 수 있지만, 더 큰 교육과정 구성 요소에 대한 연구를 수행할 때 특히 문제가 됩니다.1 질적 연구(qualitative research)에서도 참여자가 관련 경험과 관점을 과소 또는 과대 대표하거나, 연구자의 신념이 데이터 해석을 왜곡할 경우 유사한 문제가 발생합니다.25–27
희석(Dilution)은 학습자의 행동과 결과 측정 사이에 개입의 감지 가능한 영향(즉, 유효한 신호 강도)을 감소시키는 어떤 일이 발생할 때 일어납니다.28
- 개입이 "효과가 있고" 학습자가 의도한 대로 반응하더라도, 개입의 효과는 감지되지 않습니다. 희석은 연구자들이 개입에서 멀리 떨어진(distal) 결과에 초점을 맞출 때 종종 발생합니다. 결과는
  - (1) 사람 (예: 개입이 임상실습 의대생에게 초점을 맞추지만, 학생의 관리 결정이 실행 전에 인턴, 고연차 전공의, 그리고 전문의(staff attending)를 거치며 필터링됨) 또는
  - (2) 시간 간격 (예: 개입은 의대 1학년 때 발생하고, 결과 측정은 4학년 졸업 직전에 발생함) 측면에서 멀리 떨어져 있을 수 있습니다.
  - 교육과정의 결과가 드물거나 지연된 환자 사건(예: 고지혈증에 대한 새로운 교육과정의 결과로 환자의 뇌졸중 발생)을 나타낼 때도 희석이 발생합니다.

교란과 희석은 종종 함께 발생하지만, 이 둘은 뚜렷이 다릅니다:

교란은 관찰된 효과의 원인(cause)을 설명하는 데 있어서의 문제를 반영하는 반면(더 나은 측정이 도움이 되지 않음),
희석은 효과 자체의 감지(detection)와 관련이 있습니다(다른 측정이 도움이 될 수 있음).

피상성 (Superficiality)

피상성(Superficiality)은 원하는 구성 개념(construct)을 대표하도록 최적화된 데이터가 아니라 얻기 쉬운 데이터를 사용하는 것을 의미합니다. 피상적인 데이터에는 정량적 결과(예: 객관적으로 측정된 지식, 기술, 행동 대신 자가 보고 사용)와 정성적 데이터(예: 의도적으로 수집된 포커스 그룹 또는 인터뷰 데이터 대신 후향적 과정 평가 서술의 얄팍한 의견 사용)가 포함될 수 있습니다. 피상적인 데이터는 종종 구성개념 무관 변량(construct-irrelevant variance)(관심 있는 특성을 넘어선 학습자나 학습 환경의 특성을 반영함) 및/또는 구성개념 과소대표(construct underrepresentation)(모든 중요한 특성을 완전히 포착하지 못함)의 문제를 겪습니다.29 피상성은 연구자들이 견고하고(robust) 관련성 있는 데이터를 수집하기 위해 의도적으로 연구를 계획하기보다는 기존 데이터(예: 일상적인 교육과정 운영 중 수집된 데이터)를 사용할 때 흔히 발생합니다. 또한 물류적인 문제로 의미 있는 결과의 측정이 축소되거나, 강력한 평가 계획 없이 교육과정이 구현되어 가용한 데이터가 거의 없을 때도 발생합니다.

개념적 모호성 (Conceptual obscurity)

개념적 모호성(Conceptual obscurity)은 개념적/이론적 프레임워크(conceptual/theoretical framework)의 부재를 의미합니다. 개념적 프레임워크(공식 이론, 비공식 모델, 모범 사례 포함)는 "문제나 연구에 대해 생각하는 방식, 또는 ... 복잡한 것들이 왜 그런 방식으로 작동하는지"를 나타냅니다.30 이는 종종

교육과정31,32이나 교육 활동(예: 콜브(Kolb)의 경험 학습 이론(experiential learning),33
메이어(Mayer)의 멀티미디어 학습 이론(multimedia learning),34 그리고
컨(Kern)의 프로그램 개발 6단계(6 steps to program development)35)을 계획하는 데 사용됩니다.

그러나 연구 목적에서 개념적 프레임워크는 추가적인 기능을 수행합니다. 아마도 가장 중요한 것은, 프레임워크가 연구 질문(예: 학습 이론의 특정 측면을 테스트하거나 정교화하는 질문)을 안내한다는 점일 것입니다. 프레임워크는 또한 연구 접근법(예: 질적 연구를 위한 해석적 현상학적 분석(interpretative phenomenological analysis)36 또는 평가 타당화 연구를 위한 케인(Kane)의 타당도 프레임워크(validity framework)37)을 안내하고, 연구자들이 문제의 다양한 중요한 측면을 완전히 고려하도록 그들의 사고를 구조화합니다.30 관련 개념적 프레임워크를 사용하지 않으면 종종 연구자들이 차선(suboptimal)의 방법을 사용하게 되며, 결과가 원래의 시간 및 국지적 맥락을 넘어 번역(translation)되는 것을 방해합니다.

해결책: 학술적 대화에 기여하기 (The Solution: Contributing to the Scholarly Conversation)

교육과정 중심 연구(curriculum-focused research)가 이처럼 많은 과제에 직면해 있는 상황에서, 무엇을 할 수 있을까요? 우리는 해결책의 첫 번째 단계로 교육과정에 집중하는 것을 멈출 것을 제안합니다. 이는 연구자들에게 직관에 어긋나는(counterintuitive) 것처럼 보일 수 있으며, 그들은 "이 노력의 전체 목적이 우리 교육과정에 대한 연구를 하는 것 아닌가요?"라고 물을 수 있습니다. 사실은 그렇지 않습니다. (동료심사 출판(peer-reviewed publication)으로 이어지는) 연구의 목적은 국지적인 교육과정에 대해 "연구를 하는 것"이 아니라, 전 세계적인 "학술적 대화(scholarly conversation)"38에 참여하고 유용한 기여를 함으로써 해당 분야를 발전시키는 것입니다.6,20,39,40

학술적 대화(scholarly conversation)(일반적인 학술활동(scholarship)11–13과 혼동해서는 안 됨)는 중요하고 시의적절한 문제에 대한 학자 그룹 간의 토론을 구성합니다. 이 대화에 대한 유용한 기여는 타 기관의 다른 사람들, 그리고 그들의 교육과정과 그들의 요구(needs)에 초점을 맞춥니다. 사교 모임에서 훌륭한 대화 상대가 되는 비결은 최근의 개인적 성취를 자랑하는 것이 아니라, 사려 깊게 듣고, 좋은 질문을 던지며, 다른 사람들이 유용하다고 여길 만한 것을 기여할 때만 말하는 것입니다. 이와 유사하게, 연구자의 임무는 대화(문헌)를 성실하게 경청하고, 유용한 관찰로 채울 수 있는 "공백(gap)"을 식별하는 것입니다.38 연구자는

다른 사람들이 관련성 있고(자신들의 국지적 요구에 부합함),
새롭고(아직 알려지지 않음),
통찰력 있으며(미래의 행동에 빛을 비춤),
신뢰할 수 있는(선택한 방법론에 의해 잘 뒷받침됨) 것으로 인식하는 질문을 던지고 답해야 합니다.

"다른 사람들"에는 연구자의 것과 정확히 같은 교육과정을 찾는 교육자들이 포함될 수 있지만, 그것은 좁은 독자층(특정 주제, 길이, 다른 교육과정 요소와의 통합, 기관 문화, 실행 자원, 국가 문화 및 보건 의료 시스템에 의해 제한됨)입니다. 연구자는 주제, 통합, 문화 및 시스템의 경계를 넘나드는 보다 광범위한 관련성을 지닌 문제를 다룸으로써 더 넓은 독자층에 도달할 수 있습니다. 이를 위해 연구자는 대개 전체 교육과정보다는 교육과정과 관련된 무언가(예: 정의된 구성 요소 또는 실행의 한 측면)를 연구하게 됩니다.1,3 국지적 요구와 성취에서 타인의 요구로 초점을 전환하는 것(즉, 학술적 대화를 진전시키고 과학을 발전시키는 것)이 모든 연구에서와 마찬가지로 교육과정 연구에서 성공의 열쇠입니다.

이는 다음과 같은 질문을 촉발합니다: 무엇이 학술적 대화를 진전시킬 것인가? 그 답은 대화에 달려 있습니다: 서로 다른 역할을 맡은 사람들이 서로 다른 문제를 논의할 때, 어떤 기여를 "진전(advance)"으로 인식할지는 다릅니다.9,41 일반적으로 말해서, 새롭고 경험적인 정량적 또는 정성적 데이터(empirical quantitative or qualitative data)에 의해 뒷받침되는 핵심 메시지(bottom-line message)—실용적이거나 개념적인 통찰력—가 있어야 합니다.8 통찰력의 본질과 이를 뒷받침하는 데이터는 메시지와 독자에 따라 달라질 것입니다. 박스 1(Box 1)은 타 기관의 누군가가 학술적 기여에 어떻게 반응할지 상상해보는 사고 실험(thought experiment)을 설명하며, 이는 연구자가 잠재적인 영향력을 추정하고 강화하는 데 도움을 줄 수 있습니다.

박스 1. 학술 출판을 위한 사고 실험: 관심도 및 잠재적 영향력 추정하기

(Box 1. A Thought Experiment for Scholarly Publications: Estimating Interest and Potential Impact)

어떤 연구도 모든 사람에게 흥미로울 수는 없지만, 잠재적 독자층이 넓고 관심도가 높을수록 출판하기가 더 쉽습니다. 이 사고 실험은 연구자들이 학술 출판물에 대한 잠재적 관심과 영향력을 추정하고 강화하는 데 도움을 줄 수 있습니다. 비슷한 교육적 문제(예: 특정 요구 사항 Y와 Z를 가진 학습자들 사이에서 주제 X를 어떻게 가르치거나 평가할 것인가)에 직면한 타 기관(또는 다른 국가)의 교육자를 상상해 보고, 스스로에게 다음 질문들을 던져 보십시오:

연구자로서 당신은 그 문제에 대해 이미 알려진 것을 넘어, 그 교육자의 결정에 도움이 될 만한 어떤 것을 말해줄 수 있는가?
- 이에 답하기 위해서는 관련 선행 문헌과 당신이 공유할 수 있을 것으로 상상하는 새로운 메시지 모두에 대한 명확한 이해가 필요합니다.
당신의 연구 결과(study findings)가 신뢰할 수 있으며 그들의 문제 및 맥락과 관련이 있다는 것을 교육자에게 어떻게 납득시킬 수 있는가?
- 이에 답하기 위해서는 명확하게 진술되고, 설득력 있으며, 정직하고, 투명한 주장으로 구성된 경험적 데이터가 필요합니다. 예를 들어 무작위 대조 시험(randomized trial), 질 향상 사이클(cycles of quality improvement), 또는 포커스 그룹 연구(focus group study)를 통해 수집된 데이터의 출처와 특성은 질문과 연구 설계에 따라 다를 것입니다.
새로운 제안들이 얼마나 큰 차이를 만들어낼 것인가? 그것들은 얼마나 강력하고, 광범위하게 적용 가능하며, 깊은 통찰력을 지니고 있는가?
- 이에 답하기 위해서는 연구 결과가 교육자에게 "아하" 하는 깨달음의 순간을 촉발할지, 아니면 단지 이미 알려진 것을 확인하는 데 그칠지를 고려해야 합니다. 연구 결과가 교육자 자신의 국지적 맥락으로 번역(translate)될 수 있을까요?
입장이 바뀐다면(즉, 당신이 그 교육자로부터 이 혁신에 대해 배우고 있다면), 당신은 그 제안을 따르거나 연구 결과를 적용하겠는가?
- 이에 답하기 위해서는 당신의 환경과 그들의 환경 모두의 맥락 특수성(context-specificity)을 포함하여, 당신 노력의 한계를 인정하는 겸손함, 통찰력, 그리고 객관성이 필요합니다.

이러한 질문들에 답하다 보면 거의 항상 연구 질문이나 접근법에서 변경할 수 있는 몇 가지 사항들이 드러날 것입니다. 이러한 변경을 수행하고, 상상한 메시지가 흥미롭고, 방어 가능하며(defensible), 영향력 있을 때까지 이 과정을 반복하십시오. (또는 수정 후에도 이러한 기준을 달성하기 어려울 것으로 보인다면 새로운 프로젝트로 전환하십시오.)

많은 교육과정 연구가 "그 교육과정(또는 구성 요소)이 효과가 있었는가? 목표를 달성하거나 목적을 완수했는가?"와 같은 예/아니오 질문에 초점을 맞춥니다. 그러나 이미 축적된 풍부한 연구를 고려할 때,20 학습 및 평가에 대한 모범 사례를 사용하여 계획되고 연구된다면 사실상 모든 교육적 개입이 아무런 개입이 없는 것과 비교했을 때 "효과가 있을 것"이라는 점은 타당해 보입니다.2,19 대조적으로, 교육 연구 전문가들은 오랫동안 "효과가 있었는가?"보다는 "왜, 그리고 어떻게 작용하는가?" (작용 기전(mechanisms of action), 설명)와 "언제, 그리고 누구에게 작용하는가?" (맥락 특정적 상호작용(context-specific interactions))를 이해하는 것의 중요성을 강조해 왔습니다.1,2,6,7,42–45 이를 위해, "미래의 발전을 향한 길을 밝히는"5 "명료화(clarification)" 연구는 (효과가 있었는지를 묻는) "정당화(justification)" 연구나 단순한 설명보다 대화에 훨씬 더 많은 기여를 할 것입니다. 다른 학자들은 "우리가 직면한 문제에 대해 생각하는 더 나은 방법을 만들고 공유하는 것",46 "학습의 법칙을 정교화하는 것",47 또는 단순히 "다음은 무엇인가?"45라고 묻는 것을 강조해 왔습니다.

개입이나 활동이 왜, 그리고 어떻게 작용하는지 고려할 때, 개념적 프레임워크(conceptual frameworks)는 근본적으로 중요합니다. 문제의 특정 측면을 조명하고 확대함으로써, 프레임워크는 한 맥락을 다른 맥락으로, 과거의 발견을 미래의 적용으로, 고립된 발견을 일관된 메시지로 연결하는 "이해의 다리(bridges of understanding)"를 만듭니다.30 아래의 연구 사례들에서 설명되듯, 개념적 프레임워크는

가설을 설정하고 연구 계획을 안내하기 위해 전향적(prospectively)으로 사용될 수 있을 뿐만 아니라,
예상치 못하게 나타난 결과(emergent findings)를 해석하고 연구 방법의 조정을 안내하기 위해 후향적(retrospectively)으로도 사용될 수 있습니다.

6가지 전형적인 연구 설계 (Six Prototypical Study Designs)

우리는 아래와 표 2에서 6가지 전형적인 교육과정 중심 연구(prototypical curriculum-focused research studies)를 개략적으로 설명합니다. 이것들이 연구 질문이나 접근법의 완전한 목록을 나타내는 것은 아니며, 실용적이고 구체적인 용어로 다양한 가능성의 범위를 보여주는 선택된 예시들입니다. 이 예시들은 모두 의대 2학년 학생들을 위한 형평성과 다양성(equity and diversity)에 관한 교육을 개선하기 위한 가상의 교육과정 변경과 관련이 있습니다. (구체적인 교육과정 변경은 예시마다 다릅니다.) 성공하기 위해서 각 연구는 교육과정의 실행이나 변경 자체를 넘어선 계획을 필요로 합니다. 여기에는

외부의 관심을 끌 만한 중요한 학술적 공백(scholarly gap)을 식별하기 위한 성실한 문헌 고찰(중복성과 맥락 특수성을 피하기 위해),
관련 개념적 프레임워크(conceptual framework)에 기초한 구축(개념적 모호성을 피하기 위해), 그리고
가능할 경우 전향적인(prospectively) 고품질 데이터 출처의 선택(피상성과 희석을 피하기 위해)이 포함됩니다.
교란(Confounding)은 연구 2를 제외한 모든 예시에서 위험 요소입니다. 이러한 연구들에서 실제 교란의 정도는 데이터 해석 과정에서 추정될 것입니다.

표 2. 6가지 전형적인 교육과정 중심 연구 (Table 2. Six Prototypical Curriculum-Focused Research Studies)a

연구 설명 (Study description)	예시b (Example)	연구 질문 (Research question(s))	전형적인 접근법 (Typical approach(es))	데이터: 결과 및 관찰 (Data: Outcomes and observations)
1. 교육과정 또는 구성 요소 평가 (Evaluate the curriculum or a component)	형평성과 다양성에 대한 새로운 프로그램 평가c	프로그램이 그 목적을 달성했는가? 투자된 자원만큼의 이점이 있었는가? 지속 가능한가? 모방할 가치가 있는가?	• 실행 과학 (Implementation science) (예: RE-AIM 평가) • 상황, 투입, 과정, 산출 (Context, Inputs, Process, Product, CIPP) 평가 • 논리 모델 평가 (Logic model evaluation) • 혼합 방법론 (Mixed methods) (정량적 및 정성적)	• 도달률(Reach): 교육받은 학생 수 • 효과성(Effectiveness): 지식, 기술, 태도; 영향에 대한 서술형 증언 • 채택(Adoption): 대상 교직원, 환경, 시스템 및 지역사회에 미치는 영향과 감화 • 실행(Implementation): 일관성, 비용, 전달 중 이루어진 조정 • 유지(Maintenance): 지속 가능성, 지속적인 비용, 시간이 지남에 따라 요구되는 조정
2. 두 가지 교수 설계 접근법 비교 (동시적) (Compare 2 instructional design approaches (concurrent))	형평성과 다양성에 관한 온라인 모듈에서 피드백을 제공하는 두 가지 접근법(아바타가 음성으로 제공 vs 화면에 텍스트로 제공) 비교d	학습을 위해 음성 제안을 제공하는 아바타가 서면 제안과 비교하여 성과를 향상시키는가?	• 무작위 실험 (Randomized experiment)	• 지식, 태도, 인지된 개인화, 인지된 동기 부여, 인지된 효과성 (모두 과정 후 테스트/설문지에서 측정; 정량적 데이터)
3. 두 가지 교수 설계 접근법 비교 (역사적) (Compare 2 instructional design approaches (historical))	형평성과 다양성에 관한 4회 연속 강의의 두 가지 전달 접근법(전통적인 강의 [작년] vs 플립 러닝 [올해]) 비교e	플립 러닝(flipped classroom)이 전통적인 강의에 비해 성과를 향상시키는가?	• 역사적 비교 (정적 집단) (Historical comparison (static groups))	• 지식, 태도 (과정 후 테스트); 만족도 (과정 평가) (두 연도 모두에 대해 사용 가능한 정량적 데이터)
4. 교육과정 또는 구성 요소의 반복적인 개선을 통해 얻은 교훈 (Lessons learned from iterative improvements to the curriculum or a component)	3년에 걸쳐 형평성과 다양성에 대한 새로운 교육과정c을 점진적으로 개선하기 위해 증거 기반의 작은 조정을 반복적으로 수행	실행 중 어떤 문제에 직면했는가? 성과 향상과 관련된 점진적인 변화는 무엇이었는가?	• 질 향상 (Quality improvement) (예: 계획-실행-학습-적용 [PDSA]) • 린 스타트업 (Lean Startup) 또는 애자일 (Agile) 제품 개발 방법론 • 무작위 및 비무작위 비교	• 학생 및 교수진에 대한 정량적 및 비정량적 관찰 • 기타 프로그램 산출물(artifacts) 분석 (예: 기획 위원회 회의록, 강의 계획서, 모듈, 비디오, 학생 과제)
5. 가르칠 주제의 본질 이해 (Understand the nature of the topic to be taught)	형평성과 다양성에 관한 향후 교육과정c을 위한 교육 목표 및 모범 사례 식별	학생과 교수진은 현재 (교육과정 변경 전) 형평성과 다양성이라는 주제를 어떻게 인식하고 있는가?	• 질적 연구 (Qualitative research): 근거 이론 (Grounded theory) ("이 주제가 어떻게 인식되는가"에 대한 모델 구축을 위해)	• 계획 과정 전 또는 도중 (실행 전)의 인터뷰 또는 포커스 그룹 (정성적 데이터)
6. 새롭거나 개정된 교육과정 구성 요소에 대한 경험 이해 (Understand the experience of a new/revised curriculum component)	형평성과 다양성에 관한 새로운 교육과정c에 참여한 학생, 교사 및 기타 관계자의 인식과 경험 탐구	참여자들이 형평성과 다양성에 대한 교육과정을 경험하는 것은 어떠했는가? 그 결과 참여자들은 어떻게 변화했는가?	• 질적 연구 (Qualitative research): 해석적 현상학 (Interpretative phenomenology)	• 교육과정 완료 후 인터뷰; 교육과정 중 (현장에서의) 민족지학적 관찰 (ethnographic observations) (정성적 데이터)

a이 표의 예시 연구들은 예시를 위한 것이며, 포괄적인 것은 아닙니다. 수많은 다른 예시 상황, 질문, 접근법 및 결과가 나열될 수 있습니다.

b이 예시들은 의대 2학년 학생들을 위한 형평성과 다양성 교육을 개선하기 위한 가상의 교육과정 변경과 관련이 있습니다. 표 3은 각 연구 프로토타입의 실제 (출판된) 예시를 포함합니다.48–53

c이 접근법은 예를 들어 경험적 지역사회 배치(experiential community placement) 또는 임상 실습(clinical clerkship)의 개정을 연구하는 데에도 사용될 수 있습니다.

d이 접근법은 예를 들어 두 가지 강의 형식, 소그룹 세션을 위한 두 가지 구조, 또는 절차적 기술을 가르치기 위한 두 가지 시뮬레이션 기반 방법을 비교하는 데에도 사용될 수 있습니다.

e이 접근법은 예를 들어 2주간의 임상 실습을 구조화하는 두 가지 방법이나 1주간의 그룹 협업 활동을 비교하는 데에도 사용될 수 있습니다.

연구 1: 교육과정 또는 구성 요소 평가 (Study 1: Evaluate the curriculum or a component)

연구 1은 형평성과 다양성 교육과정 전체를 평가할 것을 제안합니다.

이 연구는 맥락 특수성(context specificity)의 위험이 높습니다. 이를 피하기 위해, 평가는 국지적인 맥락을 넘어서는 문제에 초점을 맞추어 타 학교의 교육자들에게 유익한 질문에 답하고, 관련 이론의 렌즈를 통해 결과를 해석해야 합니다.
비교 집단이 없다는 점은 불가피하게 결론을 제약합니다. 더욱이, 단순히 "효과가 있었다"(즉, 지식이나 태도가 향상되었다)고 결론짓는 것은 제한적인 가치만 가질 것입니다.
잠재적으로 더 흥미로운(일반화 가능하고 출판 가능한) 메시지는 실행, 비용, 지속 가능성 또는 예상치 못한 효과를 다룰 수 있습니다.
프로그램 평가(Program evaluation)는 그 자체로 하나의 학문 분야이며, 선택할 수 있는 수많은 패러다임과 방법론(정량적, 정성적, 혼합)이 있습니다.54–56
- 이 가상의 연구는 실행 과학 패러다임(implementation science paradigm)57,58을 따를 것이며, RE-AIM 프레임워크59를 사용하여 프로그램의 도달률(reach), 효과성(effectiveness), 채택(adoption), 실행(implementation) 및 유지(maintenance)를 체계적으로 연구할 것입니다.
- 목표 지향적 평가(예: 커크패트릭의 모델(Kirkpatrick’s model)), 과정 지향적 평가(예: 논리 모델 및 CIPP 모델), 참여자 지향적 평가와 같은 다른 프로그램 평가 모델도 고려될 수 있습니다.54,55,60 경제성 분석(economic analysis)61–63 또한 유용할 수 있습니다.

연구 2: 두 가지 교수 설계 접근법 비교 (동시적) (Study 2: Compare 2 instructional design approaches (concurrent))

또 다른 옵션은 1시간짜리 온라인 모듈과 같이 더 큰 교육과정 변경의 작은 구성 요소에 초점을 맞추는 것입니다.
연구 2는 성과에 대해 학생들에게 피드백을 제공하는 두 가지 접근법(아바타의 음성 제공 vs 서면 제공)을 비교하는 무작위 대조 시험(randomized trial)이며, 지식, 태도, 인지된 개인화, 동기 부여 및 효과성의 결과를 사용합니다.
전체 교육과정보다 구성 요소에 초점을 맞추면 학습 경험을 엄격하게 통제(즉, 이론에 기반한 예측을 정의하고 조작화함)할 수 있으므로 교란(confounding)을 최소화하는 데 도움이 됩니다.1,7,23,44 이 설계는 또한 연구 목표와 밀접하게 일치하는 결과의 선택 및 전향적 측정(prospective measurement)을 가능하게 합니다.

연구 3: 두 가지 교수 설계 접근법 비교 (역사적) (Study 3: Compare 2 instructional design approaches (historical))

연구 3은 다른 교육과정 구성 요소인 4회 연속 강의에 초점을 맞추며, 올해의 새로운 플립 러닝(flipped classroom) 접근법과 이전 연도에 사용된 "전통적인" (플립 러닝이 아닌) 강의 형식을 비교합니다. 이 역사적 비교 연구(historical comparison study)는 작년과 올해 강의 모두에서 사용할 수 있는 일상적으로 수집되는 결과 척도(예: 과정 후 테스트에서의 지식 및 태도, 과정 평가에서의 만족도 데이터)로 제한될 것입니다.
기존의 개입과 기존 데이터에 의존하는 것은 피상성, 개념적 모호성 및 기타 문제의 위험을 증가시킵니다. 명확한 개념적 프레임워크, 철저한 문헌 고찰, 그리고 두 개입 사이의 주요한 조작적 및 개념적 차이에 대한 신중한 기술이 이 연구의 성공에 매우 중요할 것입니다. 연구 결과의 해석은 신중해야 하며 비동시적 설계와 사전 정의된 결과의 한계를 인정해야 합니다.

연구 4: 교육과정 또는 구성 요소의 반복적인 개선을 통해 얻은 교훈 (Study 4: Lessons learned from iterative improvements to the curriculum or a component)

또 다른 옵션은 여러 번의 실행 주기에 걸쳐 교육과정을 연구하면서 각 주기마다 개선 영역을 식별하고 다듬는 것입니다. 이 접근법의 결과는 일반적으로 가설에 의한 것이라기보다는 새롭게 창출된 것(emergent)일 것입니다: 결과에 영향을 미치는 데 가장 중요한 프로그램의 특징을 예측하는 것은 불가능할 수 있습니다.
그러한 경우, 관련 개념적 프레임워크를 사후적으로(post hoc) 식별하고 이를 후향적으로 적용하여 결과를 해석하고 향후 적용으로 그 관련성을 확장하는 것이 종종 적절할 것입니다(이 사후 적용에 대해 독자에게 투명하게 알림).
연구 4는 계획-실행-학습-적용(Plan-Do-Study-Act)의 반복적인 주기를 사용하는 질 향상 접근법(quality improvement approach)64,65을 채택하여 3년에 걸쳐 교육과정을 체계적으로 연구하고 각 주기마다 증거에 기반한 조정을 수행합니다.
짧고 빈번한 주기를 통해 성공적인 접근법(예: 일련의 강의, 온라인 모듈, 임상 실습 또는 반복적인 행정 활동)에 빠르게 수렴할 수 있다면 린 스타트업(Lean Startup)66,67 및 애자일(Agile)68과 같은 다른 방법도 유용할 수 있습니다.
이 모든 것에서 학생과 교수진에 대한 관찰 데이터, 그리고 강의 계획서 및 학생 과제와 같은 산출물(artifacts)에서 수집된 데이터를 포함하여 정량적 및 정성적 데이터를 모두 사용할 수 있습니다.

연구 5: 가르칠 주제의 본질 이해 (Study 5: Understand the nature of the topic to be taught)

순수하게 질적인 연구(purely qualitative studies)도 고려될 수 있습니다
. 연구 5는 의대생과 교수진이 주제—이 경우 형평성과 다양성—에 대해 무엇을 알고 있고 믿는지 이해하여 향후 교육과정의 목표와 접근 방식을 형성하는 데 도움을 주는 것을 목표로 합니다. 이 연구는 포커스 그룹(focus groups)을 사용하여 참가자의 태도, 오해 및 개인적 경험에 대한 데이터를 수집하고, 이 데이터를 분석하여 형평성 및 다양성 신념에 대한 근거 이론 모델(grounded theory model)69을 구축할 것입니다("이 주제는 어떻게 인식되는가?").
이 연구는 경험적 및 개념적 측면 모두에서 이 주제에 대한 기존 연구를 식별하고 그 위에 구축해야 합니다. 연구를 시작하기 전의 철저한 문헌 검색은 답이 이미 알려져 있음을 드러낼 수도 있습니다; 그렇다면 연구자는 질문을 수정하거나 완전히 다른 프로젝트로 전환해야 할 것입니다.

연구 6: 새롭거나 개정된 교육과정 구성 요소에 대한 경험 이해 (Study 6: Understand the experience of a new/revised curriculum component)

또 다른 질적 연구는 교육과정 참여 경험에 초점을 맞출 수 있습니다. 연구 6은 1대1 인터뷰에서 수집된 데이터를 사용하고 해석적 현상학(interpretative phenomenology)36을 사용한 분석을 통해 학생과 교수진의 생생한 경험(lived experiences)을 이해합니다: 그들은 무엇이 의미 있고, 유용하며, 도전적이고, 보람 있으며, 낭비적이라고 느꼈는가? 자원이 허락한다면, 연구자들은 인터뷰에 더해 다양한 장소와 활동에서 학생과 교수진에 대한 민족지학적 관찰(ethnographic observations)을 보완할 수 있습니다. 이 연구를 위한 관련 개념적 프레임워크는 전향적으로도 후향적으로도 식별될 수 있습니다.

출판된 예시 (Published examples)

표 3은 이러한 6가지 연구 예시를 각각 더 자세히 보여주는 출판물들을 인용합니다.48–53

표 3. 6가지 전형적인 교육과정 중심 연구를 보여주는 출판된 논문들 (Table 3. Published Articles Illustrating 6 Prototypical Curriculum-Focused Research Studies)

연구 설명 (Study description)a	제1저자, 제목 (First author, Title)ref	학술적 질문 (Scholarly question)b	접근법 (Approach)	주요 결과 (Main findings)
1. 교육과정 또는 구성 요소 평가 (Evaluate the curriculum or a component)	Gisondi, "Teaching LGBTQ+ health, a web-based faculty development course: program evaluation study using the RE-AIM framework"48	LGBTQ+ 문제에 대해 가르치도록 교수진을 어떻게 훈련할 수 있는가?c	무료 공개 온라인 과정에 대한 RE-AIM 프레임워크를 사용한 단일 그룹 혼합 방법론 평가(사전-사후 지식 변화, 자유 기술 의견에 대한 주제 및 감성 분석 포함)	• 도달률: 1,782명 • 효과성: 지식 점수 30% 향상, 감성 분석 결과 순 긍정적 • 실행: 직접 비용 $57,000, 주요 이정표 및 배포 접근법 식별됨 • 유지: 연간 비용 $1,000
2. 두 가지 교수 설계 접근법 비교 (동시적) (Compare 2 instructional design approaches (concurrent))	Skrupky, "Personalisation and embodiment in e-learning for health professionals: a randomised controlled trial"49	개인화(personalization)(메이어의 멀티미디어 학습 이론34)가 학습에 어떤 영향을 미치는가?	2가지 이러닝 모듈 형식을 비교하는 무작위 대조 시험: 비강화형(보이지 않는 사람의 음성 해설이 있는 슬라이드) vs 개인화 및 구현을 반영하도록 강화형(대화형 스타일, 보이는 화자)	• 강화된 형식에서 작지만 통계적으로 유의미하지 않은 지식 향상 • 과정에 대한 인지된 개인화 및 동기 부여 속성은 강화된 형식에서 더 높았음
3. 두 가지 교수 설계 접근법 비교 (역사적) (Compare 2 instructional design approaches (historical))	Stephenson, "Learner engagement and teaching effectiveness in livestreamed versus in-person CME"50	양식 형태(modality format)(대면 vs 라이브 스트리밍)가 학습자 참여(learner engagement)에 어떤 영향을 미치는가?	동일한 평생의학교육(CME) 과정을 전달하는 2가지 양식에 대한 역사적 비교: 라이브 스트리밍(2020년 및 2021년에 완료) vs 대면(2018년)	• 학습자 참여도는 비슷했음 • 교사 효과성은 대면 전달에서 더 높았음 • 지식에는 차이가 없었음
4. 교육과정 또는 구성 요소의 반복적인 개선을 통해 얻은 교훈 (Lessons learned from iterative improvements to the curriculum or a component)	Ogunyemi, "Graduate medical education-led continuous assessment of burnout and learning environments to improve residents’ wellbeing"51	전공의의 웰니스(wellness)와 학습을 향상시키기 위해 임상 학습 환경(clinical learning environment)을 어떻게 최적화할 수 있는가?	전공의 웰빙을 향상시키기 위한 프로그램의 반복적인 개선을 이끈 5번의 계획-실행-학습-적용(PDSA) 주기	• 교육과정 변경에는 조직적 개입(리더십 채용, 워크플로, 전공의 일정 최적화)과 개인적 개입(자기 관리, 멘토링, 회복탄력성 훈련)이 포함됨 • 프로그램 연도 동안 번아웃 및 기타 결과가 개선됨
5. 가르칠 주제의 본질 이해 (Understand the nature of the topic to be taught)	Hassan, "Consensus on social determinants of health knowledge topics and behavior learning goals across primary care residencies: results of a Delphi study"52	건강의 사회적 결정요인(social determinants of health, SDH)의 어떤 측면을 가르치는 것이 필수적인가?	SDH와 관련된 학습 목표 및 주제를 식별하기 위해 41명의 전문가가 참여한 델파이 연구	• 22개 주제는 구조적 힘, SDH의 광범위한 영역, SDH 해결을 위한 자원, 옹호 전략을 강조함 • 18개 학습 목표는 개인 및 대인 관계 행동에 중점을 둠
6. 새롭거나 개정된 교육과정 구성 요소에 대한 경험 이해 (Understand the experience of a new/revised curriculum component)	Dubé, "Pathways, journeys and experiences: integrating curricular activities related to social accountability within an undergraduate medical curriculum"53	어떤 교육적 접근법(educational approaches)이 사회적 책무성의 발달을 촉진하는가?	(학생, 교사, 관리자, 지역사회 구성원, 환자로 구성된) 16개의 포커스 그룹이 사회적 책무성에 관한 새로운 프로그램에 대해 논의함	• 식별된 4가지 주제: 사회적으로 책무성 있는 의사의 정의; 사회적으로 책무성 있는 교육 경험; 사회적으로 책무성 있는 의사 훈련의 특징; 교육과정 개선 및 실행에 대한 제안

약어: CME, continuing medical education(평생의학교육); RE-AIM, reach, effectiveness, adoption, implementation, maintenance(도달률, 효과성, 채택, 실행, 유지).

a연구 설명은 표 2의 목록에서 가져왔습니다.

b이러한 질문들은 직접 인용한 것이 아니라 본 논문의 저자들이 의역하거나 추론한 것입니다. 기울임꼴로 표시된 텍스트는 연구의 기초가 되는 핵심 개념적 프레임워크를 강조합니다.

c주제 자체와 RE-AIM 방법론 외에는 명확한 개념적 프레임워크가 식별되지 않았습니다. 더 나은 질문은 다음과 같았을 수 있습니다: "공개 온라인 과정에서 이 주제를 어떻게 더 효과적으로 가르칠 수 있는가?"

피해야 할 연구들 (Studies to avoid)

표 4는 교육적 증례 보고(educational case reports), 개입이 없는 것과의 비교를 수행하는 연구(studies making comparison with no intervention), 검정력이 부족한 연구(underpowered studies), 그리고 정량적 데이터가 제한적일 때 백업 옵션으로 질적 연구를 사용하는 경우 등 우리가 피할 것을 권장하는 교육과정 중심 연구들을 설명합니다. 이러한 연구들은 역사적으로 흔했으며 증거 기반이 발달하지 않았을 때는 과학적 이해에 기여했을 수 있습니다. 그러나 보건의료 전문직 교육(HPE) 연구 분야는 성숙해졌습니다. 이러한 부류의 연구들은 대개 현재의 학술적 대화에 거의 기여하지 못하며, 따라서 출판하기가 점차 더 어려워지고 있습니다.

표 4. 하지 말아야 할 것: 피해야 할 교육과정 중심 연구들 (Table 4. What Not to Do: Curriculum-Focused Studies to Avoid)a

연구 설계 (Study design)	예시b (Example)	연구 질문 (Research question)	피해야 하는 이유 (Why to avoid)
단일 그룹, 사후 테스트만 있음 (Single group, posttest only)	형평성과 다양성에 관한 새로운 과정에 대한 설명; 데이터는 과정 후 지식 및 학습자 만족도 포함	우리는 무엇을 했는가? (설명/Description)c	이것은 교육적 증례 보고(educational case report)입니다. 교육 과학에 대한 기여는 미미합니다. 교육적 접근법이 극도로 새롭지 않은 한("화제가 되는" 주제라 할지라도) 출판하기 어려울 것입니다 (이는 점점 더 드물어지고 있습니다).
단일 그룹, 사전-사후 연구 (Single group, pre–post study)	형평성과 다양성에 관한 새로운 과정에 대한 설명; 데이터는 과정 전후 지식, 그리고 과정 후 학습자 만족도 포함	효과가 있는가? (정당화/Justification)c	체계적 문헌고찰19,20에 따르면 이러한 연구들은 수많은 주제와 교육적 접근법에 걸쳐 95% 이상의 경우에서 성과가 향상되었다고 보고합니다. 더욱이 대조군이 없으면 그 과정이 지식 향상(교란(confounding))의 원인이라고 결론짓는 것은 불가능합니다.4
개입이 없는 대조군이 있는 두 그룹 연구 (Two-group study with no-intervention control)	형평성과 다양성에 관한 새로운 과정과 훈련을 받지 않은 그룹 비교; 무작위로 배정된 그룹; 데이터는 과정 전후 지식 포함	효과가 있는가? (정당화/Justification)c	체계적 문헌고찰19,20에 따르면 이러한 연구들은 95% 이상의 경우에서 성과가 향상되었다고 보고합니다. 대조군이 있고 무작위로 그룹을 배정했더라도 교육 과학에 대한 기여는 미미합니다 (교육을 더 낫게 만드는 방법에 대한 이해에 추가하는 바가 거의 없습니다).1,2,4,19
적극적인 개입에 대한 두 그룹 연구, 작은 표본 (Two-group study of active interventions, small sample)	형평성과 다양성을 가르치기 위한 두 가지 교수법 접근 방식 비교(상호작용 강의 vs 플립 러닝); 무작위로 배정된 그룹; 데이터는 과정 전후 지식 및 태도 포함; 그룹당 n = 25명	어떤 접근법이 더 효과적인가?	연구 질문은 훌륭하며, 무작위 설계는 강력합니다. 그러나 표본 크기가 너무 작습니다(underpowered): 80%의 검정력(power)을 목표로 할 경우, 그룹당 25명의 참가자는 Cohen의 $d \geq 0.8$이라는 "큰(large)" 효과 크기(effect size)에 대해서만 그룹 간 차이를 감지할 수 있습니다 (그리고 90% 검정력의 경우 $d \geq 0.9$). 그러나 두 가지 적극적인 개입을 비교하는 이러한 연구에서 예상되는 그룹 간 차이는 일반적으로 훨씬 작습니다 ($d < 0.5$ 또는 그 이하). 실제로 대부분의 교육 연구는 두 가지 적극적인 개입을 비교하기에 검정력이 부족합니다.70 검정력이 부족한 연구에서 결과가 통계적으로 유의미하지 않다면, 이는 결론을 내릴 수 없는 것(inconclusive)입니다.
과정 평가 의견에 대한 주제 분석 (Thematic analysis of comments from course evaluation)	형평성과 다양성에 관한 새로운 과정에 대한 설명; 데이터는 과정 후 평가에 대한 서술형 의견 포함	이 과정의 좋거나 나쁜 점은 무엇인가?	이것은 교육적 증례 보고입니다. 학습자의 의견은 (유용할지라도) 실제 학습 성과와 일치하지 않는 경우가 많으며 국지적 맥락에 국한됩니다. 질적 연구는 이상적으로 국지적인 과정 평가를 넘어서는 통찰력을 생성하는 질문과 분석을 포함해야 합니다.
포커스 그룹을 사용한 적극적 개입의 단일 그룹 연구, 작은 표본 (Single-group study of active intervention using focus groups, small sample)	형평성과 다양성에 관한 새로운 과정, 총 학습자 12명; 표본이 너무 작기 때문에 정량적 지표 대신 포커스 그룹의 정성적 데이터를 사용하여 평가 수행	이 과정의 좋거나 나쁜 점은 무엇인가?	문제는 질적 연구 설계를 선택한 이유(즉, 가용한 표본이 작기 때문)에 있습니다. 질적 연구 접근법은 학술적 대화를 진전시키는 질문에 답하기 위한 가장 좋은 방법이기 때문에 선택되어야지, 다른 방법이 작동하지 않을 때의 비상 계획(contingency plan)으로 선택되어서는 안 됩니다. 질적 연구는 이상적으로 국지적인 과정 평가를 넘어서는 통찰력을 생성하는 질문과 분석을 포함해야 합니다.

a권장되는 연구 접근법의 예시는 표 2와 3을 참조하십시오.

b이 예시들은 의대 2학년 학생들을 위한 형평성과 다양성 교육을 개선하기 위한 가상의 교육과정 변경과 관련이 있습니다.

cCook 등5은 연구를 설명(description), 정당화(justification), 또는 명료화(clarification)로 분류하는 프레임워크를 제안했으며, (표 2와 3의 연구들이 보여주듯, 어떻게 또는 왜 효과가 있었는지를 묻는) 명료화 연구가 (효과가 있었는지를 묻는) 정당화 연구나 단순한 설명보다 학술적 대화에 훨씬 더 많이 기여한다고 주장했습니다.

연구 질문 및 접근법 선택하기 (Choosing a Research Question and Approach)

연구 질문과 접근법에 대한 이러한 다양한 옵션(표 2) 중에서 선택할 때, 연구자들은 먼저 스스로에게 다음과 같이 물어보아야 합니다. "나는 (출판을 위해) 교육과정 연구(curriculum research study)를 정말로 하고 싶은가? 아니면 내 관심사와 자원이 교수 학술활동(scholarship of teaching)이나 국지적인 프로그램 평가(local program evaluation)에 더 잘 부합하는가?" 정직한 대답은 훗날 겪게 될 좌절을 예방할 수 있습니다.

만약 출판을 위한 연구(research for publication)를 선택했다면, 다음에 던져야 할 질문은 "무엇을 연구해야 할까?"입니다. 연구 문헌들은 일반적으로 연구자가 문헌의 공백(gap in the literature)에서 비롯되고 하나 이상의 개념적 프레임워크(conceptual frameworks)를 활용하는 개인적 관심사의 연구 질문을 식별하는 것으로 시작하여, 그 질문에 답하기 위한 연구를 설계하는 선형적 과정(linear process)을 권장합니다.
그러나 교육과정 연구에서 이 과정은 대개 다르게 작동하는데, 국지적 요구와 실현 가능성(local needs and feasibility)이 질문에 강한 영향을 미치며, 질문과 연구 설계의 선택 모두 더 복잡하고 반복적인(iterative) 경향이 있습니다.71

연구 질문은 프로젝트의 초점을 맞추고 연구 설계/방법에 정보를 제공하는 중심적인 역할을 항상 유지해야 하며,72 이해의 중요한 공백(important gap in understanding)을 다루어야 합니다.73 그러나 그 질문은

국지적으로 식별된 교육 실무의 과제 및 우선순위(즉, 해결해야 할 문제),
자연 실험(natural experiments)(예: 역사적 대조군(historical controls)이나 과정의 대안적인 동시 실행(alternative concurrent implementations)과 비교하는 경우 선택의 여지가 많지 않음), 그리고
교육과정의 본질(즉, 주어진 구조와 주제는 특정 질문에는 적합하지만 다른 질문에는 적합하지 않음)
...과 같이 연구자의 상황에 고유한 기회들에 의해 형성될 것입니다.41,71

실제적인 문제들 또한 연구 방법과 실행에 영향을 미칩니다.

여기에는 참여할 가능성이 있는 학습자의 수(대부분의 교육 연구는 검정력이 부족합니다(underpowered))70, 가용 자원(연구자의 시간 포함), 연구자의 기술/경험, 데이터를 계획하고 수집할 기회, 그리고 일정이 포함됩니다. 사전
계획이 필요한 연구는 후향적(retrospectively)으로 수행될 수 없습니다. 연구자는 FINER74 (실현 가능하고(feasible), 흥미로우며(interesting), 새롭고(novel), 윤리적이며(ethical), 관련성 있는(relevant)) 질문과 실행 가능한 접근법이 명확해질 때까지 개인적 관심사, 문헌의 공백, 상황적 여건 및 제약(situational affordances and constraints), 그리고 실현 가능성을 반복적으로 균형 맞춰야 합니다.

교육과정 및 혁신 출판하기 (Publishing the Curriculum and Innovations)

교육과정 자체를 출판하는 것도 선택지가 될 수 있을까요? 네. 교육자는 상세한 지침과 자료를 배포하여 다른 교육자들이 새로운 맥락에서 교육과정을 복제(replicate)할 수 있도록 할 수 있습니다. 그러나 동료심사(peer-reviewed)를 거치는 선택지는 제한적이며, 한 저자가 썼듯이 "이러한 노력 중 너무나 많은 부분이 헛수고가 된다는 것[즉, 미출판 상태로 남는 것]은 인간적인 비극입니다."2 동료심사 출판의 현재 시스템은 주로 (글로벌) 학술적 대화를 확산하고 진전시키기 위해 설계되었으며, (국지적으로 관련된) 교육과정은 이 기준을 충족하는 경우가 드뭅니다. 일부 동료심사 옵션(예: MedEdPortal75,76)은 고품질의 교육 활동을 출판하고 배포하도록 설계되었습니다. 이러한 활동은 새롭고, 신중하게 개발 및 평가되어야 하며, 일반화 가능(generalizable)해야 합니다. 다시 말해, 해당 분야의 교수 및 학습(teaching and learning)12,13을 둘러싼 학술적 대화를 진전시켜야 합니다. 교육과정을 학술적 저작물로 배포하기 위한 다른 포럼들이 이용 가능해지고 성장하고 있습니다; 여기에는 블로그, 팟캐스트, 단행본, 지속적인 온라인 자료(online enduring materials), 이러닝 모듈, 그리고 자체 출판 웹사이트가 포함됩니다.

교육적 "혁신(innovations)", 즉 교수/평가 접근법과 주제의 새로운 조합을 출판하는 것은 어떨까요? 일부 동료심사 저널(이 저널 포함)이 혁신을 고려하긴 하지만, 이를 출판하기는 어렵습니다.40

첫째, 혁신은 종종 교육자가 생각하는 것만큼 참신하지(새롭고 전례 없지) 않습니다. 누군가가 이미 비슷한 접근법을 시도했을 가능성이 매우 높습니다.
둘째, 혁신이 참신하더라도 (위에서 교육과정 배포를 위해 나열된 것과 같은) 다른 포럼이 더 적절할 수 있습니다. 혁신 출판을 위한 제안(주의사항 포함)은 문헌에서 찾아볼 수 있습니다.9,40,77–79

실제적 고려사항 (Practical Considerations)

우리는 몇 가지 실제적인 고려사항을 논의하며 결론을 맺습니다: 연구 품질의 평가, 교육 연구의 자금 조달, 필요한 연구 기술의 접근 및 습득, 의료 제공자의 행동 및 환자 예후 측정, 연구 참여자인 학습자와 관련된 윤리적 문제, 기초 연구와 응용 연구 사이의 긴장, 그리고 연구 참여에 대한 압박.

학술활동의 질은 어떻게 평가되는가? 글래식의 프레임워크(Glassick’s framework)는 25년이 넘은 지금도 여전히 가장 많이 사용되고 있습니다.80,81 이 프레임워크는 학술 활동이 명확한 목표, 적절한 준비, 적절한 방법, 의미 있는 결과, 효과적인 발표, 그리고 성찰적 비판(reflective critique)을 어느 정도 반영하는지 평가합니다. 다른 저자들은 연구 질문, 방법, 해석 및 보고가 어떻게 종합적으로 과학적 엄격성(scientific rigor)을 정의하는지 추가로 강조했습니다.2,21,41,71,72,82–87

교육과정 전환에 참여하는 교육자들은 대개 과로에 시달리고, 마감일을 맞추기 위해 허둥대며, 턱없이 부족한 예산(shoestring budget)으로 운영합니다. 그들은 연구에 필요한 시간과 자원을 어디서 찾을 수 있을까요? 거의 모든 연구자가 이러한 제약에 직면하지만, HPE 연구를 위한 자금은 임상 연구(clinical research)에 비해 제한적입니다.88–90 자원의 투자 없이 고품질 연구를 기대하는 것은 비현실적이고 불공평해 보입니다; 실제로, 그러한 기대는 교육 연구가 저렴하거나, 쉽거나, 아니면 2류라는 것을 암시하게 될 것입니다.88,91,92 제한된 지원 상황에서는, 비용을 과소평가하여 좌절하기보다는 연구 프로젝트를 성공적으로 실행하는 데 필요한 자원을 철저히 파악하고 모으는 것(또는 시작하기 전에 프로젝트를 포기하는 것)이 더 낫다고 제안합니다.

교육자들은 연구 전문성(research expertise)과 멘토 또는 필요한 기술을 가진 사람들(예: 사서, 통계학자)에 대한 접근성이 부족할 수 있습니다.39 자가 학습 외에도 국가 기관(예: 특별 워크숍, 미국 의과대학 협회의 의학교육 연구 수료증93, 유럽 의학교육 협회의 의학교육 필수 기술94)과 정규 학위 프로그램(formal degree programs)95을 통해 연구 훈련을 받을 수 있습니다. 교육자들은 보건의료 전문직을 넘어 기관 내 협력자(예: 교육학 또는 심리학 교수진)를 찾고, 지역 및 전국 학회에서 전문 네트워크를 확장하고 협력자를 식별할 수 있습니다.

교육과정이 임상 실무에서의 제공자 행동(provider behaviors)이나 환자 예후(patient outcomes)에 미치는 영향을 측정하는 연구는 어떨까요? 이러한 연구의 까다로운 설계와 해석은 다른 곳에서 깊이 논의된 복잡한 문제의 일부입니다.28,96–101 요약하자면, 환자 예후를 사용하는 연구는 환자의 예후를 특정 교육적 개입과 다시 연결하기가 매우 어렵기 때문에 교란과 희석(confounding and dilution)의 위험이 높습니다. 희석은 제공자 행동 결과를 사용하는 연구에서는 덜 문제시되지만, 이러한 연구들 역시 수행하기 어려우며 교란, 개념적 모호성, 불충분한 통계적 검정력(statistical power)을 피하기 위해 신중한 계획이 필요합니다. 행동 및 환자 예후에 대한 연구는 종종 크고 다면적인 교육과정에 대한 개념 증명(proof of concept)을 보여주지만; 일단 교육과정이 "효과가 있다"고 밝혀지면, 그 성공에 기여한 특징들을 탐구하기 위한 추가 연구가 필요합니다. 행동과 환자 예후를 사용하는 연구가 중요하고 유용하기는 하지만, 우리는 새로운 연구자들이 이것들로 시작하지 말 것을 제안합니다.

모든 교육 연구는 윤리 심사 위원회(ethics review board)의 검토를 포함하여 윤리적 행위의 높은 기준을 준수해야 합니다.102–104 이는 연구에서 학생이 "취약 계층(vulnerable population)"이기 때문에 매우 중요합니다.102–106 그들은 성적과 추천서를 통해 자신들의 직업적 기회에 영향을 미치는 교사와 감독관에 의해 직접적 또는 간접적으로 참여를 강요받는다(coerced)고 느낄 수 있습니다. 또한, 연구 중의 성과나 발언은 교사, 감독관, 그리고 동료들이 학생에 대해 갖는 의견에 영향을 미칠 수 있습니다.

우리는 "실무자를 위한 생산(production for practitioners)"(현장의 다른 교육자들이 사용할 목적으로 하는 응용 교육 연구)과 "생산자를 위한 생산(production for producers)"(예를 들어 이론이나 방법론을 발전시키기 위해 다른 연구자들이 사용할 목적으로 하는 기초 연구) 사이의 긴장을 인식합니다.107,108 두 가지 목적 모두 중요하고 유용하며, 둘 다 위에서 설명한 원칙들에 의해 촉진됩니다. 가장 유용한 것은 한 번에 두 가지 목적을 모두 다루는 연구, 즉 "파스퇴르의 사분면(Pasteur’s quadrant)"109에 있는 연구들입니다. 그러한 연구들이 의학교육 연구 출판물의 대부분을 차지합니다.110

마지막으로, 이 논문에서 제시된 우려, 과제 및 해결책은 동료심사 출판이 연구의 목표임을 전제로 합니다.8 일부 학자들은 이 목표를 본질적으로 지니고 자신의 분야에 진입하지만, 다른 이들은 고용이나 훈련의 기대치로서 이를 강요받습니다. "출판하지 않으면 도태된다(publish or perish)"는 압박감은 위에서 언급한 많은 문제들, 특히 맥락 특수성과 개념적 모호성을 유발하고 악화시킵니다. 우리는 교육자들이 연구에 손을 대보도록 장려하는 아이디어를 환영합니다. 실제로 첫 번째 프로젝트의 중간쯤에 이르러서야 자신이 연구를 사랑한다는 사실을 깨달은 수많은 연구자들(우리 자신을 포함하여)을 알고 있습니다. 그러나 우리는 우리의 메시지를 숙고한 후, 일부 교육자들이 자신은 정식 연구를 정말로 하고 싶지 않다는 것을 깨닫게 될 것으로 기대합니다. 이러한 깨달음은 생산적이고 중요한 진전입니다—이는 그들이 자신의 직업적 열망에 더 잘 부합하는 다른 형태의 학술활동(표 1)을 추구할 수 있게 해줍니다. 우리는 교수의 학술활동(scholarship of Teaching)을 보상하고 발견의 학술활동(scholarship of Discovery)에 대한 요구를 완화하는, 학술활동에 대한 확장된 관점을 요구하는 간청에 동의합니다.11–13,15,111–113 연구에 참여하기를 원한다는 것을 깨달은 분들께: 학술적 대화에 대한 여러분의 기여를 기대합니다.

'논문 읽기 (with AI)' 카테고리의 다른 글

거울과 프리즘: 전문직 간 상호작용이 의과대학생의 전문직 정체성 형성에 미치는 영향 (Med Educ, 2026) (0)	2026.03.08
의학교육 교육과정 내 논쟁적 경합의 신화: 대화적 탐구 (Med Educ. 2025) (0)	2026.03.04
객관구조화진료시험(OSCE)이 임상 준비도에 대한 진정성 있는 평가로 경험되는 방식, 이유 및 시기에 대한 실재론적 평가 (Med Teach, 2025) (0)	2026.03.04
왜 바람직한 어려움은 '효과'가 있는가: 인지 및 교육 심리학의 증거 고찰과 보건 의료 직종 교육 분야를 위한 몇 가지 주의 사항 (J Eval Clin Pract. 2026) (0)	2026.03.04
정적이고 개인주의적인 주체성 접근을 넘어서: 의학 교육 연구자를 위한 주체성 이론 (AMEE Guide No. 177) (Med Teach, 2025) (0)	2026.02.12

의대에서 교육하고 있습니다.