🏫 비교를 넘어서: 실험적 교수 설계 연구로 한 걸음 더!

안녕하세요, 여러분! 오늘은 교육 연구에 관심 있는 분들을 위해 **실험적 교수 설계 연구(Experimental Instructional Design Research)**에 대한 논문을 쉽게 풀어보겠습니다. 📚

🎯 교육 설계에서 중요한 두 가지 질문

교수법을 연구하는 사람들이 늘 궁금해하는 두 가지 질문이 있습니다.

1️⃣ 어떤 교수법(Instructional Design)이 효과적인가? (What works?)
2️⃣ 왜 그런 교수법이 효과적인가? (Why does it work?)

기존 연구들은 보통 "A 방법 vs B 방법" 같은 비교 실험을 통해 효과적인 교수법을 찾는 데 집중했습니다. 하지만 "왜" 효과가 있는지를 분석하는 연구는 부족했습니다.

이 논문에서는 단순 비교를 넘어서, 교육 설계 전략의 "왜" 를 밝혀낼 수 있는 실험적 연구 방법을 제안합니다. 🧐

🧑‍🏫 교수법 연구의 한계: 단순 비교의 문제

예를 들어, 어떤 연구자가 자기 설명(Self-Explanation) 유도 질문을 온라인 수업에서 활용하면 학생들의 학습 효과가 더 좋아진다고 가정해봅시다. 💡

이를 검증하기 위해 두 그룹을 비교할 수 있습니다.

✅ A 그룹: 자기 설명 질문이 포함된 강의 시청
❌ B 그룹: 일반 강의 시청

이후 두 그룹의 학습 성취도를 비교하면 자기 설명 질문이 효과적인지 알 수 있겠죠? 하지만…

💭 "왜" 자기 설명 질문이 효과적인 걸까요?
💭 단순히 학생들이 더 오래 집중했기 때문일까요? 아니면 내용을 더 깊이 처리했기 때문일까요?

이런 질문에 답하려면 단순 비교 연구를 넘어, 매개 효과(Mediation)와 조절 효과(Moderation) 분석을 활용해야 합니다.

🔎 매개 효과 분석 (Mediation Analysis)

매개 효과 분석이란 A 교수법 → B 학습 효과 사이에 *어떤 중간 과정(매개 변수)*이 존재하는지를 찾는 방법입니다.

🛠 실제 연구 예시
어떤 연구에서 **절차적 학습(Procedural Learning)**과 **개념적 학습(Conceptual Learning)**을 통합한 교수법이 효과적인지를 실험했습니다.

• 실험 조건
  • A 그룹: 개념 설명 + 절차 설명이 함께 제공되는 강의
  • B 그룹: 절차 설명만 제공되는 강의
• 결과
  A 그룹 학생들이 개념적 이해도가 높았고, 이는 결국 실제 기술 수행(Transfer Performance) 능력까지 높이는 것으로 나타났습니다.

👉 즉, **"개념적 이해"**가 학습 효과를 높이는 핵심 역할을 했다는 것이죠!

💡 이렇게 하면 단순 비교 연구보다 교수법이 효과적인 이유까지 밝혀낼 수 있습니다.

⚖️ 조절 효과 분석 (Moderation Analysis)

조절 효과 분석이란 A 교수법이 특정 조건에서만 효과가 있거나, 효과가 달라지는지를 분석하는 방법입니다.

🛠 실제 연구 예시
어떤 연구에서는 의료 학생들에게 "이 지식을 배우는 것이 너의 의사로서의 삶에 어떤 의미가 있는가?" 라는 질문을 던지는 "삶의 목표(Life Goal Framing)" 기법을 활용했습니다.

• 조절 변수(Moderator): 학생들의 사전 학습 자신감(Confidence)
• 결과
  • 자신감이 높은 학생들: 이 기법이 학습 동기를 높이는 효과가 있었음
  • 자신감이 낮은 학생들: 오히려 부담을 느끼고 동기가 떨어짐

👉 즉, 모든 학생에게 같은 교수법이 효과적인 것이 아니라, 학생의 특성에 따라 다르게 작용할 수도 있다!

🔮 앞으로의 연구 방향

이 논문에서는 교수 설계 연구자들에게 다음과 같은 메시지를 전달합니다.

✅ 단순 비교 연구에서 벗어나 **"왜 효과가 있는가?"**를 밝히는 연구로 발전해야 한다.
✅ 매개 분석과 조절 분석을 적극 활용하여 교육 연구의 실질적 적용성을 높여야 한다.
✅ 교육 이론(Learning Theories)을 바탕으로 연구 설계를 체계적으로 구성해야 한다.

🏁 마무리

💡 교육 연구에서 중요한 것은 단순히 "A가 B보다 낫다" 를 증명하는 것이 아니라, *"왜 효과가 있는지"*를 밝혀내어 실질적으로 활용할 수 있도록 돕는 것입니다.

이제 우리도 단순 비교를 넘어, 교수법이 어떤 원리로 작용하는지 깊이 탐구해 보는 건 어떨까요? 😊

📢 여러분의 생각은 어떠신가요? 댓글로 의견을 나눠 주세요! 👇

이 논문은 "비교를 넘어서: 영향력 있는 실험적 Instructional Design 연구를 향하여" 라는 제목으로, 효과적인 Instructional Design을 위해 Experimental Comparison Studies가 어떻게 활용될 수 있는지, 그리고 그 한계를 넘어 어떻게 더 발전할 수 있는지에 대해 논의하고 있습니다. 특히, mediation 또는 moderation analyses를 통해 design strategies가 작동하는 메커니즘을 밝히는 것의 중요성을 강조하고 있습니다.

Instructional Design이란 교육자가 학습 과정을 촉진하기 위해 사용할 수 있는 절차, 즉 design strategies를 의미합니다. 저자들은 효과적인 Instruction을 설계하기 위해 교육자들이 어떤 design strategies가 일반적으로 효과적인지, 그리고 그러한 전략들이 왜 효과적인지에 대한 what knowledge와 why knowledge 모두를 알아야 한다고 주장합니다.

• 핵심 문장 1: "To design effective instruction, educators need to know what design strategies are generally effective and why these strategies work, based on the mechanisms through which they operate".
  • (번역: 효과적인 Instruction을 설계하기 위해 교육자들은 어떤 Design Strategies가 일반적으로 효과적인지, 그리고 그러한 전략들이 작동하는 메커니즘을 기반으로 왜 효과적인지를 알아야 합니다.)

Experimental Comparison Studies는 design strategies의 효과에 대한 causal claims(인과적 주장)을 제시함으로써 이러한 evidence를 제공할 수 있습니다. 예를 들어, 의대생을 위한 비동기식 e-러닝 모듈에 self-explanation prompts(자기 설명 프롬프트)를 삽입하는 효과를 테스트하는 연구를 생각해 볼 수 있습니다.

• 핵심 문장 2: "Experimental comparison studies provide such evidence by comparing one instructional design against another (or several others) to make causal claims about the effectiveness of design strategies".
  • (번역: Experimental Comparison Studies는 하나의 Instructional Design을 다른 Instructional Design과 비교하여 Design Strategies의 효과에 대한 인과적 주장을 제시함으로써 이러한 Evidence를 제공할 수 있습니다.)

하지만 저자들은 Experimental Comparison Studies가 design strategies가 왜 효과적인지에 대한 causal effects(인과적 효과)를 설명하는 데에는 한계가 있다고 지적합니다. 단순히 self-explanation prompts가 시험 점수를 얼마나 향상시키는지 보여주는 것만으로는 왜 그러한 결과가 나타났는지 설명할 수 없다는 것입니다.

• 핵심 문장 3: "However, experimental comparison studies may not help educators understand why strategies work by explaining the causal effects of strategies".
  • (번역: 하지만 Experimental Comparison Studies는 Strategies가 작동하는 이유를 Strategies의 인과적 효과를 설명함으로써 교육자들이 이해하도록 돕지 못할 수 있습니다.)

따라서 저자들은 mediation 또는 moderation analyses를 포함하는 Experimental Comparison Studies를 수행할 것을 제안합니다. 이러한 분석을 통해 design strategies가 작동하는 메커니즘을 더 명확하게 밝힐 수 있으며, 교육자들이 더 효과적인 Instructional Design을 할 수 있도록 도울 수 있습니다.

• 핵심 문장 4: "To generate evidence for the ‘why’ of design strategies, we suggest that researchers conduct experimental comparison studies that include mediation or moderation analyses".
  • (번역: Design Strategies의 '왜'에 대한 Evidence를 생성하기 위해 연구자들은 Mediation 또는 Moderation Analyses를 포함하는 Experimental Comparison Studies를 수행할 것을 제안합니다.)

결론적으로, 이 논문은 교육자들이 다양한 상황에 맞춰 design strategies를 유연하게 선택하고 적용할 수 있는 능력을 개발하기 위해서는 what knowledge와 why knowledge를 통합적으로 이해해야 한다고 강조합니다. 이를 위해 연구자들이 Experimental Comparison Studies에 mediation 및 moderation analyses를 통합하여 design strategies의 메커니즘에 대한 evidence를 생성해야 한다고 주장합니다.

• 핵심 문장 5: "Accordingly, research can best support educators’ instructional design efforts when it provides a source of integrated what and why knowledge".
  • (번역: 따라서 연구는 통합된 What Knowledge와 Why Knowledge의 출처를 제공할 때 교육자들의 Instructional Design 노력을 가장 잘 지원할 수 있습니다.)

이러한 접근 방식은 교육자들이 serious game이 학습자의 autonomy, competence, and relatedness와 같은 기본적인 심리적 욕구를 지원함으로써 동기를 향상시킬 수 있다는 것을 이해하는 데 도움이 됩니다. 또한, 격려적인 피드백을 제공하는 방식으로 이러한 욕구를 지원하는 serious game을 구축하는 방법을 아는 것과 같이, 상황에 따라 design strategies를 유연하게 선택하고 적용할 수 있도록 지원합니다.

이 파트에서는 Experimental Comparison Studies가 교육자들을 위한 what knowledge와 why knowledge를 어떻게 생성할 수 있는지에 대해 구체적으로 논의하며, 그 방법 중 하나로 Mediation Analyses(매개 분석)를 소개합니다. Why knowledge는 Instructional Design이 학습 결과에 영향을 미치는 메커니즘과 이러한 메커니즘에 영향을 미치는 상황적 요인에 대한 명확성을 요구합니다.

Mediation Analyses는 Design Strategy가 학습 결과에 미치는 영향이 제3의 Intervening Variable(매개 변수)을 통해 어느 정도 작용하는지, 즉 Design Strategy의 효과가 어떤 경로를 통해 나타나는지를 분석하는 방법입니다.

• 핵심 문장 1: "Mediation analyses allow researchers to answer the question: to what extent does a design strategy’s effect on a learning outcome operate through a third, intervening variable?".
  • (번역: Mediation Analyses는 연구자들이 다음과 같은 질문에 답할 수 있게 합니다. Design Strategy가 학습 결과에 미치는 영향이 제3의 Intervening Variable을 통해 어느 정도 작용하는가?)

예를 들어, Self-Explanation Prompts가 의대생의 Transfer Test Performance(전이 시험 성적)에 미치는 영향이 Deep Processing of Content(내용에 대한 깊이 있는 처리)을 통해 어느 정도 작용하는지 분석할 수 있습니다. 즉, Self-Explanation Prompts를 받은 학생들이 학습 내용을 더 깊이 있게 처리하는 경향이 있고, 학습 내용을 더 깊이 있게 처리하는 학생들이 Transfer Test에서 더 나은 성적을 거두는 경향이 있는지를 확인하는 것입니다.

Cheung과 동료 연구진은 Integrated Instruction(통합 Instruction)이라는 Instructional Design Strategy가 의대생의 시뮬레이션 기반 훈련 환경에서 미치는 영향을 조사했습니다. Integrated Instruction은 절차적 정보(절차 수행 방법)와 개념적 정보(각 단계를 특정 방식으로 수행하는 이유)를 통합하여 제시하는 방식입니다. 연구진은 Conceptual Coherence(개념적 일관성) 이론에 근거하여 Integrated Instruction이 학습자의 Conceptual Knowledge(개념적 지식)을 향상시키고, 이는 다시 Bedside Procedural Skills(병상 절차 기술)의 획득, 유지 및 새로운 상황으로의 전이에 긍정적인 영향을 미칠 것이라고 예측했습니다. 여러 연구에서 Mediation Analyses는 이러한 예측을 뒷받침했습니다.

• 핵심 문장 2: "Integrated instruction involves presenting procedural information (i.e., steps for how to conduct a procedure) and conceptual information (i.e., why each step is conducted in a particular manner) in an integrated, moment-by-moment fashion".
  • (번역: Integrated Instruction은 절차적 정보(즉, 절차를 수행하는 단계)와 개념적 정보(즉, 각 단계를 특정 방식으로 수행하는 이유)를 통합하여 제시하는 방식을 포함합니다.)

Mediation Analyses를 실제로 어떻게 활용할 수 있는지 더 자세히 알아보기 위해, Cheung과 동료 연구진의 연구 디자인을 예시로 들어보겠습니다. 이 연구는 Two-Arm, Individually Randomized Experiment(두 그룹으로 나누어 개별적으로 무작위 배정하는 실험)으로, Instructional Condition(Instruction 조건, 이진 변수)이 Independent Variable(독립 변수)이고, Conceptual Knowledge Score(개념적 지식 점수, 연속 변수)가 Mediating Variable(매개 변수)입니다.

연구에서 의대생들은 요추 천자에 대한 비디오를 시청하도록 무작위 배정되었는데, 한 그룹은 단계별 Instruction과 개념적 설명을 통합한 비디오(Integrated Instruction Condition)를 시청했고, 다른 그룹은 단계별 Instruction만 포함된 비디오(Procedural Instruction Condition)를 시청했습니다. 비디오 시청 후 시뮬레이션 기반 연습 세션이 진행되었습니다. Mediator(매개 변수)는 비디오 시청 후(연습 세션 전)에 실시된 10점 만점의 Conceptual Knowledge Test(개념적 지식 시험)에서 학생들의 성적이었습니다. Outcome(결과 변수)은 연습 세션 일주일 후 완료된 수정된 요추 천자 수행에 대한 5점 Global Rating Scale (GRS)(전반적 평가 척도) 점수였습니다.

이 연구에서 Mediation Analyses를 통해 다음과 같은 질문에 답하고자 했습니다:

• 핵심 문장 3: "To what extent does the effect of integrated instruction on transfer test performance operate through conceptual knowledge, such that students who receive integrated instruction tend to score higher on the conceptual knowledge test, and those who score higher on the conceptual knowledge test tend to perform better on the transfer test?".
  • (번역: Integrated Instruction이 Transfer Test Performance에 미치는 영향은 Conceptual Knowledge를 통해 어느 정도 작용하는가? 즉, Integrated Instruction을 받은 학생들이 Conceptual Knowledge Test에서 더 높은 점수를 받는 경향이 있고, Conceptual Knowledge Test에서 더 높은 점수를 받은 학생들이 Transfer Test에서 더 나은 성적을 거두는 경향이 있는가?)

이 질문에 답하기 위해 두 개의 Linear Regression Models(선형 회귀 모델)을 사용합니다. 첫 번째 모델은 Design Strategy(설계 전략, s), Mediator(매개 변수, m) 및 하나 이상의 추가 Control Variables(통제 변수, c)를 사용하여 Outcome(결과, Y)을 예측합니다. 두 번째 모델은 Design Strategy(s)와 Control Variables(c)를 사용하여 Mediator(m)를 예측합니다.

Mediation Analyses는 Total Effect(총 효과), Indirect Effect(간접 효과) 및 Direct Effect(직접 효과)의 세 가지 효과를 산출합니다. Indirect Effect는 Design Strategy가 Mediator를 통해 Outcome에 미치는 효과이며, Mediation Analyses에서 가장 중요한 효과입니다. Total Effect는 Strategy의 일반적인 효과에 대한 지지를 제공하고 (what knowledge), Indirect Effect는 효과의 가설적 메커니즘에 대한 지지를 제공합니다 (why knowledge).

Cheung과 동료 연구진은 유의미한 긍정적 Indirect Effect를 보고했습니다. 이는 Integrated Instruction이 Conceptual Knowledge Score에 긍정적인 영향을 미치고, 이는 다시 Retention GRS Score(보존 GRS 점수)에 긍정적인 영향을 미친다는 것을 시사합니다. 이러한 매개된 효과는 Conceptual Coherence 이론에 근거한 그들의 예측과 일치했습니다.

Mediation Analyses를 수행할 때 Confounding(교란) 문제를 고려해야 합니다. Confounder(교란 변수)는 두 변수에 모두 영향을 미치는 변수입니다. Randomization(무작위 배정)은 Independent Variable과 Mediator Variable 간의 Confounding 위험을 제거하지만, Mediator-Outcome Confounding(매개 변수-결과 변수 교란)은 해결하지 못합니다. Mediator-Outcome Confounders는 Mediator와 Outcome 모두와 관련된 변수이며, 통제하지 않으면 Direct 및 Indirect Effects의 추정치를 편향시킬 수 있습니다.

• 핵심 문장 4: "While randomization eliminates the risk of confounding between the independent variable (e.g., exposure to a design strategy) and the mediator variable, it does not address mediator-outcome confounding".
  • (번역: Randomization은 Independent Variable(예: Design Strategy에 대한 노출)과 Mediator Variable 간의 Confounding 위험을 제거하지만, Mediator-Outcome Confounding은 해결하지 못합니다.)

Mediator-Outcome Confounding을 해결하기 위해 연구자들은 잠재적 Confounders를 식별하고 연구 중에 측정 한 다음 분석에서 조정할 수 있습니다. Cheung과 동료 연구진은 잠재적인 Mediator-Outcome Confounders를 조정하지 않았지만, Conceptual Knowledge와 GRS Score 모두에 영향을 미칠 수 있는 학생들의 이전 지식과 같은 변수를 조정할 수 있었습니다.

Mediation Analyses의 한계점으로는 Mediator-Outcome Confounding으로 인해 Indirect Effect에 대한 편향된 추정치를 얻을 위험이 있다는 점입니다. 또한, 유의미한 Indirect Effect를 감지하는 데 필요한 Sample Size(표본 크기)가 단순 주효과를 감지하는 데 필요한 Sample Size보다 클 수 있습니다.

• 핵심 문장 5: "The danger of drawing biased estimates about the indirect effect due to mediator-outcome confounding is one limitation of mediation analyses".
  • (번역: Mediator-Outcome Confounding으로 인해 Indirect Effect에 대한 편향된 추정치를 얻을 위험이 있다는 것이 Mediation Analyses의 한계점 중 하나입니다.)

결론적으로, Mediation Analyses는 Design Strategy가 학습 결과에 미치는 메커니즘을 밝히는 데 유용한 도구이지만, Confounding 문제와 Sample Size 요구 사항을 신중하게 고려해야 합니다.

이 파트에서는 Experimental Comparison Studies가 교육자들을 위한 what knowledge와 why knowledge를 어떻게 생성할 수 있는지에 대해 구체적으로 논의하며, 그 방법 중 하나로 Moderation Analyses(조절 분석)를 소개합니다. Why knowledge는 Instructional Design이 학습 결과에 영향을 미치는 메커니즘과 이러한 메커니즘에 영향을 미치는 상황적 요인에 대한 명확성을 요구합니다.

Moderation Analyses는 Design Strategy의 효과가 Outcome에 미치는 영향이 제3의 Moderating Variable(조절 변수)의 수준에 따라 어떻게 달라지는지, 즉 Design Strategy의 효과가 어떤 조건에서 더 크거나 작은지를 분석하는 방법입니다. Mediating Variable은 교육적 Intervention이 진행되는 동안 측정되지만, Moderator Variable은 일반적으로 Intervention 전에 측정됩니다.

• 핵심 문장 1: "Moderation analyses allow researchers to answer the question: to what extent does a design strategy’s effect on an outcome depend on the level of a third, moderating variable?".
  • (번역: Moderation Analyses는 연구자들이 다음과 같은 질문에 답할 수 있게 합니다. Design Strategy의 효과가 Outcome에 미치는 영향이 제3의 Moderating Variable의 수준에 따라 어느 정도 달라지는가?)

예를 들어, Self-Explanation Prompts가 의대생의 Transfer Test Performance(전이 시험 성적)에 미치는 영향이 그들의 Prior Domain Knowledge(사전 지식 수준)에 따라 어떻게 달라지는지 분석할 수 있습니다. 즉, 사전 지식이 높은 학생들에게는 Self-Explanation Prompts가 더 효과적이고, 사전 지식이 낮은 학생들에게는 덜 효과적인지를 확인하는 것입니다.

Gavarkovs와 동료 연구진은 Life Goal Framing(삶의 목표 프레이밍)이라는 Instructional Design Strategy가 의대생의 E-Learning Module 학습에 미치는 영향을 조사했습니다. Life Goal Framing은 학생들이 제시된 정보를 학습하는 것이 의사로서 자신이 되고 싶은 모습과 일치하는 방식으로 환자를 돌보는 데 어떻게 도움이 되는지 생각하도록 유도하는 것입니다. 연구진은 Control Theory(통제 이론)에 근거하여 Life Goal Framing이 학생들의 Motivation(동기)에 미치는 영향이 그들의 Confidence(자신감)에 따라 달라질 것이라고 예측했습니다. 즉, 학습 내용에 대한 자신감이 높은 학생들은 Life Goal Framing을 동기 부여가 되는 것으로 경험하고, 자신감이 낮은 학생들은 동기 저하가 되는 것으로 경험할 것이라고 예측했습니다. Moderation Analyses는 이러한 예측을 뒷받침했습니다.

• 핵심 문장 2: "Life goal framing involves prompting students to consider how learning the presented information (e.g., the physiology of weight loss) prepares them to provide care in a manner consistent with who they want to be as a physician".
  • (번역: Life Goal Framing은 학생들이 제시된 정보(예: 체중 감량의 생리학)를 학습하는 것이 의사로서 자신이 되고 싶은 모습과 일치하는 방식으로 환자를 돌보는 데 어떻게 도움이 되는지 생각하도록 유도하는 것을 포함합니다.)

Moderation Analyses를 실제로 어떻게 활용할 수 있는지 더 자세히 알아보기 위해, Gavarkovs와 동료 연구진의 연구 디자인을 예시로 들어보겠습니다. 이 연구는 Two-Arm, Individually Randomized Experiment(두 그룹으로 나누어 개별적으로 무작위 배정하는 실험)으로, Instructional Condition(Instruction 조건, 이진 변수)이 Independent Variable(독립 변수)이고, Confidence(자신감, 연속 변수)가 Moderating Variable(조절 변수)입니다.

연구에서 의대생들은 Life Goal Framing Prompt(프롬프트 조건)가 있는 E-Learning Module 또는 프롬프트가 없는 E-Learning Module(프롬프트 없음 조건)을 받도록 무작위 배정되었습니다. Moderator(조절 변수)는 제시된 자료를 학습할 수 있는 학생들의 자신감을 평가하는 Perceived Competence for Learning Scale (PCLS)(학습 척도에 대한 인지된 능력) 점수였습니다. Outcome(결과 변수)은 Self-Regulation Questionnaire—Academic (SRQ-A)(자기 조절 설문지 - 학업)의 Autonomous Motivation(자율 동기 부여) 하위 척도 점수로, E-Learning Module 동안의 동기를 평가했습니다.

이 연구에서 Moderation Analyses를 통해 다음과 같은 질문에 답하고자 했습니다:

• 핵심 문장 3: "To what extent does the effect of life goal framing on autonomous motivation depend on confidence?".
  • (번역: Life Goal Framing이 자율 동기 부여에 미치는 영향은 자신감에 따라 어느 정도 달라지는가?)

이 질문에 답하기 위해 하나의 Linear Regression Model(선형 회귀 모델)을 사용합니다. 이 모델은 Design Strategy(설계 전략, s), Moderator(조절 변수, m) 및 하나 이상의 추가 Control Variables(통제 변수, c)를 사용하여 Outcome(결과, Y)을 예측합니다.

Moderation Analyses는 두 가지 주요 효과를 산출합니다. 첫째, β1은 Moderator의 값이 0일 때 조건의 추정 효과입니다. Moderator를 centering하면, β1은 표본에서 Moderator의 평균 값에서의 조건의 추정 효과로 해석될 수 있습니다. 둘째, β3은 Interaction Effect(상호 작용 효과)로, Moderator 값의 1점 변화와 관련된 Outcome에 대한 조건 효과의 차이입니다.

Gavarkovs와 동료 연구진은 유의미한 긍정적 Interaction Effect를 보고했습니다. 이는 자신감이 높은 학생들에게는 프롬프트가 자율 동기 부여에 더 긍정적인 영향을 미치고, 자신감이 낮은 학생들에게는 더 부정적인 영향을 미친다는 것을 나타냅니다.

Moderation Analyses를 수행할 때 Confounding(교란) 문제를 고려해야 합니다. Randomization(무작위 배정)은 조건-조절 변수 교란을 해결하지만, 조절 변수-결과 변수 교란은 해결하지 못합니다. 따라서 연구자들은 Interaction Effect에 대한 인과적 주장을 하기 위해 조절 변수-결과 변수 교란을 통제하기 위한 추가 전략을 고려해야 합니다.

• 핵심 문장 4: "While randomization addresses condition-moderator confounding, it does not address moderator-outcome confounding".
  • (번역: Randomization은 조건-조절 변수 교란을 해결하지만, 조절 변수-결과 변수 교란은 해결하지 못합니다.)

Moderation Analyses의 한계점으로는 조절 변수-결과 변수 교란으로 인해 Interaction Effect에 대한 편향된 추정치를 얻을 위험이 있다는 점입니다. 또한, 유의미한 Interaction Effect를 감지하는 데 필요한 Sample Size(표본 크기)가 단순 주효과를 감지하는 데 필요한 Sample Size보다 클 수 있습니다.

결론적으로, Moderation Analyses는 Design Strategy의 효과가 어떤 조건에서 더 크거나 작은지를 밝히는 데 유용한 도구이지만, Confounding 문제와 Sample Size 요구 사항을 신중하게 고려해야 합니다. Moderation Analyses는 특정 전략이 누구에게 가장 효과적인지 식별하는 데 유용합니다.

The key differences between mediation and moderation analyses are summarized in Table 1.

Moving forward 섹션에서는 연구자들의 기술을 업데이트하고 학습 이론에 기반한 실험 비교 연구를 수행하는 방법에 대해 설명합니다. 이 섹션에서는 교육 설계 연구의 발전을 위한 두 가지 주요 과제와 그 해결 방안을 제시합니다.

1. 연구 기술 업데이트의 필요성:
   • 문제점: 보건 전문 교육(HPE) 분야의 실험 비교 연구에서 mediation 및 moderation 분석이 드물게 사용됩니다.
   • 원인: 연구자들이 이러한 분석을 효과적으로 사용하기 위한 전문적인 훈련과 지속적인 전문성 개발이 부족하기 때문입니다.
   • 해결 방안:
     • 연구자 개인과 소속 기관 모두 연구 방법 학습에 대한 의지를 장려해야 합니다.
     • 시간 보장, 교육 책임 부여, 수상 구조 등을 통해 연구 방법 학습을 장려할 수 있습니다.
2. 학습 이론 기반 연구의 중요성:
   • 문제점: HPE 연구자들이 연구 설계를 위해 이론을 사용하는지 여부와 방법에 큰 차이가 있습니다.
   • 해결 방안:
     • 연구자들은 학습 이론에 대한 깊이 있는 지식을 습득해야 합니다.
     • 학습 이론은 실험 연구에서 측정할 mediating 및 moderating 변수를 식별하는 데 도움을 줄 수 있습니다.
     • Cheung 등의 연구에서 conceptual coherence 이론을 사용한 예시와 Gavarkovs 등의 연구에서 control theory를 사용한 예시를 통해 학습 이론의 가치를 강조합니다.
     • 선호하는 이론을 결정하고 활용하는 것은 연구자가 연구에서 더 많은 정보를 얻고 결론을 도출하는 데 도움이 됩니다.

결론적으로, 다양한 교육 요구와 진화하는 기술 환경 속에서 교육자들은 학습자의 요구를 충족하는 유연한 교육 설계를 개발하고 유지할 수 있는 지식과 역량을 갖추어야 합니다. 이를 위해 연구자들은 통계적 mediation 및 moderation 분석을 연구에 통합하여 교육 설계 전략이 효과적인 이유에 대한 증거를 생성해야 합니다. 이러한 분석을 사용하려면 연구자들이 새로운 기술을 개발하고 통계 전문가와 협력해야 하지만, 그 결과는 교육자들에게 더 풍부한 개념적 지식 기반을 제공할 것입니다.

Gavarkovs, A. G., Kusurkar, R. A., Kulasegaram, K., & Brydges, R. (2024). Going beyond the comparison: toward experimental instructional design research with impact. Advances in Health Sciences Education, 1-14.