Beyond the Lecture: A Delphi Study of In-Person and Virtual Active Learning Techniques in Didactic Continuing Education
제목: 🎤 "그냥 강의만 듣는 건 지루해!" 보수교육(CE)을 깨우는 능동적 학습 기법들
안녕하세요! 오늘은 교육자, 특히 의료계나 전문직 보수교육(Continuing Education, CE)을 담당하시는 분들에게 아주 흥미로운 연구 결과를 소개해 드리려고 해요. 다들 공감하시겠지만, '그랜드 라운드(Grand Rounds)' 같은 대규모 강의는 준비하기 편하고 많은 정보를 전달할 수 있어서 여전히 많이 쓰이고 있죠. 하지만 솔직히... 그냥 앉아서 듣기만 하는 건 졸리고 지루하잖아요? 😴
그래서 '능동적 학습(Active Learning)'이 중요한데, 과연 이미 다 아는 '전문가 학습자(Expert Learners)'들이 모인 대규모 강의에서도 이게 통할까요? 그리고 요즘 같은 온/오프라인 하이브리드 시대에 줌(Zoom) 같은 가상 환경에서도 가능할까요?
이 궁금증을 해결하기 위해 전문가와 학습자 패널이 모여 머리를 맞댄 델파이 연구(Delphi Study) 결과를 정리해 봤습니다.
1. 왜 이 연구를 했을까요? 🤔
초보자들에게 능동적 학습이 좋다는 건 다들 알지만, 이미 현업에 있는 전문가들에게는 어떤 기법이 맞는지 잘 알려지지 않았어요. 연구진은 이렇게 말합니다.
"이 격차를 해소하는 것은 교육자들이 대규모 그룹 CE를 위한 더 효과적인 주입식 교육을 개발하는 데 도움을 줄 수 있습니다." (Addressing this gap can help educators develop more effective didactic education for large-group CE.)
2. 어떤 기법들이 '합격점'을 받았나요? ✅
전문가와 실제 참여자 모두가 "이건 괜찮다(적절성)", "할 만하다(실행 가능성)", "참여하고 싶다"고 입을 모은 Best 기법들은 다음과 같습니다. (대면과 온라인 모두 OK!)
- 청중 반응 (Audience Response): 투표 기능 등을 써서 참여 유도하기 📊
- 증례 토의/연구 (Case Discussion/Study): 케이스를 보고 내 접근법 공유하기
- 지식 확인 (Knowledge Check): 점수 없는 퀴즈로 내 상태 점검하기
- 가장 혼란스러운 점 (Muddiest Point): 강의 후 가장 이해 안 된 부분 적어내기
- 질의응답 (Question & Answer): 이건 기본 중의 기본! 🙋♀️
- 소그룹 토의 (Small Group Discussion): 잠깐 옆 사람과, 혹은 소회의실에서 토론하기
놀라운 점은 우리가 대면(In-person) 용이라고 생각했던 것들이 온라인에서도 충분히 통한다는 거였어요.
"대면 학습을 위해 기술된 기법들은 대체로 가상 환경에서도 적절하고, 실행 가능하며, 참여 가능성이 높은 것으로 간주되었습니다." (Techniques described for in-person learning were largely also deemed appropriate, feasible, and with high likelihood for engagement in virtual settings.)
3. 전문가와 학습자의 동상이몽? 🙅♂️
흥미로운 건 전문가(강사/기획자)와 학습자(청중)의 생각이 달랐던 부분이에요.
- 전문가들은 '1:1 멘토링'이나 '복잡한 피드백'이 필요한 기법(예: 시험 문항 작성하기)은 대규모 강의에서 현실적으로 힘들다고 봐서 점수를 낮게 줬어요.
- 반면, 학습자(청중)들은 '공개적으로 망신당할 수 있거나', '너무 경쟁적인' 분위기를 만드는 기법을 싫어했어요. 그냥 강의 듣으러 왔는데 갑자기 시키면 부담스럽잖아요? 😅
"참석자들은 대규모 그룹에서 참여하기 불편하다고 느끼거나 경쟁적인 환경을 조성하는 기법들을 낮게 평가했습니다." (...attendees rated poorly techniques with which they felt uncomfortable engaging in large groups or that created a competitive environment.)
4. 결론: 어떻게 적용하면 좋을까요? 💡
보수교육(CE)을 듣는 사람들은 완전히 새로운 걸 배우러 오는 초보자가 아니에요. 이미 알고 있는 지식을 업데이트하러 오는 전문가들이죠.
"우리의 결과는 학습자들이 종종 새로운 개념을 배우기보다는 기존 지식을 업데이트하는 대규모 그룹 주입식 CE에서 기법을 선택하기 위한 가이드를 제공합니다." (Our results provide a guide for selecting techniques for use in large-group didactic CE, where learners are often updating existing knowledge rather than learning new concepts.)
📌 요약하자면: 대규모 강의나 온라인 세미나를 기획 중이라면, 거창한 활동보다는 간단한 투표(Audience Response), 짧은 케이스 토의, 익명 질의응답 같은 가벼운 '능동적 학습 기법'부터 섞어보세요. 학습자들의 부담은 줄이면서도 훨씬 생동감 넘치는 시간이 될 거예요!
능동적 학습 기법(Active learning techniques)은 학습자(learners)를 고차원적 사고 과제(higher order thinking tasks)에 참여시킴(engaging)으로써 주입식 교육(didactic education)을 강화(enhance)할 수 있다. 그러나 대규모 그룹(large-group) 보수교육(continuing education, CE) 환경(settings)에서는 이러한 기법이 드물게 사용된다(infrequently used). 능동적 학습(active learning)을 통합(incorporating)하는 것은 초심자 학습자(novice learners)에게 매우 중요(crucial)하지만, 전문가 학습자(expert learners)를 위해 적절한 기법(appropriate techniques)을 선택(selecting)하는 것에 대해서는 잘 알려지지 않았다. 이러한 격차를 해소하는 것(Addressing this gap)은 교육자들(educators)이 대규모 그룹 CE를 위한 더 효과적인 주입식 교육(more effective didactic education)을 개발하는 데 도움을 줄 수 있다.
구성주의 이론(constructivist theory)에 따르면, 주입식 교육(didactics)은 사전 지식(prior knowledge)을 바탕으로 구축(building on)하고, 학습자의 문제 해결(learner problem solving)을 포함하며(involving), 사회적 교류(social exchanges)를 장려함(encouraging)으로써 강화될 수 있다. 이러한 기법들은 학습을 교사 중심(teacher centered)에서 학습자 중심(learner centered)으로 전환(shift)시키며, 지식 유지(knowledge retention)와 고차원적 사고(higher order thinking)를 돕는다(aiding). 능동적 학습 기법은 새로운 자료를 조직화(organizing new material)하고 저장된 정보를 인출(retrieving stored information)하는 데 도움이 필요한 초심자 학습자들에게 유익하다(beneficial). 경험과 전문성(experience and expertise)을 갖춘 CE 학습자들은 새로운 지식을 더 효율적으로 통합(incorporate new knowledge more efficiently)하고 더 적은 인지적 요구(less cognitive demand)로 사전 정보를 인출할 수 있다. 따라서, 경험이 풍부한 학습자(experienced learners)에게 어떤 능동적 학습 기법이 가장 유용한지(most useful)는 알려지지 않았다(unknown).
그랜드 라운드(Grand Rounds)와 같은 대규모 그룹 CE 세션은 일반적으로 능동적 학습 기법을 거의 통합하지 않는(rarely incorporate) 1시간짜리 주입식 강의(hour-long didactics)이다. 주입식 강의로부터 전환해야 한다는 요구(calls for a shift away)에도 불구하고, 이 형식은 널리 사용되고 있는데(remains widely used),
- 이는 세션 준비가 더 쉽고(easier to prepare),
- 짧은 시간 안에 많은 양의 정보를 다룰 수 있으며(cover large amounts of information),
- 학습자들이 선호하기(preferred by learners) 때문이다.
그럼에도 불구하고(Nevertheless), 주입식 CE는 능동적 학습 기법을 통합함으로써 강화될 수 있다. 이 연구의 목적(aim of this study)은 대면(in-person) 및 가상 강의(virtual lectures) 중 다양한 능동적 학습 기법의 적절성(appropriateness), 실행 가능성(feasibility), 그리고 참여 가능성(likelihood to engage)에 대해 델파이 기법(Delphi process)을 사용하여 전문가(experts)와 학습자(learners) 간의 합의(consensus)를 도출(achieve)하는 것이었다. 이 정보는 기획자들(planners)이 필요시 대규모 그룹 CE 주입식 강의를 위한 능동적 학습 기법을 선택하는 데 도움을 줄 수 있다(aid).
방법 (METHODS)
우리는 다음의 키워드(keywords)를 사용하여 ERIC 및 PubMed 데이터베이스에서 능동적 학습 기법에 대한 문헌을 검색(searched the literature)했다:
- "active learning(능동적 학습)", "continuing education(보수교육)", "medical education(의학교육)", "interprofessional education(전문직 간 교육)", "interprofessional(전문직 간)", "continuing education(지속적 교육)", "adult education(성인 교육)", "adult learning(성인 학습)", "instructional design(교수 설계)", "curriculum design(교육과정 설계)", 및 "design(설계)".
패널 모집 (Panelist Recruitment)
- 전문가 패널(Expert panelists)은 CE 활동을 계획(planned), 실행(executed), 또는 연구(studied)한 경험이 있으며, 출판물(publications)이나 발표(presentations)로 입증된 능동적 학습에 대한 전문성(expertise)을 갖추고 있었다. 학술 의학 보수교육 학회(Society of Academic Continuing Medical Education), 학술 소아과 학회(Academic Pediatric Association), 보건 전문직 보수교육 연합(Alliance for Continuing Education in Health Professions) 등의 기관에서 후보자(nominees)를 제공받았다. 또한 주요 출판물의 저자들(authors of key publications)을 초청하고, 의사와 비의사가 고르게 섞인(even mix) 최소 10명의 패널을 등록할 때까지 눈덩이 표집법(snowball sampling)을 사용했다.
- 참석자 패널(attendee panel)은 지난 6개월 동안 우리 대학 병원에서 열린 소아과 그랜드 라운드(Pediatric Grand Rounds) 세션에 최소 5회 참석(대면 또는 가상)하고 학점(credit)을 청구한 임상의(clinicians) 또는 연구자(researchers)로 구성되었다. 전문가 패널과 마찬가지로, 우리는 의사와 비의사의 혼합을 목표로 하여 최소 10명의 패널을 모집했다.
델파이 과정 (Delphi Process)
문헌 고찰(literature review)에서 식별된 능동적 학습 기법들은 두 패널 모두에 의해 5점 리커트 척도(5-point Likert scale)(1 = 낮음 ~ 5 = 높음)를 사용하여 평가(rated)되었다. 보충 디지털 콘텐츠 1(Supplemental Digital Content 1, 부록 1 참조)에는 패널들에게 발송된 설문지(questionnaire)가 포함되어 있으며, 여기에는 문헌 요약(literature summary), 인구통계학적 질문(demographic questions), 그리고 평가할 각 기법의 정의(definitions)가 포함되어 있다. 각 기법은 다섯 가지 평가를 받았다:
- 전문가들은 CE 대규모 그룹 주입식 강의에 대한 각 기법의 적절성(appropriateness)과 대면 또는 가상 발표에 대한 실행 가능성(feasibility)을 평가하여 세 가지 점수를 부여했다.
- 참석자 패널로부터는 대면 또는 가상 환경에서 참여할 가능성(likelihood to engage)을 평가한 두 가지 점수가 나왔다.
참가자들은 기법을 평가할 수 없는 경우 "익숙하지 않음(not familiar)"을 선택할 수 있었으며, 피드백을 제공하거나 포함할 추가 기법을 제안(suggest additional techniques)할 수 있었다. 패널들은 1차 라운드(first round)에서 모든 기법을 평가했으며, 합의에 도달하지 못한(did not reach consensus) 기법들은 2차 라운드(second round) 평가를 위해 다시 발송되었다. 다른 델파이 연구들과 일관되게(Consistent with other Delphi studies), 우리는 합의를 패널의 75%가 4점 또는 5점(긍정적 합의, positive consensus) 혹은 1점 또는 2점(부정적 합의, negative consensus)으로 평가한 경우로 정의했다.
합의를 유도하기 위해(To drive consensus), 패널들은 2차 라운드 평가 전에 자신의 1차 라운드 점수와 다른 참가자들의 평가 분포(distributions of ratings)를 받았다. 두 패널 모두에서 긍정적 합의를 충족한 기법들이 최종적으로 높게 평가된 기법 목록(final list of highly rated techniques)을 구성했다. 데이터는 신시내티 대학(University of Cincinnati)에서 호스팅하는 안전한 웹 기반 전자 데이터 수집 플랫폼인 Research Electronic Data Capture를 사용하여 수집 및 관리되었다. 이 연구는 현지 임상시험심사위원회(institutional review board)에 의해 관련 규정 및 기관 정책에 따라 심의 면제(exempt from review)로 결정되었다. 설문지 작성(Completion of the questionnaire)은 연구 참여에 대한 동의(consent to participate)를 나타냈다.
결과 (RESULTS)
우리의 문헌 고찰은 대면 환경을 위해 기술되었지만(described for in-person settings) 가상 동기식 학습(virtual synchronous learning)에 맞게 조정 가능한(adaptable) 29가지의 능동적 학습 기법을 식별했다.
- 전문가들은 박사(PhDs) 4명, 의사(MDs) 4명, 간호사(RN) 1명, CME 전문가 1명을 포함했다. 보충 디지털 콘텐츠 1(부록 2 참조)은 그들의 전문 분야(areas of expertise)에 대한 더 많은 정보를 제공한다. 모두 CE 활동 개발 경험이 풍부했으며(experienced in developing), 90%가 의학교육 관련 학술 활동(medical education scholarship)을 출판하거나 발표한 경험이 있었다. 모든 전문가(n = 10)가 1차 평가를 완료했고, 80%(n = 8)가 2차 평가를 완료했다.
- 우리는 12명의 참석자 패널을 모집했는데, 의사 7명, 그리고 전문 간호사(nurse practitioner), 간호사, 공중보건 전문가, 사회복지사, 임상 연구 전문가가 각각 1명씩이었다. 12명 모두 1차 평가를 완료했고, 11명(92%)이 2차 평가를 완료했다.
두 라운드 후, 전문가들은 23개(79%) 기법의 적절성(appropriateness)에 대해 긍정적 합의에 도달했다. 그들은 대면 사용(in-person use)을 위한 27개(93%) 기법과 가상 사용(virtual use)을 위한 23개(79%) 기법의 실행 가능성(feasibility)에 대해 긍정적 합의에 도달했다. 시험 문항 작성(Writing Test Items)과 가르침을 통한 학습(Learning from Teaching)은 적절성에 대해 부정적 합의(negative consensus)에 도달했다. 한 패널은 추가 기법으로 변화 다짐(Commitment to Change)을 포함할 것을 제안했으며, 이는 2차 라운드에서 전문가 패널에 의해서만 평가되었다. 두 라운드의 평가 후, 참석자들은 대면에서 18개(62%) 기법, 가상에서 16개(55%) 기법에 대해 참여할 가능성(likelihood to engage)에 긍정적 합의를 보였다. 참석자 패널에서 부정적 합의에 도달한 기법은 없었다.
표 1(Table 1)은 두 패널에 걸친 30가지 기법 모두에 대한 합의 등급(consensus ratings)을 요약한다.
- 13개(43%)의 능동적 학습 기법이 적절성, 실행 가능성, 그리고 가상 및 대면 모두에서의 참여 가능성 등 모든 척도(all measures)에서 긍정적 합의에 도달했다.
- 3개(10%) 기법은 대면 사용에 대해, 2개(7%) 기법은 가상 사용에 대해 두 패널 모두에서 긍정적 합의에 도달했다.
- 10개(33%) 기법은 패널 간 합의에 도달하지 못했다(did not reach consensus).
합의에 도달하지 못한 기법에 대한 패널들의 의견(Comments)은 대규모 그룹이나 가상 환경에서 어떻게 작동할지에 대한 불확실성(uncertainty), 학부 또는 대학원 교육에 더 적합한지에 대한 불확실성, 대규모 그룹 환경에서 참여하는 것에 대한 불편함(discomfort), 그리고 경쟁적인 환경(competitive environment)에 있고 싶지 않음 등을 기술했다.
표 1. - 능동적 학습 기법 설명 및 패널 평가 (Table 1. - Active Learning Techniques Descriptions and Panelist Ratings)
| 능동적 학습 기법 (Active Learning Technique) | 설명 (Description) | 전문가 패널 평가 (Expert Panel Rating) | 참석자 패널 평가 (Attendee Panel Rating) |
| 모든 척도에서 합의된 기법 (Techniques with consensus on all measures) | |||
| 청중 반응 (Audience response) | - 발표자와 학습자 간의 상호작용을 촉진(facilitate interactivity)하는 데 사용됨 - 학습자들은 도발적인 질문(provocative questions)에 대한 답변을 선택함 - 응답은 구두로 또는 서면으로 공유될 수 있음 |
A FP FV | P V |
| 버즈 그룹 (Buzz group) | - 대규모 그룹이 특정 질문에 응답하거나 매우 정밀한 정보(very precise information)를 찾기 위해 약 3명의 참가자로 나뉨 - 방 안의 대화 소리로 인해 "윙윙거리는 소리(Buzz)"가 만들어짐 |
A FP FV | P V |
| 증례 토의/연구 (Case discussion/Study) | - 학습자들은 다양한 단계에서 증례(case)에 어떻게 접근할지 공유함 - 증례 결과(Case outcome)가 공유됨 |
A FP FV | P V |
| 도입 질문 (Introductory question) | - 발표 전에 참가자들에게 증례나 그들이 가진 세 가지 질문을 적어보도록 요청함 | A FP FV | P V |
| 지식 확인 (Knowledge check) | - 학습을 돕기 위해 질문이 제기됨(posed). 피드백이 제공되지만, 점수가 매겨지지 않는다는(not scored) 점에서 퀴즈와 다름 | A FP FV | P V |
| 오개념/선입견 확인 (Misconception/preconception check) | - 학습자의 사전 지식을 평가하고 추가 학습을 방해하거나 차단(hinder or block)할 수 있는 사전 지식이나 신념을 드러내는(uncovering) 데 초점을 맞춤 - 교육 전 설문지(pre-education questionnaire)를 사용하여 주제에 대한 사전 아이디어와 신념에 대한 정보를 이끌어낼(elicit) 수 있음 - 내용을 발표하기 전에 아는 것을 모두 적어볼 기회를 제공할 수도 있음 |
A FP FV | P V |
| 가장 혼란스러운 점 (Muddiest point) | - 학습자들은 수업, 강의 또는 읽기 후에 가장 어렵거나 혼란스러운 부분(most difficult or confusing part)을 적어보도록 요청받음 | A FP FV | P V |
| 문제 중심 학습 (Problem-based learning, PBL) | - 개방형 문제(open-ended problem)를 해결하는 과정을 통해 학습이 이루어짐 - 학습자가 향후 실무(future practice)에서 사용될 기술을 개발하도록 허용함 - 비판적 평가(critical appraisal), 문헌 검색(literature retrieval)을 강화하고 지속적인 팀 학습(ongoing team learning)을 장려함 |
A FP FV | P V |
| 찬반 격자 (Pro-con grid) | - 학습자들은 이슈, 절차, 행동 또는 결정의 장점과 단점(advantages and disadvantages)을 고려함 - 상호작용을 요구하고 아이디어 공유를 장려함으로써 깊은 사고(deep thought)를 촉진함 |
A FP FV | P V |
| 질의응답 (Question & answer) | - 학습자들은 발표 도중이나 후에 발표자나 동료에게 질문하고 답변을 받음 | A FP FV | P V |
| 성찰 (Reflection) | - 발표자가 생각을 자극하는 질문(thought-provoking questions)을 함 - 학습자가 생성한 게시물(learner-generated postings)을 장려함 - 학습자에게 배운 내용을 요약(summarize learning)하도록 요청함 |
A FP FV | P V |
| 소그룹 토의 (Small group discussions) | - 발표자가 그룹 토의를 위한 주제나 아이디어를 제공하고 학습자들이 아이디어를 기여함(contribute ideas) | A FP FV | P V |
| 소규모 지면 증례 (Small paper case) | - 진단이나 관리를 위한 프롬프트(prompts for diagnosis or management)가 있거나 학습자가 완성하도록 빈칸(blank spaces)을 남겨둔 증례 | A FP FV | P V |
| 대면 사용에 대해 합의된 기법 (Techniques with consensus for in-person use) | |||
| 정의적 특징 행렬 (Defining features matrix) | - 학습자들은 관련되거나 유사한 항목 또는 개념을 구별하고 분류함(distinguish and categorize) | A FP | P |
| 시뮬레이션 (Simulation) | - 시나리오의 일부로 역할 연기자(role-players)가 학습자와 함께 즉흥 연기(improvise)를 하는 경험적 학습 방법(Experiential learning method) | A FP FV | P |
| 탁상 훈련 (Table-top-exercise) | - 학습자들은 전개되는 증례(evolving case)의 다양한 설정 지점에서 다음 단계(next steps)를 적음 - 각 설정 지점 후에 각 단계의 모범 사례(Best practices)가 논의되거나 공유됨 |
A FP FV | P |
| 가상 사용에 대해 합의된 기법 (Techniques with consensus for virtual use) | |||
| 게임 기반 학습 (Game-based learning, GBL) | - 기억(retention)과 적용(application)을 돕기 위해 주제 내용(Subject matter)과 게임플레이가 통합됨 | A FP FV | V |
| 서면 응답 (Written responses) | - 학습자들은 배운 내용과 유지하거나 변경할 계획인 관행(practices they plan to maintain or change)을 적음 - 진행자(Facilitator)가 토론과 다음 단계를 요약함 |
A FV FP | V |
| 패널 간 합의가 없는 기법 (Techniques without consensus between panels) | |||
| 변화 다짐 (Commitment to change)* | - 참가자들은 학습 활동으로 인한 행동 변화(behavioral change)를 성찰하고 다짐할 시간을 가짐 | A FV FP | — |
| 개념도 작성 (Concept mapping) | - 학습자들은 개념 간의 관계(relationships between concepts)를 묘사하는 다이어그램을 만듦 - 지식을 조직화하고 구조화하는 그래픽 도구 |
A FV FP | — |
| 퀴즈 (Quiz) | - 학습자들은 기준(criteria)에 대비해 성과를 평가함 - 각 질문에 대한 최선의 답(Best answer)이 논의되거나 공유됨 |
A FV FP | — |
| 역할극 (Role play) | - 학습자들은 안전하고 지지적인 환경(safe and supportive environment)에서 1인칭 경험(first-person experience)을 쌓음 | A FP | — |
| 피라미드식 토의 (Pyramiding)† | - 학습자 쌍(pairs)에서 시작하여 4-6명 그룹으로, 최종적으로는 전체 청중(entire audience)이 증례 토의나 유사한 연습에 참여하도록 구축해 나감 | FP | V |
| 생각-짝-나누기 (Think-pair-share) | - 학습자에게 성찰하고(reflect on), 짝과 토론한(discuss with a partner) 다음, 대규모 그룹과 공유(share with the large group)하도록 하는 프롬프트 - 개념을 읽거나 가르치기 전에 사용 가능; 소규모 그룹에서 더 잘 작동함 |
A FP | — |
| 토론 (Debate) | - 학습자들이 상반된 주장(opposing arguments)을 제안하는 토의 | NC | P V |
| 피드백 (Feedback) | - 학습자들은 개선(improvement)의 기초로서 성과에 대한 정보를 받음 | FP | — |
| 직소 모형 (Jigsaw) | - 학습자들이 성공하기 위해 서로 의존하게(dependent on each other) 만드는 교육 조직 방법 - 내용을 그룹으로 나누고 과제를 조각(pieces)으로 나누어 그룹이 (직소) 퍼즐을 완성하도록 조립함 - 그 후 학습자들은 각 주제에 한 명의 구성원이 배정된 그룹으로 나뉨 |
NC | P |
| 3단계 인터뷰 (Three-step interview) | - 학습자들은 3인 1조로 나뉘어 인터뷰어(interviewer), 인터뷰 대상자(interviewee), 또는 보고자/기록자(reporter/note taker)의 역할을 맡음 - 학습자들은 역할을 교대(rotate roles)할 수 있음 |
FP | — |
| 부정적 합의가 있는 기법 (Techniques with negative consensus) | |||
| 가르침을 통한 학습 (Learning from teaching) | - 학습자들은 동료에게 자료를 가르치기 위해 채워야 할 지식 격차(knowledge gaps)를 식별함 - 격차와 식별된 학습에 대한 검토를 바탕으로 멘토가 구조화된 피드백(Structured feedback)을 제공함 |
NA | — |
| 시험 문항 작성 (Writing test items) | - 학습자들은 동료들에 의해 평가되는 시험 문항을 작성함 - 작성 과정 전반에 걸쳐 피드백이 제공됨 |
NA | — |
*이 기법은 평가가 시작된 후에 추가되었으므로 참석자 패널에 의해 평가되지 않음.
†이 기법은 다른 패널들이 "익숙하지 않음"을 선택하거나 응답하지 않았기 때문에 6명 이하의 패널만이 평가를 제공함.
합의에 대한 지정: ---, 합의 없음; A, 적절함(appropriate); NA, 적절하지 않음(not appropriate); FP, 대면 실행 가능(feasible in-person); FV, 가상 실행 가능(feasible virtually); P, 대면 참여 가능성 있음(likely to engage in-person); V, 가상 참여 가능성 있음(likely to engage virtually).
고찰 (DISCUSSION)
우리 연구는 적절성, 실행 가능성, 그리고 CE 학습자의 참여 가능성에 대해 다양한 수준의 동의(varying levels of agreement)를 보인 능동적 학습 기법의 합의 목록(consensus list)을 제공한다. 전문가 패널에서 부정적 합의에 도달한 기법은 거의 없었으며, 참석자 패널에서는 전혀 없었다. 대면 학습을 위해 기술된 기법들은 대체로 가상 환경(virtual settings)에서도 적절하고, 실행 가능하며, 참여 가능성이 높은 것으로 간주되었다(deemed).
주입식 교육에서의 능동적 학습 기법에 대한 이전 연구들(Prior studies)은 초심자(novice) 또는 학부 학습자(undergraduate learners)에 초점을 맞추었으며 동기식 가상 환경(synchronous virtual settings)에서의 사용은 평가하지 않았다. 이 맥락에서 능동적 학습 기법의 초점은 학습자가 추론 기술(reasoning skills)을 구축하고 새로운 지식을 유지(retaining new knowledge)하도록 돕는 것이다. 우리의 결과는 학습자들이 종종 새로운 개념을 배우기보다는 기존 지식을 업데이트(updating existing knowledge)하는 대규모 그룹 주입식 CE에서 기법을 선택하기 위한 가이드(guide)를 제공한다. 많은 기법이 대면 및 동기식 가상 학습 환경 모두에서 사용하기에 높은 평가를 받았지만(highly rated), 우리는 또한 일부 기법들이 패널들에 의해 어느 한쪽 환경에서의 사용이 선호됨(favored)을 발견했다.
CE에서의 능동적 학습 연구들은 소그룹 및 대규모 그룹 토의, 증례 연구 및 토의(case study and discussion), 시뮬레이션, 청중 반응 등 제한된 수의(limited number of) 능동적 학습 기법을 사용해 왔다. 보수 의학 교육(continuing medical education, CME) 부서 리더들에 대한 연구는 프로그램에 능동적 학습 기법을 구현하는 데 있어 주요 장벽(major barriers)을 식별했는데, 여기에는 교수 발표자들의 익숙하지 않음(lack of familiarity)과 능동적 학습 기법을 통합하는 데 필요한 준비 시간의 증가에 대한 인식(perceived increase in preparation time)이 포함되었다. 우리의 결과는 미래 연구의 기초(basis for future study)가 되고 교수 개발(faculty development)을 안내할 수 있는 확장된 기법 목록(expanded list of techniques)을 제공한다.
두 패널 모두에서 부정적 합의에 도달한 기법은 없었다.
- 그러나 개별 멘토링(individual mentorship), 피드백, 또는 교육과정에 대한 집중적인 구조(intensive structure)를 요구하는 기법들은 전문가들에 의해 대체로 낮게 평가된(rated poorly) 반면,
- 참석자들은 대규모 그룹에서 참여하기 불편하다고 느끼거나(felt uncomfortable engaging) 경쟁적인 환경을 조성하는(created a competitive environment) 기법들을 낮게 평가했다.
- 참석자들은 또한 어떻게 구현될지에 대한 불확실성이 있거나(uncertainty about how they would be implemented), 주입식 CE 세션 참석 시 수동적인 경험(passive experience)에 대한 기대와 어울리지 않는(incongruous) 것으로 보이는 기법들을 낮게 평가했다.
한계점 (Limitations)
이 연구는 몇 가지 한계점이 있다.
- 첫째, 일부 참가자들은 특정 기법에 대한 익숙함이 부족했다(lacked familiarity). 이를 완화하기 위해(To mitigate this), 우리는 각 능동적 학습 기법을 설명하고 패널들이 평가를 제공하는 대신 "익숙하지 않음"을 표시할 수 있도록 허용했다.
- 둘째, 다양한 관점과 경험(diverse perspectives and experiences)을 가진 참가자들을 모집했지만, 그들이 모든 CE 교육자와 학습자를 대표하지(representative) 않을 수 있다.
- 셋째, 널리 퍼진(prevalent) 능동적 학습 기법을 식별하기 위해 광범위한 문헌 고찰을 수행했지만, 그 결과 목록이 빠짐없지(exhaustive) 않을 수 있다.
- 넷째, 우리 데이터는 가상 대 대면 기법에 대한 낮은 평가를 설명하는 환경 특이적 요인(setting specific factors)을 구별할 수 없었다.
- 마지막으로, 패널들이 도달한 합의는 실제 기법의 성과(actual technique performance)나 효과성을 반영하지 않을 수 있는데, 이는 우리가 현장에서(in situ) 그것들을 관찰하거나 평가하지 않았기 때문이다.
결론 (CONCLUSION)
우리의 확장된 능동적 학습 전략 목록(expanded list of active learning strategies)은 대규모 그룹 주입식 CE에 능동적 학습을 통합하고자 하는(seeking to incorporate) 교육자들에게 지침(guidance)을 제공한다. 미래 연구는 학습자 경험(learner experience)과 학습 성과(learning outcomes) 측정을 통해 대규모 그룹 CE에서 능동적 학습 기법들이 어떻게 수행되는지(how active learning techniques perform) 조사해야 한다.