---

🩺 학생 피드백, 그냥 WBA 채우는 걸까?

– CHAT 이론으로 들여다본 WBA 시스템의 긴장과 변화 이야기

 

요즘 의학교육에서 빠지지 않고 나오는 단어 하나, 바로 WBA (Workplace-Based Assessment) 입니다. 학생이 임상 현장에서 관찰을 받고 피드백을 받는 과정이죠. 이건 분명 좋은 의도를 가진 도구예요. 하지만 막상 현장에서 써보면 "이게 정말 나를 위한 피드백이 맞나?" 싶은 생각이 들 때가 있지 않으셨나요?

 

오늘 소개할 논문은 UCSF(University of California, San Francisco)의 연구팀이 **WBA 도구를 두 해(2019~2020년)에 걸쳐 도입하면서 어떤 긴장(tension)이 생기고, 그게 어떻게 변화했는지를 CHAT(Cultural Historical Activity Theory, 문화역사활동이론)**의 틀로 분석한 연구입니다.

 

"형식은 체크리스트인데, 내용은 형성적 피드백이길 바라는 이 모순!"

 

그 고민을 깊이 파고든 이 연구, 함께 들여다보시죠 🔍

---

1️⃣ 시작은 좋았지만, 현실은 시큰둥 – 배경과 문제의식

CBME (Competency-Based Medical Education) 에선 피드백이 핵심입니다. 단순한 평가가 아니라, 학생의 성장과 학습을 돕는 도구로서의 피드백이죠. 그래서 많은 학교에서 WBA를 활용합니다. 

 

하지만 현실은 이상과 다릅니다.

"Many learners fail to find value in WBAs and interpret feedback differently from how it is intended."
많은 학습자들이 WBA의 가치를 느끼지 못하고, 피드백을 의도와 다르게 해석한다.

 

👩‍⚕️👨‍⚕️ 학생들은 WBA가 피드백이 아닌 평가, 즉 summative assessment로 여겨질 때가 많았고,

👨‍🏫 교수들은 바빠서 형식적인 서술 몇 줄만 쓰고 끝내기 일쑤였죠.

 

그래서 연구팀은 "WBA 도구 자체만 보지 말고, 이걸 사용하는 전체 시스템을 보자!"는 생각을 하게 됩니다. 여기서 등장하는 게 바로 CHAT 이론이에요.

---

2️⃣ CHAT로 보는 피드백 시스템 – 그림 한 장으로 보는 구조 🧩

CHAT는 활동(activity)이 어떤 요소들로 구성되는지를 설명하는 이론이에요. 핵심 구성 요소는 다음과 같습니다:

 

구성 요소	의미
Subject	활동에 참여하는 주체 – 여기선 학생
Tool	활동을 매개하는 도구 – 여기선 WBA 양식
Object	활동의 목적 – 학생의 피드백 받기
Outcome	활동 결과 – 학습, 성장
Rules	규범, 규칙 – WBA는 주 2회 이상 작성해야 함
Community	활동이 일어나는 공동체 – 교수, 전공의, 동료 학생 등
Division of Labor	역할 분담 – 누가 WBA를 작성하는가 (감독자만? 학생도?)

 

연구팀은 이 CHAT 구조를 바탕으로, WBA 시스템에서 어떤 요소들 간의 긴장이 있는지, 그리고 시간이 지나면서 그 긴장이 어떻게 바뀌었는지를 살펴봅니다.

---

3️⃣ 시스템은 이렇게 달라졌어요 – 1년 차 vs. 2년 차 비교 ⚖️

🔹 1년 차 (2019년):

• 도구: 컴퓨터 기반 MedHub
• 작성: 감독자가 직접 작성해야 함
• 긴장: 작성 지연, 내용 부실, 학생은 부담스러움

🔹 2년 차 (2020년):

• 도구: 모바일 기반 Qualtrics, QR 코드로 바로 접근 가능
• 작성: 학생도 직접 작성 가능!
• 변화: 실시간 작성 가능, 부담 분산, 자율성 증가

💡 연구팀은 이렇게 말합니다:

"Shifts in tensions reflected greater coordination among the year 2 system elements to support the intended purpose of WBAs being for formative feedback for learning."
2년 차에는 시스템 요소들 간의 조정이 이루어져, 학습을 위한 형성적 피드백이라는 본래 목적을 더 잘 지원하게 되었다.

---

4️⃣ 어디서 긴장이 생겼을까? 5가지 포인트로 요약 👇

CHAT 요소 간 관계	1년 차의 긴장	2년 차의 개선
Object vs. Object	피드백 목적이 아니라 성적 평가로 오해됨	형성평가 목적에 대한 이해가 향상됨
Tool vs. Object	도구가 복잡해서 피드백 지연 발생	모바일 도구로 실시간 피드백 가능해짐
Division of Labor vs. Object	감독자에게 모든 책임이 집중되어 학생이 부담 느낌	학생도 작성 가능해지며 부담 분산
Rules vs. Object	주당 2회 규정이 체크리스트화, 학습 기회가 아님	학생의 자율성 증가로 규정 인식 개선
Community vs. Object	실습별 피드백 문화 차이로 WBA 활용 어려움	공동체의 참여도 향상, 특히 2년 차에 개선됨

---

5️⃣ 연구팀의 핵심 메시지 💬

이 논문이 가장 강조하는 건 이거예요:

"WBA as a systems-level intervention that must consider interactions among people, technology, and context."
WBA는 사람, 기술, 맥락 간의 상호작용을 함께 고려해야 하는 시스템 수준의 개입이다.

 

즉, 그냥 도구 하나 바꾸는 문제가 아니라,
✔ 누가 쓰는지,
✔ 어떻게 쓰는지,
✔ 그걸 둘러싼 문화는 어떤지…

이 모든 걸 시스템 전체로 봐야 한다는 거죠.

---

6️⃣ 그럼 앞으로 뭘 해야 할까? 🔧

논문은 몇 가지 제안을 해요:

• 도구는 사용자 친화적이고 시간 효율적이어야 해요.
• 학생이 피드백에 적극적으로 참여할 수 있게 설계해야 해요.
• 평가보다는 성장에 초점 맞춘 대화가 이루어지게 문화도 바뀌어야 해요.
• 학생과 감독자 모두에게 피드백의 목적을 교육해야 해요.

그리고 이런 변화를 위해선 단발적 개입이 아니라, 지속적인 시스템 모니터링과 다각도의 시도가 필요하다고 강조하죠.

---

📝 마무리하며

피드백이란 단어는 쉽지만, 그걸 제대로 받고, 주고, 배우는 건 어렵습니다.

이 논문은 우리에게 묻습니다.

"너희 학교의 WBA 시스템은 정말 학생의 학습을 위한 구조로 설계되어 있나요?"

 

우리 학교의 WBA는 어떤가요?
피드백은 살아있는가요, 아니면 형식에 그치고 있나요?

이 논문은 단지 UCSF의 사례를 넘어서,
우리 교육 시스템을 성찰할 거울이 될 수 있습니다.

---

✍ 포스팅이 도움이 되셨다면, 좋아요💗와 댓글💬 부탁드려요!
궁금하신 점이나 함께 토론하고 싶은 주제는 언제든 환영입니다 😊

 

---

역량중심 의학교육(Competency-based medical education, CBME) 에서는 학습자의 성장을 촉진하기 위해 효과적인 피드백 시스템이 필수적이다.¹,² 특히, 저부담(low-stakes) 환경에서 직장 내 직접 관찰(direct observation)을 기반으로 수행되는 직장기반평가(Workplace-based assessment, WBA) 도구는 학습자 개개인에게 시의적절한(individualized, timely) 피드백을 제공할 수 있다.³–⁷ 하지만 많은 의학 학습자들이 실제 임상 환경(clinical learning environment)에서 받는 피드백의 유용성에 대해 만족하지 못하는 것으로 보고되고 있다.⁸,⁹ 다수의 학습자들이 WBA의 가치(value) 를 제대로 이해하지 못하거나, 제공된 피드백을 원래의 의도와 다르게 해석(interpret feedback differently)하는 경우가 많다.¹⁰ 따라서 성공적인 WBA 도구 구현(implementation)과 지속적인 활용을 위한 전략 이 반드시 필요하다.

 

이전 연구들에 따르면 학습자와 지도교수는 WBA에 대해 부정적인 인식을 가지고 있다(negative learner and teacher perceptions).¹⁰–¹⁶ 효과적인 WBA 활용을 방해하는 요인으로는, 

• 도구 사용 목적에 대한 사용자들의 불확실성(user uncertainty)
• 평가 수행을 위한 충분한 시간 부족(insufficient time)
• 평가도구 사용법에 대한 미흡한 훈련(inadequate training)

등이 있다.¹⁰ 더 나아가, 학습자와 지도교수가 WBA를 통해 제공되는 피드백의 목적이 형성평가(formative)인지 총괄평가(summative)인지에 대해 서로 다른 인식을 가지고 있는 경우도 많다(contradicting perceptions).¹¹ 특히, WBA가 형성평가의 목적으로 사용되더라도, 학생들은 피드백이 궁극적으로는 성적이나 평가 결과에 영향을 줄 수 있다고 인식하기도 한다.¹²–¹⁵ 학습자들은 피드백 자체의 중요성을 인식하고 있지만, 실제로 WBA 도구를 사용해 피드백을 받는 행위는 임상 업무(clinical workflows)를 방해하고 부담스럽게 느껴질 수 있다.¹⁶ 이러한 장벽들은 WBA의 유용성(usefulness)에 대한 사용자들의 인식이 교육 환경(educational context)에서의 구체적인 설계와 구현 방식(design and implementation features) 에서 비롯된다는 점을 시사한다.

 

기존 연구에서는 성공적인 WBA 구현에 기여하는 시스템 내의 요소들로서 학습자(subjects), 문화(culture), 도구 설계(tool design) 를 강조했으나, 이 요소들 간의 상호작용(interactions)에 대해서는 거의 고려하지 않았다.¹⁷–¹⁹ 구체적으로는,

• 학습자 중심 연구(learner-centered studies) 에 따르면, 학습자의 개인적인 학습 목표와 연계된 직접 관찰을 통해 WBA 피드백의 효능(efficacy)이 높아진다.¹⁷
• 문화 관련 연구(culture studies) 는 교수진이 자주 피드백을 주고받는 문화를 정상화(normalize frequent feedback)하는 메시지를 줄 때 WBA 도구가 성공적으로 정착할 가능성이 높아지며, 그 결과 실시간 직접 관찰(real-time direct observation)을 통한 피드백의 수용도(acceptance)도 증진된다고 보고한다.⁹,¹²,¹⁸
• 도구 설계 및 구현(tool design and implementation) 연구에서는 평가도구가 서술적 의견(narrative comments)을 생성할 때 수치 점수(numerical scores)를 부여할 때보다 사용자의 수용도가 높고 더 유익한 정보를 제공한다는 점을 확인하였다.¹⁹,²⁰

이러한 요소들을 독립적으로 보는 것이 아니라 하나의 통합적 시스템(system) 으로 보는 것이 평가 프로세스를 개념화(conceptualize)하고 WBA의 구현과 관련된 사람들, 문화, 도구의 복잡한 관계(complex array)를 이해하는 데 더 유용할 수 있다.

이러한 시스템적 관점에서 볼 때, 문화역사활동이론(Cultural Historical Activity Theory, CHAT)은 학습자들에게 피드백을 제공하는 것과 같은 활동(activity)을 도구(tool)가 어떻게 매개(mediate)하는지 살펴보는 시스템 수준(systems-level)의 시각을 제공할 수 있다. CHAT에 따르면 활동 시스템(activity system)은 주체(subjects, 학습자), 도구(tools), 그리고 사회적 맥락(social contexts) 내의 규칙(rules), 역할 분담(division of labor), 공동체(community)가 상호작용하여 특정 목표(object, 목적)와 결과(outcome)를 이루어내는 것으로 정의된다(그림 1 참고).²¹,²²

 

이 요소들 간의 긴장(tensions)은 시스템 내 모순(contradictions)을 유발하고, 변화를 촉진하거나 새로운 지식을 창출(new activity patterns)할 수 있다.²³,²⁴ CHAT는 의학교육 분야에서 서비스와 교육 간의 긴장(service-education tensions)²⁵,²⁶이나 복잡한 전문직 간 상호작용(interprofessional dynamics)을 탐구할 때 활용된 바 있다.²⁷ 이전 CHAT 연구에서는 활동 시스템의 도구가 물리적 도구(physical tools, 예: 봉합재료, EMR 등)와 상징적 도구(symbolic tools, 예: 학습목표, 체크박스 등)로 구분되며, 이들이 상호작용을 통해 특정 결과를 도출한다고 보았다.²⁵,²⁷–²⁹ 따라서 CHAT를 통해 학습자와 감독자가 WBA 도구를 활용하여 피드백과 학생 학습이라는 목적을 공동으로 달성하는 활동 시스템에서의 긴장을 조명하고, WBA 구현의 장애물(barriers)과 촉진요인(facilitators)을 밝힐 수 있다.

 

예컨대, 학습자와 감독자가 피드백 활동의 목적(object)을 서로 다르게 이해하면(supervisors는 학습자의 성장을 위한 목적으로 이해하지만, 학습자는 평가 결과와 관련된 목적으로 이해할 경우), 이는 원래 의도하지 않은 결과(unintended outcome)를 초래할 수 있다.³⁰

 

결론적으로, 성공적인 WBA 구현은 도구(tool) 와 구현 환경(context) 및 학습자와 감독자의 사용자 경험(user experience) 에 대한 포괄적 이해를 필요로 한다.¹⁹,³¹ CHAT를 통해 임상 실습 학생과 감독자가 WBA 도구를 이용하여 직접 관찰과 피드백에 참여하는 방식을 분석할 수 있다.³² 본 연구는 2년에 걸친 WBA 도구 구현 기간 동안, CHAT의 시각을 통해 의과대학 임상실습(clerkship)의 피드백 활동 시스템에서 일어난 변화(changes)와 긴장(tensions)을 탐색하고자 한다.

 

---

연구 방법(Methods)

설계(Design)

본 연구는 질적 연구 방법(qualitative approach) 을 사용하여, 문화역사활동이론(CHAT) 의 민감화 개념(sensitizing concepts)²¹–²⁴을 활용하여 의과대학 임상실습(clerkship)에서의 직장기반평가(WBA) 의 활용 방식을 탐색하였다. 구체적으로, 피드백 활동 시스템(feedback activity system)의 구성 요소(예: 공동체(community), 도구(tools), 규칙(rules), 목표(objects) 등)를 확인하고 이 요소들 간의 긴장(tensions)을 분석하였다. 본 연구는 UCSF(University of California, San Francisco) 기관생명윤리위원회(IRB)로부터 면제 판정(exempt)을 받았다.

연구 환경(Context)

• UCSF 의과대학생들은 12개월에 걸쳐 8개의 필수 임상실습(core clerkships; 마취과, 가정의학과, 내과, 신경과, 산부인과, 소아과, 정신과, 외과)을 수행한다.
• 2019년, 학교는 임상실습 평가 시스템을 통과/낙제(pass/fail) 로 변경하고, 학습을 위한 평가(assessment for learning)를 강조하기 시작하였다.³⁵
• 직접 관찰(direct observation)과 피드백을 강화하기 위해, 학교는 2019년 1월부터 형성적 피드백(formative feedback)을 위한 WBA 도구 를 도입하였다.
• 온라인 WBA 양식(form)은 ▲임상실습 분야(clerkship specialty), ▲관찰한 기술(skill observed), ▲Ottawa scale을 적용한 신뢰 평가(entrustment rating adapted from Ottawa scale)³⁶, ▲서술적 의견(narrative comments)을 기입하는 공간으로 구성되었다.
• 평가자가 WBA 양식을 제출하면 감독자(supervisor)에게 자동 이메일 알림이 발송된다. 작성된 양식은 해당 학생과 그 학생의 코치(coach), 임상실습 책임자(clerkship director)만 접근할 수 있는 개인 온라인 대시보드(student dashboard)에 저장된다.³⁷,³⁸
• 모든 학생은 의대 전 과정에서 지속적으로 지도와 피드백을 제공하는 장기 멘토(longitudinal physician coach)를 갖는다.³⁹
• WBA 자료는 학생의 임상실습 성적(clerkship grades)이나 MSPE(Medical Student Performance Evaluation) 작성 시 사용되지 않는다.
• 학생들은 평균적으로 매주 2개의 WBA 양식을 작성하도록 요구된다.

연구 기간 2년 동안 UCSF는 서로 다른 형태의 WBA 도구를 사용했다.

• 1년 차(2019년):
  • 평가자는 학교의 평가 시스템(MedHub)을 통해 컴퓨터로 양식을 작성하였다(부록1 참고).
  • 학생들이 직접 관찰 후 온라인 포털을 통해 감독자에게 양식 링크를 보냈으며, 총 6,919개의 양식이 모두 감독자에 의해 작성 되었다.
• 2년 차(2020년):
  • 학생 ID 배지의 QR코드를 스마트폰으로 스캔하여 접근 가능한 모바일 양식(Qualtrics 플랫폼 사용)을 활용하였다(부록2 참고).
  • 2년 차부터는 감독자뿐 아니라 학생 본인도 WBA 양식을 작성할 수 있는 선택권이 주어졌다.
  • 총 9,039개의 양식이 작성 되었으며, 이 중 1,636건(18.1%)은 감독자가, 7,403건(81.9%)은 학생 본인이 작성하였다.

COVID-19로 인한 임상실습 중단으로 인해, 연구는 2년 차(2020년)에 두 시점(timepoints)에서 이루어졌다:

• 첫 번째 시점(timepoint 1): 임상실습 개시 후 첫 10주 이후
• 두 번째 시점(timepoint 2): COVID-19로 인한 4개월 중단 이후 임상실습 재개 및 종료 시점(그림2 참고).

중단 후 재개된 임상실습은 기간이 3~6주 단위로 축소되었다(상세 자료는 부록3 참고).

 

연구 참여자(Participants)

본 연구는 WBA 도구의 주요 사용자이자 수혜자인 임상실습 학생(core clerkship students) 을 주요 대상(subjects)으로 선정하였다. 또한, 2년간(2019-2020년)의 피드백 활동을 분석하면서, 도구 설계(tool design)의 변화와 역할 분담(division of labor; 감독자 또는 학생이 작성)의 변화에 주목하였다.

• 1년 차 학생(2019년) 은 이전 연구(임상실습 평가 연구)에서 WBA 관련 질문을 포함한 인터뷰에 참여한 바 있으며,⁴⁰ 이 연구에서 도출된 초기 결과가 현 연구를 심화시키는 데 기여하였다.
• 연구자는 이메일을 통해 임상실습 학생들에게 반구조화된 인터뷰(semistructured interviews) 참여를 요청하였고, 응답한 순서대로 인터뷰를 진행하였다.
• 1년 차 데이터를 분석하는 과정에서, 전통적 블록 실습(traditional block) 학생과 종단적 통합 임상실습(Longitudinal Integrated Clerkship, LIC) 학생 간에 패턴의 차이가 나타나, 이를 더 심도있게 탐구하고자 하였다. 이에 따라 2년 차 연구에서는 두 가지 임상실습 유형의 학생들을 모두 포함하는 목적적 표집(purposive sampling)을 시행하였다.
• 또한 COVID-19 중단 전후의 피드백 활동 시스템에서 학생들의 초기 경험(early learning)과 이후 다양한 전공 간 경험을 모두 분석하기 위해 앞서 설명한 두 가지 시점(timepoints)을 설정하였다.
• 인터뷰에 참여한 학생에게는 전자 기프트카드(electronic gift card) 20달러를 제공하였다.

 

---

인터뷰 가이드(Interview guide)

피드백 및 WBA에 대한 문헌 검토(literature review)⁴,⁶,¹⁰ 를 기반으로 인터뷰 가이드를 개발했다. 1년 차와 2년 차의 인터뷰 가이드는 서로 달랐다.

• 1년 차 인터뷰 자료 는 앞서 진행된 임상실습 평가(clerkship grading)에 관한 보다 광범위한 연구의 일부로서 개별 질적 인터뷰(individual qualitative interviews)를 통해 수집되었고, WBA에 대한 질문을 포함했다.⁴⁰
• 이 1년 차 자료의 샘플 분석을 통해 CHAT의 관점에서 활동 시스템(activity system)의 요소들을 확인하였으며, 이는 2년 차 인터뷰 가이드 개발 의 토대가 되었다. 확인된 활동 시스템의 주요 요소는 다음과 같다:

• 주체(subjects) : 학생
• 도구(tools) : WBA 도구 버전
• 규칙(rules) : 학교의 요구사항, 피드백 제공의 규범(norms of feedback)
• 공동체(community) : 교수진(attendings), 전공의(residents), 동료(peers) 등 전체 학습문화(overall learning culture)
• 역할 분담(division of labor) : WBA 양식의 작성 및 요청 주체
• 목표(object) : 활동에 대한 학생들의 인식된 혹은 실제 목적(perceived or actualized purpose)
• 결과(outcome) : 이 요소들 간 상호작용의 결과(results from interactions)

• 2년 차 인터뷰에서는 이러한 임상실습 피드백 활동 시스템 요소들에 대한 학생들의 생각(ideas), 태도(attitudes), 행동(behaviors)을 탐색하였다(그림 1; 부록4 참고).²¹
• 피드백 및 평가의 민감한 특성을 고려하여 반구조화된 개별 인터뷰(semistructured individual interviews) 를 진행하여 학생들의 익명성을 보장하였으며, 인구통계학적 정보(demographic information)는 학생들의 자가보고(self-reported) 방식으로 수집했다.

---

자료 수집(Data collection)

• 두 명의 훈련받은 연구자(L.S., Abdikarin Abdullahi⁴⁰ 및 L.B.P., A.F.)가 매년 인터뷰를 수행했다.
• 인터뷰 가이드는 연구 대상이 아닌 학생(예: 실습이 끝난 postclerkship students)을 대상으로 파일럿 인터뷰(pilot interview) 를 진행하여 사전 검증하였다.
• 선임 연구자(B.C.O., K.E.H.)의 피드백을 받아 질문의 흐름(flow), 명확성(clarity), 적합성(relevance)을 향상시켰다.

인터뷰는 다음과 같은 일정으로 진행되었다(그림2 참고):

• 1년 차 인터뷰 : 2019년 6월부터 8월까지, 전화 또는 대면으로 진행.
• 2년 차 인터뷰 :
  • 첫 번째 시점(Timepoint 1): 2020년 5월 (Zoom 활용)
  • 두 번째 시점(Timepoint 2): 2020년 10월부터 11월 (Zoom 활용)

모든 인터뷰는 전문적으로 음성 녹음(audio recording)되었으며, 분석 전에 필사(transcription) 및 익명화(deidentification) 처리되었다.

---

자료 분석(Data analysis)

• 분석은 인터뷰 녹취록(transcripts)을 CHAT의 맥락에서 읽으면서 코딩 프레임워크(coding framework)를 구축하는 것으로 시작했다.
• 1년 차 인터뷰 및 2년 차 첫 번째 시점 인터뷰에서 얻은 5개의 녹취록을 이용하여, 3명의 연구자(L.B.P., B.C.O., K.E.H.)가 CHAT 활동 시스템 요소들과 일치하는 코드를 도출하였다.
• 토론을 통해 분석 과정에서 지속적으로 코드북(codebook)을 수정하고 개선하였다. 완성된 코드북을 사용하여 2명의 연구자(L.B.P. 및 A.F., B.C.O., 또는 K.E.H.)가 이전 연구에서 수집된 모든 1년 차 인터뷰 자료를 코딩했다.⁴⁰
• 2년 차 자료는 수집과 분석을 동시에 진행하였다.
• 각 녹취록은 2명의 연구자(L.B.P.와 A.F., B.C.O., 또는 K.E.H.)가 독립적으로 코딩한 뒤 토론을 통해 의견 불일치를 조정하였다.
• 첫 번째 시점과 두 번째 시점에서 각각 9건씩의 인터뷰가 완료된 후, 새로운 아이디어가 더 이상 도출되지 않고 CHAT 활동 시스템 각 요소에 대한 풍부한 사례(rich examples)가 확보되어, 이론적 충분성(theoretical sufficiency)이 달성된 것으로 판단하였다.⁴¹
• 코드로 분류된 발췌본(excerpts)을 분석하여 활동 시스템 내 긴장(tensions)을 확인하고, CHAT 도표(diagrams)를 이용한 개념적 논의(conceptual discussion) 및 데이터 시각화(data visualization)를 통해 긴장을 요약하고 세분화하였다.
• 자료의 코딩 및 관리는 Dedoose 프로그램(버전 8.3.47)을 활용하였다.

---

성찰성(Reflexivity)

• 연구팀은 코드 개발 및 조정 과정에서 성찰성에 대한 지속적인 논의를 진행하였다.
• 연구팀 구성원들은 다양한 관점(varied perspectives)을 가지고 있었다:
  • 1년 차 WBA 구현을 경험한 선임 의과대학생(L.B.P.)
  • WBA 경험이 없는 임상실습 이전(preclerkship)의 의과대학생(A.F.)
  • 관련 문헌에 정통한 교수이자 교육과학자(B.C.O.)
  • 1년 차 연구에 참여했던 전공의(L.S.)⁴⁰
  • 두 해에 걸쳐 WBA 설계와 구현을 감독한 부학장(associate dean, K.E.H.)
• 자료 분석 전반에서 자기 성찰적 저널링(self-reflective journaling) 및 메모(memos)를 활용하여 연구진의 가정과 해석(assumptions and interpretations)을 투명하게 관리하였다.
• 이를 통해 서로의 해석을 비판적으로 검토하고, 토론을 거쳐 합의(consensus)로 연구 결론을 도출하였다.

 

---

결과(Results)

• 1년 차: 총 168명의 임상실습(clerkship) 학생들이 이메일 초청을 받았고, 이 중 18명이 인터뷰에 참여하였다.⁴⁰ 단, 연구팀 저자였던 인터뷰 참여자 L.B.P.의 자료는 제외하였으며, 최종적으로 17명의 학생 데이터가 분석에 포함되었다.
• 2년 차: 총 167명의 학생이 이메일 초청을 받았으며, 25명이 응답하였다. 이 중 18명이 실제로 인터뷰에 참여하였으며, 첫 번째 시점(timepoint 1)에 9명, 두 번째 시점(timepoint 2)에 9명이 참여하였다.
• 참가자의 자가보고 인구통계 정보(self-reported demographic data)는 표 1에 제시되어 있다.

---

우리는 CHAT 관점에서 다음의 5가지 주요 활동 시스템 내 긴장(tensions) 을 확인하였으며, 이들은 시간 경과 및 도구의 변화에 따라 달라졌다:

1. WBA 피드백이 총괄평가(summative assessment)로 오해되는 현상
2. 피드백을 지연시키는 번거로운 도구 설계(cumbersome tool design)
3. 감독자에게 WBA 요청이 부담이 될까 우려하는 심리
4. WBA가 단순한 체크리스트 활동인지, 학습 기회로 여겨지는지에 대한 인식의 차이
5. 각 임상실습 특유의 학습 문화 안에서 WBA가 수행되는 방식

→ 그림 3 참조.

 

2년 차에는 특히 학생이 WBA 양식을 직접 작성할 수 있는 기능(self-completion capabilities) 이 추가됨에 따라 새로운 긴장 요소들이 발생하였다:

• 자율성(autonomy)과 감독(supervision) 간의 균형 문제
• WBA 내용의 일관성 부족
• 여전히 WBA가 단순한 체크리스트 활동 으로 인식되는 현상

→ 부록 5 참고: http://links.lww.com/ACADMED/B292

 

이하의 결과에서는 이러한 긴장의 진화 과정, 긴장을 매개한 시스템 요소들, 학생들이 이를 극복하기 위해 사용한 전략들을 기술하였다. 인용문에는 인터뷰 연도(I 또는 II)와 참여자 번호(1–18)를 병기하였다. 2년 차 참여자는 II-1~II-9(첫 번째 시점), II-10~II-18(두 번째 시점)으로 표기하며, LIC 학생은 별도 표기하였다.

---

🔹 WBA 피드백이 총괄평가로 오해됨

비록 WBA는 형성평가(formative assessment) 를 위해 설계되었지만, 1년 차 학생들은 이를 총괄평가(summative assessment)로 인식하였다(object의 오해). 학생들은 감독자들이 동일한 온라인 플랫폼에서 사용되는 총괄평가 양식과 WBA 도구를 혼동하는 것을 관찰했다. 이로 인해 형성적 피드백 시스템에 대한 신뢰(trust) 가 약화되었다:

"저는 [WBA]를 보내는 걸 망설여요. 예전에도 그랬는데, 감독자가 제 총괄평가 양식 대신 그것만 작성하는 경우가 있었거든요." (I-2)

 

2년 차에서는 WBA 전용 플랫폼(도구)이 도입되면서 형성/총괄평가 간의 구분이 명확해졌고, 이러한 긴장은 완화되었다:

"한 한 달쯤 실습 돌고 나서야 깨달았어요. '아, 이거는 그냥 나를 위한 거구나. 다른 사람을 위한 게 아니구나'라는 걸요." (II-1)

 

하지만 도구의 의도를 이해하면서도 여전히 “총괄평가에 반영될지도 모른다” 는 우려는 남아 있었다:

"그날 있었던 일이 잘 안 풀렸을 때, ‘이거는 평가가 아닌 건 알지만, 그래도 이걸 언급하면 이 감독자가 그 주에 기억하는 건 결국 그 나쁜 경험일 수도 있잖아’ 하고 걱정됐어요." (II-3)

 

해당 학생은 새로운 감독자에게 도구의 목적을 사전에 설명함으로써 긴장을 완화하고자 하였다:

"우리는 항상 이렇게 말해야 해요. ‘WBA를 주 2개씩 받아야 하고, 이건 형성적 피드백이지 평가 목적이 아니에요. MSPE에 포함되지 않아요.’” (II-3)

 

또한 일부 학생들은 긍정적인 피드백을 받을 수 있는 관찰자나 기술을 전략적으로 선택 하기도 했다. 더불어, 학생이 WBA를 직접 작성할 수 있는 기능(self-completion) 이 추가되면서 형성 대 총괄 평가(object)의 긴장 완화에 도움이 되었다. 이 기능은 학생들이 WBA를 자신이 이해하는 목적에 맞게 활용할 수 있도록 하였다.

---

🔹 피드백 지연을 유발한 번거로운 도구 설계

1년 차 도구에서는 실시간 피드백(object)을 지향하면서도, 컴퓨터에서 WBA 양식을 작성해야 하는 제약(tool) 이 있어 모순이 발생했다. 학생들은 관찰 후 수 시간 뒤에 WBA 요청 링크를 감독자에게 전송하였고, 감독자는 늦게 작성하거나, 형식적인(generic) 피드백만 제공하였다:

"가끔은 너무 일반적인 피드백만 받아서, 도대체 뭘 보고 그런 말을 하는 건지 알 수가 없어요. 때로는 제가 그 감독자랑 일했던 시점보다 몇 주가 지나서야 [WBA]가 돌아오기도 해요." (I-5)

 

학생들은 형식적이고 지연된 피드백이 학습자와 감독자 모두의 참여도(buy-in)를 저해한다고 인식했다(community의 문제). 단, 마취과(anesthesia) 실습에서는 모바일 QR 코드 방식 을 시범 도입하여 실시간 피드백이 활발히 이루어졌다. 2년 차 도구는 QR 코드를 통한 모바일 기반 설계로, 직접 관찰과 동시에 WBA를 완료할 수 있게 되어 지연 문제를 해소하였다:

"저는 QR 코드의 열렬한 팬이에요. 우리 학년부터 생긴 기능인데, 누군가에게 링크를 문자나 이메일로 보내는 것보다 훨씬 간편하거든요. 바로 그 자리에서 할 수 있어요." (II-1)

 

감독자 역시 이 기술 변화로 인해 WBA 참여도가 향상되었다고 느꼈다:

"감독자들이 새 시스템이 훨씬 더 낫고 쉽다는 걸 깨달은 이후에는 반감 같은 건 거의 없었어요. 다들 잘 따라오시는 것 같아요." (II-9, LIC)

 

하지만 2년 차에도 일부 기술적 장애물은 남아 있었으며, 예컨대 학생들이 자신의 대시보드에서 피드백 내용을 제대로 확인하지 못하는 문제가 있었다. 그럼에도 불구하고, 도구 기술의 전반적인 개선은 학생과 감독자 공동체(community) 의 WBA 도구 지지를 강화하였고, 실시간 피드백이라는 원래의 목적(object) 과도 더욱 잘 일치하게 되었다.

 

---

🔹 WBA 요청이 감독자에게 부담이 될까 걱정됨

1년 차와 2년 차 모두에서 학생들은 자신이 감독자에게 부담을 주는 것이 아닐까 하는 우려를 표현했다. 학생들은 WBA 요청이 환자 진료나 팀의 바쁜 일정에 방해될까 걱정했다. 비록 임상실습 책임자들이 피드백 요청을 장려했지만, 피드백 대화를 문서화해야 한다는 규칙(rule) 이 노동집약적이고 불필요하게 느껴졌으며, 특히 1년 차에서는 도구 작성 책임이 전적으로 감독자에게 있었기 때문에 그 부담감이 더 컸다:

“[WBA]는 모든 사람에게 짜증나는 일이에요. 전공의들은 양식 하나 더 작성하고 싶지 않고, 의대생들도 바쁜 전공의들에게 또 양식을 부탁하는 게 싫죠.” (I-5)

 

하지만 지도교수와의 장기적 관계(longitudinal relationships) 가 이 긴장을 완화시키는 데 도움이 되었다:

“저는 오히려 [WBA] 요청이 더 수월해요. 제가 담당 교수님들과 장기적으로 관계를 맺고 있고, 그분들은 제 교육을 위해 존재하는 분들이니까요.” (II-10, LIC)

 

또 다른 학생들은 감독자의 부담을 줄이기 위해 책임을 스스로 떠맡으려는 태도(division of labor) 를 보였다. 예컨대, 1년 차 학생들은 감독자가 기억하지 못할 것을 고려하여 사전에 내용을 기록해 주기도 했다:

“감독자가 말했던 피드백을 제가 미리 메모해 두고, 그걸 토대로 WBA를 작성하도록 도왔어요. 보통 감독자들이 뭘 피드백했는지 기억도 못 하시거든요.” (I-4)

 

2년 차에서는 학생이 직접 WBA를 작성할 수 있는 기능(self-completion)이 생기면서 역할 분담 구조가 바뀌었다. 처음에는 여전히 감독자에게 WBA 작성을 요청했지만, 점차적으로 학생 스스로 양식을 작성하는 경우가 많아졌다. 이로 인해 학생들은 자신의 필요에 따라 도구를 활용하여 규정을 충족하거나 피드백을 수집했다. 어떤 경우에는 사후 작성(retroactive completion) 을 하거나, 감독자에게 알리지 않고 조용히 작성하기도 했다.

“제가 직접 작성하는 게 훨씬 쉽기는 해요. 하지만 솔직히 감독자가 직접 쓰셨을 때보다 피드백의 질은 떨어지는 것 같아요. 좀 더 깊이 생각해주시는 게 어렵죠.” (II-8)

 

몇몇 학생에게는 WBA 직접 작성이 감독자에게 미안한 감정을 덜어주는 동시에 학습에도 긍정적인 영향을 주었다. 피드백 내용을 기록하면서 자기 성찰(self-reflection) 을 강화하는 계기가 되었다:

“우리가 얘기한 내용을 제가 적어놓는 게 도움이 됐어요. 뭔가 빠뜨리지 않게 정리하고, 피드백 내용을 요약하고 재진술하는 것도 제게는 좋은 훈련이었어요.” (II-3)

---

🔹 WBA가 체크리스트인가, 학습 기회인가

학생들은 WBA의 피드백 목적(object) 에는 공감했지만, 주당 2개의 WBA 작성 규칙(rule) 이 이 목적을 가리는 경우가 많았다. 많은 학생들이 이 규칙을 스트레스로 인식했으며, 규정이 없거나 더 적은 횟수가 더 낫다고 느꼈다. 하지만 일부 학생들은 피드백을 꾸준히 요청하도록 유도하는 기능이 있다는 점에서 규정의 가치를 인정했다:

“이런 규정은 있어야 해요. 스스로 어떤 걸 해야 한다는 걸 강제하지 않으면, 지키는 게 어렵다는 걸 깨달았거든요.” (II-8)

 

대부분의 경우, 학생들은 WBA의 진정한 목적보다는 '규정 충족' 자체를 활동의 목표(object)로 인식하게 되었다. 다만, 2년 차에서는 감독자에게 의존하지 않고 WBA를 작성할 수 있게 되면서 이 긴장은 어느 정도 해소되었다. 하지만 규칙이 너무 경직되어 있다고 느낀 학생들은 유용한 피드백보다는 작성 편의성에 초점을 두게 되었다:

“이 숫자를 채워야 한다는 생각에, 누가 피드백을 주자마자 ‘이걸 [WBA]로 바로 만들 수 있을까?’만 생각하고, 정작 피드백에 집중을 못했어요.” (II-14)

 

감독자 역시 규칙 충족에만 집중하면, 피드백의 진정성(authenticity) 과 유용성(usefulness) 이 떨어진다고 학생들은 지적했다:

“이건 그냥 또 하나의 체크리스트처럼 느껴져요. 너무 실망스러워요. 저는 제 의학교육이 그냥 ‘체크만 하는 것’이 되는 걸 원하지 않거든요. 감독자들도 좀 더 진심으로 참여하셨으면 해요.” (II-15)

 

반대로, 규칙에 덜 압박을 느낀 학생들은 WBAs를 학습 중심으로 더 자유롭게 활용할 수 있었으며, 발전이 필요한 영역에 피드백을 요청하기도 했다:

“제가 어떤 기술을 잘 하고 있는지, 다음에는 뭘 더 해야 하는지, 어떤 부분에서 피드백을 받아야 할지를 돌아보게 돼요. 1년 동안 제 성장을 추적하는 데 도움이 돼요.” (II-9, LIC)

 

특히 자발적 피드백을 주지 않는 감독자들과 함께한 학생들은, 규정을 피드백 대화를 주도하는 근거로 활용했다. 많은 학생들이 작성된 피드백보다, 그 대화 자체가 더 가치 있었다고 평가했다:

“이게 저희에게 ‘저에 대해 자주 피드백 주세요’라고 말할 수 있는 기회를 줘서 정말 좋아요. 이게 규정이니까요.” (II-11)

---

🔹 임상실습별 학습 문화와 WBA

WBA의 유용성은 각 임상실습(clerkship) 환경과 문화(culture) 에 따라 달라졌다. 학생들은 감독자와 임상실습 책임자(clerkship directors)가 분위기를 좌우한다고 느꼈다. 도구 활용을 장려하는 교수진 은 WBA의 가치를 높이는 반면, 도구 활용을 회피하는 교수진은 WBA 수행을 어렵게 만들었다. 앞서 언급한 긴장의 변화에 따라, 2년 차 학생들은 1년 차보다 감독자들이 WBA에 더 적극적인 태도를 보였다고 평가했다.

 

전공과 실습 장소에 따라 WBA에 대한 지원 정도가 상이했으며, 이는 WBA 요청 시 학생들의 심리적 안정감에도 영향을 미쳤다.

• 내과(internal medicine) 는 피드백을 중시하는 문화가 뚜렷하여, 감독자가 WBA 작성을 제안하는 경우가 많았다.
• 소아과(pediatrics) 처럼 직접 관찰과 피드백이 일상 업무에 포함된 전공은 자연스럽게 WBA 수행이 용이했다.
• LIC 학생들 은 장기적인 관계 덕분에 WBA를 요청하는 것이 더 편하다고 느꼈다.
• 반면, 지속적인 피드백 문화가 이미 정착된 환경에서는 WBA가 불필요하다고 느끼는 경우도 있었다.

WBA 수행이 어려운 환경에서는, 감독자가 지나치게 바쁘고, 피드백의 질도 떨어지는 경우가 많았다:

“외과니까 바쁜 거 이해해요. 전공의들 절반은 WBA가 뭔지도 모르는 것 같았어요. WBA 작성해 달라고 부탁하는 게 정말 고역이었어요.” (II-9, LIC)

 

학생들은 비협조적인 문화 속에서도 WBA를 받기 위한 전략을 개발했다. 예컨대,

• 구두 발표(oral presentation)처럼 관찰이 쉬운 상황을 포착하거나,
• 피드백을 사후에 기록(log)하거나,
• WBA가 무엇인지 자세히 설명하지 않고 피드백 요청만 간단히 하는 방식 등을 활용하였다:

“흉부외과 실습할 때는 그냥 이렇게 말했어요. ‘피드백을 기록해도 될까요?’ ... [WBA]가 뭔지에 대해 길게 설명하진 않았어요. 그냥 피드백만 요청했죠.” (II-13)

 

---

논의(Discussion)

본 연구에서는 피드백 활동 시스템(feedback activity system) 내 구성요소로 작동하는 WBA 도구를 중심으로 시간의 흐름과 도구의 변화에 따라 달라지는 여러 가지 긴장(tensions) 을 확인하였다.

• WBA가 형성평가(formative assessment) 를 위한 수단으로 제도적으로 장려되고 있음에도 불구하고, 학생들은 여전히 WBA가 총괄평가(summative assessment)로 오용될 가능성에 대한 우려를 나타냈으며, 이는 피드백 시스템 내 지속적인 긴장 요소였다.
• 초기 WBA 도구의 비효율적인 설계(tool design) 는 WBA 작성 지연과 피드백 전달의 저하로 이어졌고, 결과적으로 학생과 감독자 모두의 참여도(buy-in) 를 떨어뜨렸다.
• 학생들은 감독자에게 부담을 주고 싶지 않다는 이유로 WBA 요청을 꺼렸고, WBA를 규정상의 '체크리스트'로만 인식할 경우, 그 본래 목적이었던 유용한 피드백 제공이 약화되었다.
• 또한, 감독자의 태도와 도구에 대한 인식 등 맥락(context)과 문화(culture) 는 학생들의 도구 사용에 영향을 미쳤다.

이러한 긴장들은 정적인 것이 아니라 동적으로 변화하였으며, 기존 긴장이 완화되는 동시에 새로운 긴장이 나타났고, 결과적으로 학생들이 인식한 WBA에 대한 수용도(acceptance)는 2년 동안 전반적으로 향상되었다(보충 부록 5 참조: http://links.lww.com/ACADMED/B292).

---

🔹 CHAT 이론의 통합적 관점

CHAT(Cultural Historical Activity Theory) 를 이론적 틀(theoretical framework) 로 채택함으로써, 피드백과 WBA를 단일 행위가 아닌 더 넓은 활동 시스템(activity system)의 일부로 분석할 수 있었다.

• 대부분의 WBA 관련 연구는 사용자(user) 나 도구(tool) 자체에 초점을 맞추지만, 실제 임상 교육환경에서의 직접 관찰과 피드백은 다양한 요소들이 상호작용하는 복합 시스템 안에서 이루어진다.⁴²
• CHAT는 주체나 도구만이 아니라, 활동 시스템을 구성하는 모든 요소 간의 관계에 주목하도록 시야를 전환시킨다.⁴³,⁴⁴

도구의 두 가지 버전(2019년과 2020년)을 분석하면서, 활동 시스템 내 요소들이 서로 어떻게 영향을 미치는지 이해할 수 있었다.

• 예컨대, 1년 차에는 다양한 긴장이 시스템 내 단절(fragmentation)을 드러냈으나, 2년 차로 넘어가면서 형성평가 목적을 지지하는 방향으로 시스템 요소 간 조정(coordination)이 이루어졌다.

이는 WBA의 구현을 이해하는 데 있어 단순한 도구 사용 분석을 넘어 활동 패턴 자체에 대한 심층적 고찰을 가능하게 하였으며, CHAT는 그러한 해석을 이끌어내는 데 탁월한 이론적 도구였다.

 

또한, Engeström의 확장적 학습 이론(expansive learning theory) 에 따르면, 시스템 내 모순(contradictions)은 변화와 성장을 촉진할 수 있다.²³,²⁴ 본 연구에서의 피드백 활동 시스템의 변화는 이러한 확장 학습의 사례로 이해할 수 있다. 더 나아가 Engeström은 변화 실험실(Change Laboratory) 접근법을 제안하며, 시스템 내 이해관계자 간 협력을 통해 긴장을 분석하고 활동 시스템을 재설계하여 도구 구현을 개선할 수 있다고 보았다.⁴⁵ 이는 교육 맥락에 특화된 WBA 설계 전략을 마련하는 데 유익한 접근이 될 수 있다.

---

🔹 기존 문헌과의 연계

본 연구 결과는 형성평가를 위한 WBA에 대한 기존 문헌과 잘 일치한다.⁴,¹³,¹⁶,⁴⁶

• 경쟁이 심한 의학교육 문화 속에서 형성적 평가를 정착시키는 것은 어려운 과제이며,
• 본 연구는 WBA 피드백 활동 시스템의 여러 요소를 의도적으로 조정함으로써 도구에 대한 인식을 변화시킬 수 있음을 보여주었다.

예컨대,

• 학생에게 도구 작성 권한을 부여하고(division of labor),
• 기존 평가 시스템과 분리된 새로운 플랫폼(tool) 을 제공함으로써,
• 학생들이 WBA를 저부담(low-stakes)의 피드백 도구로 인식하게 되었으며, 피드백 과정에 더 적극적으로 참여하게 되었다.⁴⁷,⁴⁸

하지만 학생들은 여전히 감독자가 기억하는 내용이나 부정적인 피드백 요청의 위험성에 대한 우려를 보였다. 향후에는 피드백의 목적에 대한 학생 및 감독자 교육과 성장 지향적 대화를 위한 전략 교육을 강화하여, 학습자들이 피드백 활동 시스템에서 자신의 역할을 명확히 이해하도록 해야 한다.⁴⁷

---

🔹 WBA 설계 및 구현에 대한 시사점

다른 연구들과 마찬가지로, 본 연구에서도 다음과 같은 긴장이 반복적으로 나타났다:

• WBA가 학습 가치를 가지도록 설계되면서도, 과도한 부담은 주지 않아야 하며
• **학생과 감독자 간의 역할 분담이 이루어져야 하되, 피드백의 질을 저해하지 않아야 한다.**¹⁰

이에 따라, 본 연구는 피드백 활동 시스템 요소별로 구체적인 권고사항(Table 2 참고) 을 제시하며, 성공적인 WBA 사용을 위한 전략을 다음과 같이 정리하였다:

• 형성평가를 위한 기술 설계는 사용자 친화적이며 시간 효율적이어야 한다.
• 학생의 개별 학습 필요에 맞춤화되면서도, 교수자의 일상 업무 흐름을 방해하지 않는 방향으로 설계되어야 한다.⁴⁹
• WBA 규정이 단순한 체크리스트로 인식되는 현상을 완화하기 위해, 학생 중심의 WBA 도구 개발이 필요하다.
• 도구 작성 시간에 대한 고려 역시 중요하다. 이는 피드백의 학습 효과를 극대화하는 동시에, 학습자 평가 시스템에서 흔히 발생하는 데이터 수집 및 관리의 부담을 줄이기 위한 전략이다.⁴⁷

궁극적으로, 의과대학은 직접 관찰과 의미 있는 피드백 대화가 장려되는 문화를 조성해야 한다.⁴⁰ 이러한 시스템 수준의 변화(system-level change) 는 시간이 지나면서 피드백과 WBA가 임상실습 학습 문화의 일부로 자연스럽게 통합되도록 유도할 수 있을 것이다.

 

---

연구의 한계 (Limitations)

본 연구에는 여러 가지 제한점이 존재한다.

• 자료 수집은 단일 기관(one institution)에서만 진행되었고, 이는 WBA 도구의 초기 2년간의 도입 경험에 국한된다.
  → 다른 기관들의 피드백 활동 시스템은 상이할 가능성이 높으며, 본 연구 결과와의 유사점 및 차이점에 대해 별도의 고려가 필요하다.
• 본 연구에서의 피드백 활동 시스템에 대한 이해는 자발적으로 참여한 학생들의 관점에 기반하였다.
  → 연구진은 응답 순서대로 학생들을 인터뷰하였으며, 후속 응답자들의 관점이 다를 경우 결과에 영향을 미쳤을 가능성이 있다.
• 2년 차에는 LIC 학생 비율이 1년 차보다 높아졌는데, 이는 블록형 임상실습 학생들과는 다른 경험 차이를 더 잘 조명하는 데 기여했을 수 있다.
• 본 연구는 교수진, 전공의, 행정 담당자의 관점은 포함하지 않았으며, 이들의 WBA 구현 경험은 연구 범위를 넘어선다.
  → 그러나 이들의 시각은 활동 시스템 내 상호작용을 더욱 풍부하게 이해하는 데, 특히 업무 부담(perceived workload) 과 고품질 피드백 제공 능력에 대한 인식을 이해하는 데 도움이 될 수 있다.
• WBA에 대한 수용도 증가는 시간이 지남에 따라 학생들의 익숙함(familiarity)이 높아졌기 때문일 수도 있으며, 이는 1년 차와 2년 차 간 시스템 변화와 무관하게 발생했을 가능성이 있다.
• Pass/Fail 평가 체제로의 전환도 학생들의 평가 인식에 영향을 주었을 수 있다.
  → 이와 같은 성적 제도의 차이에 따라 활동 시스템은 달라질 수 있으며, 이는 다른 평가 시스템을 운영하는 기관에 적용 시 주의가 필요하다.⁴⁰,⁵⁰
• COVID-19로 인한 교육과정 중단(curricular interruptions) 은 2년 차에 영향을 미쳤다.
  → 연구진은 임상실습 중단 전후 모두에서 학생들을 인터뷰하였지만, 팬데믹으로 인한 모든 영향을 충분히 포착하지 못했을 수 있다.
  → 그러나, 2년 차의 두 시점(timepoints) 간 WBA 인식이나 사용 방식에는 큰 차이가 없었다.

---

결론 (Conclusions)

본 연구는 WBA를 시스템 수준의 개입(systems-level intervention) 으로 개념화하는 데 있어 다음과 같은 통찰을 제공한다:

• 의도된 피드백 목적(learning을 위한 formative feedback) 을 달성하기 위해서는
  사람(people), 기술(technology), 맥락(context) 간의 상호작용을 고려해야 한다.
• 피드백 활동 시스템을 다양한 관점에서 탐색하고,
  지속적인 시스템 모니터링 및 개선을 수행하는 것은,
  임상실습 환경에서 학습 중심 형성평가 문화를 정착시키기 위한 목표를 달성하는 데 핵심적이다.

---

필요하시면, 전체 내용을 요약하거나 PPT 슬라이드용으로 정리해 드릴 수도 있습니다. 또는 보충자료(Appendix)와 표(Table 1 & 2)도 요청해 주시면 번역해 드릴게요.

 

 

이 그림은 문화역사활동이론(Cultural Historical Activity Theory, CHAT) 을 기반으로 한 피드백 활동 시스템(feedback activity system) 을 시각적으로 설명한 모형입니다. 특히 이 모형은 WBA(Workplace-Based Assessment, 직장기반평가) 가 의과대학 임상실습 교육 환경에서 어떻게 피드백 활동을 매개(mediate)하고, 그 과정에서 어떤 구성 요소 간 상호작용과 긴장(tension)이 발생하는지를 설명**합니다.

---

🔷 구성 요소 설명 (CHAT의 6요소 + 결과)

1. Subject (주체)

• 설명: 활동에 참여하고 있는 학생(student).
• 역할: 피드백 활동의 중심 참여자이며, 학습 및 자기 성장의 주요 수혜자.

2. Tools (도구)

• 설명: 활동을 매개하는 도구, 여기서는 WBA 도구가 해당.
• 예시: WBA 양식, 플랫폼(예: MedHub, Qualtrics), QR 코드 접근 등.

3. Object (목표)

• 설명: 활동의 목적. 이 그림에서는 피드백(feedback) 이 명시됨.
• 핵심: 단순히 WBA를 작성하는 것이 아니라, 학습을 위한 피드백 제공이 목적임.

4. Outcome (결과)

• 설명: 활동의 결과물. 여기서는 학습(learning) 으로 설정됨.
• 강조점: Object → Outcome으로의 전환은 시스템 요소들이 잘 정렬될 때 이루어짐.

5. Rules (규칙)

• 설명: 활동과 관련된 규범과 지침(norms and guidelines).
• 예시: 학교의 WBA 작성 규정, 피드백 횟수 요구(예: 주 2회), 성적 평가 방식 등.

6. Community (공동체)

• 설명: 활동이 수행되는 맥락에서의 구성원들.
• 예시: 지도 교수(attendings), 전공의(residents), 동료 학생(peers) 등.

7. Division of Labor (노동의 분업)

• 설명: WBA 작성을 누가 어떻게 수행하는지를 포함한 역할 분담.
• 예시: 감독자가 작성 vs. 학생이 자가 작성, 피드백 요청의 주도권 등.

---

🔷 주요 특징 및 해석

✅ 굵은 선

• 각 요소들이 서로 상호작용(interaction) 하며 연결되어 있음을 의미합니다.
• 이 상호작용이 조화를 이루면 효과적인 피드백과 학습으로 이어지고, 불균형이 발생하면 긴장(tension)이 생김.

✅ 회색 점선 화살표 & 주석

• Tensions (긴장) 은 활동 시스템 요소들 간의 상호작용에서 발생할 수 있으며, 이는 학습과 변화(learning and transformation) 로 이어질 수 있음.
• 예: 도구(WBA)의 목적이 '형성평가'임에도 불구하고 '총괄평가'로 오해될 경우 Object와 Tool 사이에서 긴장이 발생.

---

🔷 전체 구조 요약

이 그림은 학생(student) 이라는 주체가, WBA 도구(tool) 를 사용하여, 피드백(object) 을 받기 위한 활동을 수행하고, 그 결과로 학습(outcome) 을 달성하는 이상적인 시스템을 보여줍니다. 그러나 이 모든 과정은 규칙, 공동체, 역할 분담 등 다양한 요소들과의 상호작용에 따라 지원되거나 방해받을 수 있으며, 때로는 긴장과 갈등을 낳기도 한다는 점을 강조합니다.

---

📌 활용 포인트 (교육적 적용 시)

• 이 모델은 단순한 평가 도구(WBA) 사용을 넘어, 전체 교육 시스템의 맥락에서 도구가 어떻게 기능하는지 분석하는 데 유용합니다.
• 또한 시스템 내 긴장 요소를 식별하고 변화 전략을 설계하는 데 이론적 틀로 활용될 수 있습니다 (예: Engeström의 확장학습 모형 및 Change Laboratory 접근).

---

필요하시다면 이 그림을 활용하여 슬라이드용 요약, 학생 강의 자료, 혹은 연구 프레임워크 구성에 맞춘 분석도 도와드릴 수 있습니다.

 

 

이 그림은 Figure 3으로, **2019년(1년 차)**과 **2020년(2년 차)**에 걸쳐 **임상실습 피드백 시스템의 변화와 그에 따른 긴장(tensions)**을 **CHAT(Cultural Historical Activity Theory)**의 틀을 활용하여 시각화한 것입니다.
특히, 그림은 WBA(Workplace-Based Assessment) 도구의 변화와 함께 시스템 내 요소들 간 긴장이 어떻게 진화했는지를 비교하고 있습니다.

---

🔷 전체 구조 개요

그림은 두 개의 삼각형 모형을 통해 두 해의 시스템을 각각 시각화하고 있으며, 아래 표에서는 CHAT 요소 간 긴장을 요약하고 비교하고 있습니다.

---

🔹 Feedback System in Year 1 (2019)

🧩 Tool

• New MedHub 도구, 컴퓨터 기반, 기술적 문제 있음
• 도구의 설계가 불편하고 시간 소모적(cumbersome)

🎯 Object

• 표면적으로는 피드백이 목적이지만, 실제로는 *코스 요건 충족(meet course requirements)*에 치우침

🧑 Subject

• 임상실습 학생들(clerkship students)

⚖ Rules

• 주 2회의 WBA 요구가 강제됨

👥 Community

• 교수, 전공의, 동료 학생들 등 8개의 필수 임상실습 환경의 공동체

🛠 Division of Labor

• WBA는 전적으로 감독자가 작성

🎯 Outcome

• 지연된 피드백, 피드백의 질 저하, 도구와 무관한 구두 피드백 발생

---

🔹 Feedback System in Year 2 (2020)

🧩 Tool

• Qualtrics 도구, 모바일 기반, QR 코드 접근
• 실시간 피드백 가능해짐

🎯 Object

• 형성적 피드백(formative feedback), 감독자와의 상호작용, 코스 요건 충족

🧑 Subject

• 동일하게 임상실습 학생들

⚖ Rules

• 주 2회의 WBA 규정은 유지

👥 Community

• 동일한 8개 실습 환경

🛠 Division of Labor

• 학생 또는 감독자가 작성 가능(자가작성 허용됨)

🎯 Outcome

• 실시간 피드백 증가, 학습과 성찰 중심 피드백, 구두/서면 피드백 병행

---

📊 하단 표 요약: CHAT 요소별 주요 긴장 비교

 

CHAT 요소 간 관계	2019년(Year 1)의 긴장	2020년(Year 2)의 변화
Object vs. Object	WBA 피드백이 총괄평가로 오해됨	형성평가 목적에 대한 이해 향상
Tool vs. Object	복잡한 도구 설계로 인해 피드백 지연 발생	모바일 기반 도구로 실시간 피드백 가능
Division of Labor vs. Object	감독자에게 WBA 작성 부담 집중	학생의 자가작성 기능으로 긴장 완화
Rules vs. Object	WBA가 체크리스트처럼 수행, 학습 기회로 인식되지 않음	학생 자율성 증가로 규정에 대한 인식 개선
Community vs. Object	임상실습별 문화 차이로 WBA 사용에 차이 발생	문화적 긴장 일부 해소됨 (도구 개선 및 참여 확대 영향)

---

✅ 핵심 해석

• 이 그림은 도구의 단순한 업그레이드가 아니라, 역할 분담, 문화, 규칙, 인식 등 활동 시스템 전반의 상호작용이 함께 진화하면서 피드백의 질과 학습 효과가 향상됨을 보여줍니다.
• 특히 학생이 주체가 되어 도구를 활용하고 피드백을 이끌어내는 방향으로의 전환은, 형식적 ‘과제’에서 실제 ‘학습 기회’로의 전환을 가능하게 했습니다.
• CHAT은 이러한 복잡하고 다층적인 변화를 분석하고 해석하는 데 매우 강력한 이론적 렌즈로 작동했습니다.

---

필요하시면 이 도표를 기반으로 슬라이드 요약, 강의 자료, 논문 발표 시 설명용 해석 문구도 제공해드릴 수 있습니다.

 

 

Beyond Checking Boxes: Exploring Tensions With Use of a Workplace-Based Assessment Tool for Formative Assessment in Clerkships

 

 

 

 

---

🩺 전공의 임상교육에서 효과적인 피드백이란?

― 최근 체계적 문헌고찰을 통해 본 핵심 원칙과 모델들

안녕하세요!
오늘은 전공의 임상교육(Postgraduate Medical Education)에서 ‘피드백(feedback)’을 어떻게 주는 것이 가장 효과적인 방식인지에 대해 다룬 최근 논문 하나를 소개드릴게요. 이 논문은 단순한 제언 수준이 아니라, 관련 문헌을 전반적으로 정리하고 분석한 **체계적 문헌고찰(Systematic Review)**이에요. 덕분에 피드백에 대해 갖고 있던 여러 궁금증들을 명확하게 정리해주는 느낌이었습니다.

🔍 논문 개요

이 논문은 임상 현장에서 감독자(supervisor)가 피감독자(supervisee, 주로 전공의)에게 피드백을 제공할 때, 과연 어떤 방식이 가장 효과적일지를 파악하기 위해 다양한 모델과 원칙들을 분석한 체계적 고찰이에요. 연구진은 이렇게 말합니다:

“We aimed to systematically and critically review the empirical evidence focusing on the provision of effective feedback in clinical supervision in postgraduate medical education.”
→ 우리는 전공의 임상 교육에서 효과적인 피드백 제공에 관한 경험적 근거를 체계적이고 비판적으로 고찰하고자 했다.

 

그리고 부차적인 목적은 이렇습니다:

“Our secondary aim was to identify the common and differentiating components of models and guidance relating to the provision of effective feedback in this context.”
→ 이 맥락에서 모델들과 가이드라인의 공통점과 차이점을 규명하는 것이었다.

---

1️⃣ 도입: 피드백에 대한 새로운 관점

예전에는 피드백을 단순히 "감독자가 피감독자에게 정보를 전달하는 것"으로 생각했어요. 하지만 요즘은 피드백을 ‘대화’로 바라보는 시선이 늘고 있습니다. 즉, 피감독자가 수용하고 활용할 수 있도록 **공동 성찰(joint reflection)**을 이끄는 방식이죠.

“There is a growing trend towards thinking about feedback as a conversation… with the supervisor facilitating joint reflection on the supervisee’s performance and ways to improve it.”
→ 피드백을 대화로 인식하려는 경향이 증가하고 있으며, 이때 감독자는 피감독자와 함께 수행을 돌아보고 개선 방안을 모색하는 역할을 한다.

 

하지만 실제 현장에서의 간극은 존재합니다. 감독자는 보통 “충분히 피드백을 준다”고 느끼는 반면, 피감독자는 “양도 적고 질도 떨어진다”고 느끼는 경우가 많아요. 이를 해결하기 위해 여러 피드백 모델과 가이드라인이 소개되어 왔지만, **경험적 근거(empirical evidence)**가 얼마나 탄탄한지에 대한 질문은 여전히 남아 있었죠.

---

2️⃣ 본론: 문헌고찰을 통해 발견한 주요 결과들

📚 포함된 연구 개요

• 총 4745개의 문헌을 검색했고, 이 중 51편이 포함 기준을 충족했어요.
• 그 중 **12편은 경험적 연구(empirical studies)**였고, 나머지는 이론 기반 논문이었습니다.

경험적 연구들은 대부분 질적으로 fair한 수준으로 평가되었고, **피드백의 효과성(effectiveness)**은 주로 **감독자와 피감독자의 인식(perceptions)**에 근거해서 평가되었어요. 단 한 편만이 행동 변화를 직접 측정했다고 하니, 이 부분은 좀 아쉬운 지점이었죠.

---

🧱 주요 피드백 모델들과 그 공통 요소

총 21개의 피드백 모델을 분석했는데, 이 중 10개 이상(50% 이상)에서 공통으로 포함된 ‘핵심 구성 요소(core components)’는 다음과 같아요:

• 피감독자의 자기평가(self-assessment) 유도
• 개선이 필요한 영역 언급
• 개선 제안 제공
• 개선 계획(improvement plan) 수립

이 외에도 20~50%의 모델에서 나타난 ‘공통 구성 요소(common components)’는 다음과 같아요:

• 교육적 동맹(educational alliance) 형성
• 목표 검토와 초점 설정
• 구체적이고 행동 중심적인 내용
• 직접 관찰 기반 피드백
• 잘한 점 강조
• 피감독자의 피드백 인식 탐색

📌 재밌는 점은, 다양한 모델들이 이들 구성 요소를 중심으로 서로 큰 충돌 없이 일관된 원칙을 공유하고 있다는 점이었어요.

---

🧠 효과적인 피드백의 공통 원칙들

문헌에서 공통적으로 등장한 ‘효과적인 피드백의 원칙들’ 중 일부는 다음과 같아요:

• 구체성(Specificity)
• 시기적절함(Timeliness)
• 비판단적 언어 사용(Descriptive, non-judgemental language)
• 정기적인 피드백(Regularity)
• 대면(face-to-face) 피드백

이 중 일부는 기존 모델에 반영되지 않았다는 점이 흥미롭죠. 예를 들어 정기적인 피드백 제공이나 비판단적 언어 사용은 모델보다는 문헌에서 더 많이 강조된 원칙이에요.

---

3️⃣ 후반부: 감독자의 태도와 피드백의 관계, 그리고 현실의 복잡성

연구진은 이렇게 말합니다:

“Effective feedback is not about just delivering a message; it involves facilitating a conversation to collaboratively understand the supervisee’s performance and find ways to enhance it.”
→ 효과적인 피드백은 단순한 전달이 아니라, 피감독자의 수행을 함께 이해하고 개선 방법을 찾기 위한 대화를 이끄는 것이다.

 

그리고 감독자가 단지 지식을 아는 것만으로는 부족하고, 다음과 같은 개인적 자질이 매우 중요하다고 강조해요:

• 태도(attitudes)
• 가치관(values)
• 동기(motivation)
• 헌신(commitment)

또한, **감독자의 이중 역할(conflicting roles)**이 피드백에 부정적 영향을 줄 수 있다는 점도 짚고 넘어갑니다.

“When conflicting roles are unaddressed, it can lead to a rupture in the educational alliance and limit a supervisee’s openness to disclosing areas they would benefit from improvement in.”
→ 상충되는 역할이 명확히 다뤄지지 않으면 교육적 동맹이 깨지고, 피감독자는 자신의 개선이 필요한 영역을 드러내는 데 주저하게 된다.

---

🧭 결론: 통합 모델의 의미와 향후 연구 방향

결론적으로, 모델 자체를 뒷받침하는 경험적 근거는 아직 제한적이지만, 피드백 원칙 자체에 대해서는 문헌 전반에서 상당한 합의가 이루어졌다는 점이 위안이 됩니다.

 

연구진은 다음과 같이 마무리합니다:

“We envisage that the principles outlined in our composite model emerging from this review will be of practical assistance to supervisors in working collaboratively with supervisees to deliver feedback effectively.”
→ 우리는 이번 고찰을 통해 도출된 통합 모델의 원칙들이, 감독자가 피감독자와 협력적으로 효과적인 피드백을 제공하는 데 실질적인 도움이 될 것이라 기대한다.

---

🩺 도입(Introduction)

Clinical supervision은 **전공의 교육(postgraduate medical education)**의 핵심 요소입니다.¹–³ 감독자가 피감독자에게 그들의 수행(performance)에 대해 제공하는 *피드백(feedback)*은, **효과적인 임상 지도(clinical supervision)**의 핵심 구성 요소로 간주되며,⁴–⁶ 피감독자의 학습과⁴ 수행 향상⁴ ⁷–⁹을 촉진합니다. 전통적으로 피드백은 감독자가 피감독자의 수행의 어떤 측면에 대해 **일방향적(one-way)**으로 정보를 전달하는 것으로 개념화되었습니다.¹⁰ 하지만 최근에는 피드백을 **대화(conversation)**로 간주하려는 경향이 증가하고 있습니다. 이때 감독자는 피감독자의 수행에 대해 **함께 성찰(joint reflection)**하고, 이를 어떻게 향상시킬 수 있을지에 대해 함께 논의하는 역할을 수행합니다.⁴ ¹¹ ¹²

 

이러한 *현대적인 개념화(contemporary conceptualisation)*에서 핵심은, 학습자(피감독자)를 적극적으로 참여시키는 것이며, 이는 피드백을 **수용(acceptance)**하고 **개선에 활용(use)**할 수 있도록 하기 위한 목적입니다.⁴ ¹¹ ¹²

 

감독자들은 일반적으로 충분하고 빈번하게 피드백을 제공한다고 믿고 있습니다.⁴ ⁸ ¹⁰ ¹³ ¹⁴ 하지만, 피감독자들은 자신이 받은 피드백이 양과 질 모두에서 부족하다고 인식하는 경향이 있습니다.⁴ ⁷ ⁸ ¹⁰ ¹³ ¹⁴ 효과적인 피드백을 제공하기 위한 가이드라인은 문헌상 존재하며, 대표적으로는

• Feedback Sandwich 모델,⁷ ⁸
• Pendleton’s rules,⁶–⁸
• ALOBA principles⁶ 등이 있습니다.

하지만 **이러한 가이드라인이 실제 경험적 근거(empirical evidence)**에 의해 얼마나 뒷받침되는지는 명확하지 않습니다.

본 연구의 목적은 전공의 임상 교육 상황에서 효과적인 피드백 제공에 대한 경험적 근거를 체계적이고 비판적으로 고찰하는 것이며, 부차적 목적으로는, 해당 문맥에서 사용되는 피드백 모델들과 가이드라인의 공통 요소와 차별 요소를 규명하고자 하였습니다.

---

🔍 연구 방법(Method)

본 연구는 **체계적 문헌고찰(Systematic Review)**로, **PRISMA 가이드라인(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)**¹⁵을 따랐으며, 연구 프로토콜은 PROSPERO에 등록하였습니다.¹⁶

📌 포함 기준 (Eligibility Criteria)

우리는 다음과 같은 조건을 만족하는 경험적(정성적 또는 정량적) 및 이론적 문헌을 찾고자 하였습니다:

• Population (대상): 전공의 의학 교육 맥락에서 임상 지도를 받는 의료 종사자(medical practitioners)
• Intervention (중재): 효과적인 피드백 제공을 목적으로 하는 모델 또는 가이드라인
• Outcome (결과): 피드백이 *효과적(effective)*이었는지를 중심으로 평가
  → 예: 피감독자의 행동 변화, 감독자 및 피감독자의 태도나 인식
• Comparator (비교군): 대부분의 문헌이 비통제(uncontrolled)일 것이라 예상되어 비교군 기준은 정의하지 않았음
• 제외 기준: 언어 및 출판연도에 제한을 두지 않음

---

🗂 정보 출처 (Information Sources)

예비 검색 후, JW가 아래 데이터베이스에서 정식 검색을 수행하였습니다:

• PubMed
• EMBASE
• PsycINFO
• CINAHL
• The Cochrane Library

최종 데이터 추출일은 2019년 8월 25일입니다. 또한, 선별된 경험적 문헌의 참고문헌 목록을 통해 추가 자료를 찾았으며, **해당 문헌의 교신저자들(corresponding authors)**에게 이메일을 통해 추가 연구 및 미출간 자료도 요청하였습니다.

---

🔍 검색 전략 (Search Strategy)

전체 검색 전략은 **보조 파일 1 (online supplemental file 1)**에 제공되어 있으며, PubMed에서 사용된 최종 검색어는 다음과 같았습니다:

‘(postgrad* OR trainee* OR doctor* OR physician* OR medical practitioner*) AND feedback AND (supervis* OR clinical teach*)’

---

✅ 연구 선정 (Study Selection)

문헌 선정 절차는 **도표(Figure 1)**에 요약되어 있습니다.

• JW가 모든 검색 결과를 EndNote X9에 불러온 후, 중복 문헌을 제거하고, 제목과 초록(Title and Abstract) 수준에서 1차 선별을 실시하였습니다.
• 전문(full-text) 수준에서의 포함 여부는 두 명의 저자(CR, JW)가 독립적으로 평가하였고, 논의와 합의를 통해 결정하였습니다.

---

🧪 질 평가 (Quality Appraisal of Empirical Studies)

포함된 경험적 연구들은 Critical Appraisal Skills Programme (CASP) 체크리스트¹⁷를 사용하여 평가했습니다. 단, **설문조사(survey methodology)**를 사용한 연구에는 Center for Evidence-Based Management tool¹⁸을 사용했습니다.

• 두 명의 저자(CR, JW)가 독립적으로 체크리스트를 완료하고, 연구들을 poor / fair / good로 평가하였습니다.
• 이후 **제3의 저자(SP)**가 이 평가를 검토하고, 직접 체크리스트를 작성한 후, CR, JW와의 논의를 통해 최종 합의에 도달했습니다.

→ 전체 체크리스트 및 평점은 보조 파일 2에 수록되어 있습니다.

 

---

📊 자료 수집 및 분석 (Data Collection and Synthesis)

📌 1. 경험적 연구 (Empirical Studies)

두 명의 연구자(CR, JW)가 각각 독립적으로 경험적 논문에서 자료를 추출하였고, 불일치는 **제3의 연구자(SP)**와의 논의를 통해 **합의(consensus)**에 도달하였습니다.

• 메타분석(meta-analysis), 출판 바이어스에 대한 통계적 평가, **민감도 분석(sensitivity analysis)**은 **비교 가능한 연구가 충분하지 않아 수행되지 않았습니다.**¹⁹
• 데이터는 **표 형식(tables)**과 **서술적 종합(narrative synthesis)**을 통해 요약되었으며, 특히 포함된 연구의 질에 초점을 맞추었습니다.

---

📌 2. 피드백 모델 및 가이드라인 (Feedback Models and Guidance)

• JW는 이론적 및 경험적 논문에서 효과적인(effective), 비효과적인(ineffective) 피드백에 관한 모델과 가이드라인의 내용을 추출하였습니다.
• 정성적 내용 분석(qualitative content analysis) 방법론²⁰ ²¹을 사용하여 피드백과 관련된 핵심 주제(theme), 원칙(principle), **구성 요소(component)**를 식별하고, 각각이 얼마나 널리 인용되었는지와 경험적 근거의 유무를 확인하였습니다 → ⬅ 보조 파일 3(online supplemental file 3) 참조
• CR은 이 데이터를 독립적으로 검토 및 검증하였습니다.
• 이후, 효과적인 피드백과 비효과적인 피드백의 원칙들을 요약표(summative table) 형태로 정리하였습니다
  → ⬅ 보조 파일 4
• 또한 JW는 개별 피드백 모델들이 해당 핵심 원칙들을 포함하고 있는지를 분석하였습니다
  → ⬅ 보조 파일 5
• **핵심 구성 요소(core components)**는 전체 모델 중 50% 이상에 포함된 요소,
  **공통 구성 요소(common components)**는 20% 이상에서 나타난 요소로 정의되었습니다.
• 이러한 기준에 따라, 효과적 vs 비효과적 피드백의 공통 원칙을 표 형식으로 정리하고,
  전체 문헌에서 도출된 효과적인 피드백 제공을 위한 가이드라인을 도식화된 형태로 시각화하였습니다.

---

🧾 결과 (Results)

🔎 검색 결과 요약

총 4745개의 문헌이 검색되었으며, 이 중 51개 문헌이 본 고찰에 포함되었습니다. 이 중 **12개는 경험적 데이터(empirical data)**를 보고하고 있었습니다. 검색, 스크리닝, 제외, 포함 과정을 요약한 PRISMA 흐름도는 Figure 1에 제시되어 있습니다.

---

📚 경험적 연구 개요 (Empirical Studies)

• 포함된 12개의 경험적 연구 중:
  • 7편은 정성적 연구(qualitative)
  • 4편은 정량적 연구(quantitative)
  • 1편은 *혼합 방법 연구(mixed-methods)*였습니다.

→ 정성적 연구와 정량적 연구는 각각 표 1, 표 2에 요약되어 있으며, 혼합 방법 연구는 두 표에 분할 포함되어 있습니다.

• **무작위 대조 연구(Randomised Controlled Trial, RCT)**는 1편뿐이었으며, 나머지 연구들은 **비통제 설계(uncontrolled design)**로 근거 중심 의학의 근거 수준에서 낮은 수준으로 평가되었습니다.²²–²⁴
• 피드백의 **효과성(effectiveness)**은 주로 다음의 인식(perceptions)을 통해 평가되었습니다:
  • 피감독자(supervisees): ⁵ ²⁵–³²
  • 감독자(supervisors): ²⁹–³²
  • 동료들(colleagues): ²⁹
• 단 1편의 연구만이 **피감독자의 수행(performance)**에 대한 직접적인 영향을 탐구하였습니다.³⁴

---

🧠 정성적 연구 (Qualitative Studies)

• 정성 연구 8편(혼합 연구 포함) 중:
  • 4편: ‘낮은(‘poor’) 질’로 평가됨
  • 3편: ‘보통(‘fair’) 질’
  • 1편: ‘높은(‘good’) 질’
• ‘poor’ 평가를 받은 연구:
  • 피감독자 인터뷰 연구 2편²⁵ ²⁷
  • 피드백 경험에 대한 내러티브 탐구 1편⁵
  • 훈련생 및 감독자의 인식을 탐색한 탐색적 연구 1편²⁶
• ‘fair’ 평가 연구:
  • 특정 피드백 모델을 적용하고, 피드백 회의 녹취록을 분석하거나 감독자 및 피감독자와 디브리핑 회의를 진행함³⁰–³²
• ‘good’ 평가 연구:
  • 피드백 대화의 녹취록을 분석하여 **상호작용 유형(one-way vs two-way)**을 포함한 상호작용 형태를 식별³³

---

📌 특정 피드백 모델을 탐구한 3개의 연구

✅ R2C2 모델 (fair-quality 2편)³⁰ ³¹

• 구성 단계:
  1. 관계 형성(Rapport and Relationship)
  2. 피드백에 대한 반응 탐색(Reaction)
  3. 피드백 내용(Content) 이해 확인
  4. 수행 변화(Coaching) 계획
• 피드백 대화에 피감독자가 적극 참여하도록 돕는 데 효과적이며, 수행 개선 계획 수립 및 행동 변화로 이어졌다고 보고됨

✅ ECO 모델 (fair-quality 1편)³²

• 구성: 감정(Emotion) → 내용(Content) → 결과(Outcome) 순으로 다룸
• 감독자 및 피감독자 모두 긍정적으로 평가하며, 피감독자는 개선 영역에 따라 실제 행동 변화가 있었고, 감독자는 실제 실무 변화를 목격하였다고 보고

---

🔍 구체적 모델이 아닌 원칙 중심 연구 (5편)

효과적인 피드백의 공통 구성 요소로 다음이 보고됨:

• 존중적이고 우호적인 교육 분위기 조성
• 정기적이고 시기적절한 피드백 제공
• 구체적이고 명확한 피드백
• 직접 관찰에 기반한 피드백
• 비판단적(non-judgemental) 접근
• 개선 계획 수립

이러한 원칙들은 대부분 **피감독자의 인식(perception)**을 통해 도출되었으며,
피감독자가 유익하다고 느낀 피드백 사건과 연관됨

---

📈 정량적 연구 (Quantitative Studies)

• 정량 연구 5편(혼합 연구 포함) 중:
  • 4편: ‘보통(fair)’ 질
  • 1편: ‘낮은(poor)’ 질 (회의 초록만 존재)²⁸
• RCT 연구(fair-quality):
  • metrics-based vs non-metrics feedback 비교: 초음파 시술에서 단계 수행 증가, 오류 감소³⁴
• 문서화된 실행 계획과 피드백 간 연관성을 분석한 연구 1편: 피드백 상호작용이 아닌 문서 양식 분석에 국한³⁵
• 다중 출처 피드백(multi-source feedback) 도구를 평가한 연구 1편: 전반적으로는 긍정적 평가, 그러나 감독자와 피감독자의 인식 차이 존재²⁹
• 도움이 된(helpful) vs 도움이 안 된(unhelpful) 피드백을 비교한 연구 1편⁵:
  • 도움이 된 피드백의 9가지 기법:
    예: 친근하고 존중하는 분위기 조성, 비판단적 접근
  • 도움이 안 된 피드백의 5가지 기법:
    • 피드백 전에 피감독자의 생각/감정을 묻지 않음
    • 개선 제안 없음
    • 목표 기반 아님
    • 양이 너무 많거나 적음
    • 판단적인 태도

---

🧱 문헌에 나타난 피드백 모델 (Feedback Models in the Literature)

총 21개의 피드백 모델이 임상 감독(clinical supervision)에서 효과적인 피드백을 다루는 것으로 확인되었습니다
→ ⬅ 보조 파일 5(online supplemental file 5) 참조

📌 핵심 구성 요소(Core Components)

전체 모델의 ≥50% (n≥10) 이상에서 공통적으로 나타난 핵심 요소는 다음과 같습니다:

• 피감독자의 자기평가(self-assessment)를 유도함
• 개선이 필요한 영역을 언급함
• 개선 제안(suggestions for improvement)을 제공함
• 개선 계획(improvement plan)을 수립함

📌 공통 구성 요소(Common Components)

*전체 모델의 ≥20%~50% (n≥5)*에서 발견된 공통 요소는 다음과 같습니다:

• 교육적 동맹(educational alliance) 구축
• 피감독자의 목표를 검토하여 피드백의 초점을 설정함
• 피감독자의 자기평가를 다룸
• 피드백 내용은 구체적이고(specific), **행동 중심적(behaviourally focused)**이며,
  가능하다면 직접 관찰(first-hand observations)에 기반하고, 잘 수행된 점에 대한 긍정적 언급을 포함함
• **피감독자의 피드백에 대한 인식(view)**을 탐색함

💡 중요한 점: 모델 간에 상충되는 원칙이나 구성 요소는 발견되지 않았습니다.

---

📂 모델의 유형 분류 (Types of Feedback Models)

각 모델은 강조하는 측면에 따라 다음의 세 가지로 분류되었습니다:

유형	비율(n)	예시 모델
구조 중심(structure-focused)	76% (n=16)	Feedback Sandwich, Pendleton’s Rules
내용 중심(content-focused)	33% (n=7)	Chicago Model, A Feedback Model (단, 후자는 구조 중심에 포함되지 않음)
지원 중심(supportive-focused)	14% (n=3)	R2C2, COACH
기타 분류 불가	1개 모델	Student/trainee-centred model (세부 정보 부족으로 분류 어려움)

---

🔬 경험적 검증이 이루어진 모델

• **21개 모델 중 단 2개(10%)**만이 경험적 연구에 의해 뒷받침됨:
  • R2C2 model
  • ECO model
• 핵심 원칙(core principles) 포함 비율:
  • R2C2 모델: 75% (n=3)
  • ECO 모델: 50% (n=2)
• 공통 요소(common features) 포함 비율:
  • 각 모델 모두 37.5% (n=3)를 포함

---

📜 효과적/비효과적 피드백의 원칙 (Principles of Effective and Ineffective Feedback)

전공의 임상 교육 문헌에서 다양한 효과적 및 비효과적 피드백의 원칙이 확인되었습니다.

• 20% 이상(n≥10)의 문헌에서 반복적으로 언급된 **공통 원칙(common principles)**은 표 3에 정리됨
  → ⬅ 보조 파일 4 참조
• 각 원칙은 경험적 연구에 의해 어느 정도 지지되며, 대부분은 ‘보통(fair)’ 수준의 연구에서 도출됨
• 가장 많이 언급된 효과적 피드백의 원칙:
• ‘구체적으로 제공하기(being specific)’

---

⚠️ 모델과 불일치하는 원칙들

다음 두 가지 원칙은 많이 언급되었음에도, 피드백 모델 내 공통 구성 요소로 포함되지 않았습니다:

1. 시기적절한 피드백 제공(timely feedback)
2. 판단적이지 않은 언어 사용(descriptive rather than judgemental language)

또한, 아래 두 원칙은 어떠한 모델에서도 나타나지 않았지만, 문헌상에서 자주 언급된 효과적인 피드백의 원칙입니다:

• 정기적인 피드백 제공(regular feedback)
• 대면 피드백(face-to-face feedback)

---

⚖️ ‘평가적 진술(evaluative statements)’에 대한 문헌 내 상반된 입장

• 다수의 문헌에서는 비판단적 언어(non-evaluative language) 사용의 중요성을 강조함⁶ ⁷ ³⁶ ³⁷ ⁴⁰ ⁴¹
  → 감독자의 **평가적 언급은 피감독자의 방어적 태도(defensiveness)**를 유발할 수 있어 학습에 방해됨
• 반면, **일부 문헌에서는 수행 기준(performance standards)**과의 비교를 권고함⁴ ⁴²
  → 피감독자가 격차(gaps)를 명확히 인식할 수 있도록 하기 위함
• 한 연구는 동기 유발에 도움이 된다면 평가 기준과의 연결이 바람직하다고 하며,
  **비교가 좌절감을 유발할 경우에는 자가 향상(personal excellence)**에 초점을 둘 것을 제안함¹⁰

---

🧩 효과적인 피드백 제공을 위한 통합 모델 (Composite Model)

문헌에 나타난 다양한 가이드라인을 종합하여
__임상 감독 상황에서 효과적인 피드백 제공을 위한 ‘통합 모델(composite model)’__을 제시함
→ ⬅ Figure 2 참고

이 모델은 다음을 포함합니다:

• 모든 핵심 및 공통 구성 요소와 원칙
• 모델 외 문헌에서 제안된 공통 원칙들

📌 통합 모델의 주요 강조점

• 교육적 동맹(educational alliance) 형성의 중요성
• 여러 단계에서 피감독자의 의견을 수렴하고 그에 따라 피드백을 **유연하게 조정(adapt)**할 것
• **직접 관찰(first-hand observation)**의 중요성 강조
• **구체성(specificity)**과 개선 계획 수립(improvement planning) 강조

✅ 이 모델은 기존의 개별 모델들보다 구조적(structural), 내용 기반(content-based), 지원 중심(supportive) 측면 모두를 아우르는 보다 포괄적인 접근을 제시합니다.

---

💬 논의 (Discussion)

임상 감독 상황에서 효과적인 피드백을 제공하기 위한 다양한 모델들이 존재합니다. 그러나, 이러한 모델 중 경험적 검증을 받은 것은 전체의 10%에 불과하며, **모델 간 비교 효과성(comparative effectiveness)**에 대한 근거는 존재하지 않습니다.

그나마 다행인 점은, 다양한 피드백 모델들 간에 **핵심 및 공통 구성 요소들(core and common components)**이 일관되게 공유되고 있다는 것입니다. 또한, 이 구성 요소들은 **보다 광범위한 문헌에서 제시된 효과적인 피드백 원칙들과도 잘 정렬(alignment)**되어 있었습니다.

 

문헌에서 자주 언급되는 피드백 원칙들은 **일정 수준의 경험적 근거(empirical support)**를 가지며, 그 근거의 대부분은 ‘보통(fair)’ 수준으로 평가된 경험적 연구들에서 도출되었습니다. 이처럼 피드백 모델들의 공통 요소와 효과적 피드백의 원칙들을 식별함으로써, 우리는 **임상 감독 상황에서 효과적인 피드백을 제공하기 위한 통합 모델(composite model)**을 제안하였습니다. 이 모델은 의학교육뿐 아니라 다양한 임상 훈련 분야에서 감독자와 기관 모두에게 실질적으로 유용할 것으로 기대됩니다.

---

🤝 피드백 제공에서 감독자-피감독자 관계의 중요성

임상 감독 상황에서 효과적인 피드백을 제공하는 데 있어, 가장 핵심적인 요소 중 하나는 감독자(supervisor)와 피감독자(supervisee) 간의 관계입니다.

• 감독자가 **교육적 동맹(educational alliance)**을 형성하기 위한 사전 노력을 기울이고,
• 이 동맹을 유지할 수 있도록 개별화된 맞춤형 피드백을 제공하는 것이 중요합니다.

__지원적이고 협력적인 접근 방식(supportive and collaborative approach)__은 피감독자가 피드백을 유효하고 관련성 있는 것으로 인식하고, 실제로 행동으로 옮길 가능성을 높여줍니다.

효과적인 피드백은 단순한 정보 전달이 아니라,
피감독자의 수행을 함께 이해하고 이를 향상시키기 위한 대화(conversation)의 촉진입니다.

---

❓ 형식(formal) vs 비형식(informal), 형성(formative) vs 총괄(summative) 피드백 구분의 모호함

본 고찰에 포함된 많은 논문들이 자신들이 다루는 피드백이 형식적 또는 비형식적인 것인지,
그리고 형성적 또는 총괄적 목적 중 어느 것인지를 명확히 기술하지 않았습니다.⁵ ²⁷ ³⁷ ³⁸

• 일부 문헌은 피드백이 형식적/비형식적 모두에 해당한다고 명시하였고,⁴ ⁶ ⁴¹
• 또 다른 문헌은 형성적/총괄적 목적 모두를 언급했습니다.¹³ ³⁰ ⁴²
• 몇몇은 **형성적 피드백(formative feedback)**에 초점을 두었으며,⁷ ²⁶ ³⁵
• 일부는 **형식적 형성 평가(formal formative assessment)**에 집중했습니다.³⁶

한편, 어떤 논문은 피드백을 **항상 형성적인 것(formative)**으로 간주하며, **총괄적 평가(summative evaluation)**와는 구분된다고 보았습니다.⁴⁰ ⁴³

실제 교육 현장에서는 **형식-비형식, 형성-총괄의 이분법적 구분보다는 연속선(continuum)**으로 존재하며,
이 피드백은 평가와도 통합되어 작동하고 있습니다.⁸ ³⁰

 

본 고찰에서 제시한 원칙들과 통합 모델은,

• 짧고 비공식적인 형성 피드백,
• 직장 기반 평가(workplace-based assessment)를 포함한 형식적 형성 피드백,
• 총괄적 평가 후 제공되는 피드백 등
  __임상 감독 상황에서 이루어지는 모든 형태의 피드백 상호작용에 적용 가능__합니다.

⏩ 따라서, **개인과 관계, 그리고 맥락에 따라 요소들을 조정할 수 있는 유연한 접근(flexible approach)**이 권장됩니다.

---

🚧 기존 문헌의 한계 (Limitations of the Existing Literature)

효과적인 피드백에 관한 가이드라인과 원칙에 대한 신뢰도는 경험적 근거의 수량과 질이 제한적이라는 점에서 영향을 받습니다.

❗ ‘효과적인 피드백’ 정의 및 측정의 문제

• 피드백의 **효과성(effectiveness)**은 주로 감독자와 피감독자의 **주관적 인식(subjective perception)**을 통해 측정됨
• 이는 중요하지만, 피드백의 **주된 목표인 수행 향상(professional development)**을 직접적으로 측정하지는 않음⁴ ¹⁰

🧠 보다 직접적인 측정 지표는 피감독자의 행동 변화, 태도, 지식의 변화일 수 있습니다.

 

하지만 행동 변화를 주요 결과 지표로 삼는 것에는 도전과제와 문제가 존재합니다:

• 감독자가 피감독자의 관점을 탐색하지 않을 경우, 학습 필요를 **오인(misidentify)**할 수 있음⁴⁴
• 관련성이 낮은 피드백은 피감독자의 신뢰감과 자신감 저하를 초래할 수 있음⁴⁴

📉 해로운 피드백의 결과:

• **동기 저하(demotivation)**⁸
• **수행 저하(performance deterioration)**⁸ ¹¹
• **학습과 평가에 대한 소외(disengagement)**⁴⁵
• 자기평가 공유에 대한 회피⁴³

✅ 따라서, 행동 변화 하나만으로 피드백의 효과를 판단하는 것은 충분하지 않음
대신, **피드백에 대한 만족도(satisfaction)**는 보다 실용적인 측정 지표가 될 수 있습니다.⁴⁶

---

👁️ 지각(perception)의 역할

감독자와 피감독자의 피드백에 대한 지각은 피드백이 의미 있는 학습으로 이어지는 정도에 매우 큰 영향을 미칩니다.⁴⁷

• 피감독자가 피드백을 관련 있고 의미 있는 것으로 인식할 경우, 수용하고 행동으로 옮길 가능성이 커집니다.
• 이는 **치료적 동맹(therapeutic alliance)**이 치료 결과에 영향을 미치듯, **교육적 동맹(educational alliance)**이 피드백의 효과성에도 중요한 영향을 미친다는 점을 시사합니다.¹¹

→ 따라서, 임상 감독 하에서의 효과적인 피드백은 개별 맞춤형으로 제공되며, 교육적 동맹을 유지하는 방식이어야 합니다.

---

🔍 향후 연구 방향 (Future Research)

앞으로의 연구는 다음과 같은 한계를 극복해야 합니다:

• 피드백 효과성의 최적 측정 방법은
  • 행동, 태도, 지식 변화라는 객관적 개선 지표와
  • 피드백에 대한 만족도라는 주관적 지표의 **이중 고려(dual consideration)**가 필요
• **평가적 언어(evaluative language)**의 영향은 현재 문헌에서 상반된 결과가 존재하므로,
  더 정교하게 **하위 유형별(subcategories)**로 구분하고 연구될 필요가 있음⁴ ⁶ ⁷ ³⁶ ³⁷ ⁴⁰–⁴² ⁴⁴
• 많은 감독자가 **이중 역할(dual role)**을 가지므로 평가적 언어를 피하기 어려운 구조적 한계도 고려되어야 함⁴⁸ ⁴⁹
• 다른 교육 맥락에서의 피드백 문헌도 비교 검토하여, 의학교육 문헌과의 차이점이나 보완 요소를 규명할 수 있음

---

🧩 보완적 프레임워크의 고려 (Supplementing Feedback Guidance with Broader Supervision Frameworks)

이번 고찰에서 제시된 효과적인 피드백 제공을 위한 가이드라인은 더 넓은 감독(supervision) 프레임워크를 고려함으로써 보완될 수 있습니다. 예를 들어, 심리학 분야에서는 감독의 효과성을 높이기 위해 **역량 기반 임상 감독 모델(competency-based clinical supervision model)**이 개발되었습니다.⁵⁰ 이 모델은 감독자가 **임상 감독 능력(clinical supervision competence)**을 개발하고 이를 명확히 입증할 수 있어야 함을 강조합니다.⁵⁰

• **교육적 동맹(educational alliance)**에 대한 피감독자의 평가와⁵¹
• **감독자의 역량(supervisory competence)**에 대한 평가는⁵² 심리측정 도구(psychometric tools)를 통해 가능하며,
• 피감독자의 평가 외에도, 동료나 ‘감독 전문가’에 의한 감독 역량 평가도 수행될 수 있습니다.⁵²
  예: 감독 세션 녹화 영상을 리뷰하는 방식 등

이러한 감독자 역량 기반 프레임워크는
임상 감독자가 효과적인 피드백을 제공하는 능력을
달성, 유지, 최적화, 평가하는 데에 도움이 될 수 있습니다.

 

이와 같이 피드백 제공에 관한 가이드라인은 다른 프레임워크들과 병행하여 유용하게 활용될 수 있습니다.
하지만 궁극적으로는,

• 감독자의 태도(attitudes),
• 가치관(values),
• 동기(motivation),
• **고품질 감독에 대한 헌신(commitment)**에
  의존하게 됩니다.⁵⁰

---

⚠️ 한계 (Limitations)

본 체계적 문헌고찰은 **전공의 의학교육(postgraduate medical education)**과 **임상 중심 데이터베이스(clinically oriented databases)**에 국한되었습니다.

• 학부 수준 의학교육(undergraduate medical education),
• 비의학 임상 분야(non-medical clinical disciplines),
• **비임상 분야(non-clinical professions)**에서의 감독 및 피드백에 관한 근거는 포함하지 않았습니다.

이러한 명확한 초점 설정은 해당 맥락 내에서의 심층적 이해를 가능하게 해주었지만, 동시에 다른 분야의 감독 효과성에 관한 통찰을 일반화하기에는 한계가 있습니다.

---

🧱 분석 상의 개념적 중복 (Conceptual Overlap in Coding)

본 고찰에서 도출된 모델 구성 요소와 피드백 원칙은 다양한 문헌에서의 **정성적 내용 분석(qualitative content analysis)**을 기반으로 하였습니다. 이 과정에서 **개념 간 중복(semantic overlap)**이 일부 발생하였습니다. 예를 들어,

• *‘개선 제안 제공(providing suggestions for improvement)’*이라는 원칙은,
  • ‘개선 영역 언급(commenting on area for improvement)’
  • *‘개선 계획 수립(developing an action plan)’*과 중복될 수 있습니다.

우리는 이러한 중복을 특정 원칙에 대한 근거를 과대평가하거나,
피드백 제공을 지나치게 단순화하지 않기 위해 허용하였습니다.

---

🧑‍🤝‍🧑 감독자 중심 접근의 한계 (Supervisor-Focused Perspective)

본 고찰은 피드백 제공 시 **감독자의 행동(actions)**에 초점을 맞추고 있으며,

• 피감독자의 역할이나³
• 피드백 수용의 과정은 상대적으로 덜 고려되었습니다.⁴⁸

피감독자의 참여도, 수용성, 반응성은 피드백의 효과성에 직접적인 영향을 미칠 수 있습니다. 또한, **병원 및 보건 조직의 문화(cultural factors)**도 감독 및 피드백의 효과성에 영향을 줄 수 있습니다.³ ⁴³ ⁴⁸

---

🧩 이중 역할(conflicting roles) 문제

일부 전공의 교육 환경에서는 감독자가

• 직속 관리자(line manager) 또는
• 공식 평가자(assessor) 등
  __복수의 상충되는 역할(conflicting roles)__을 수행합니다.⁴⁸ ⁴⁹

이로 인해 감독자는 피드백 제공 시 다음과 같은 복잡성을 경험하게 됩니다:

• 비평가적 언어(non-evaluative language) 사용의 어려움
• **수행 기준(performance standards)**과 연결하지 않기 위한 노력의 어려움

🎯 피감독자는 이 피드백이 진심에서 비롯된 것인지, 아니면 기관의 요구사항을 만족시키기 위한 것인지
의심하게 될 수 있습니다.¹¹

😔 상충되는 역할이 명확히 다루어지지 않을 경우, **교육적 동맹의 파열(rupture)**을 초래할 수 있으며,
피감독자는 자신의 개선이 필요한 영역을 솔직하게 공유하기 꺼리게 됩니다.⁴⁹

---

✅ 결론 (Conclusion)

전공의 의학교육 맥락에서 임상 감독 시 효과적인 피드백 제공을 위한 특정 모델과 가이드라인을 지지하는 경험적 근거는 제한적입니다. 그러나, 본 고찰을 통해 널리 공유되는 피드백 원칙들에 대해서는 일정 수준의 근거가 확인되었습니다. 피드백이라는 복합적이며 다면적인 영역에 대해 향후에는 다음과 같은 연구가 요구됩니다:

• **행동 변화(behavioural change)**와
• **피감독자의 관점 평가(perceptions of supervisees)**를
  통합적으로 고려하는 최적의 피드백 효과 측정 방법 개발

현재 문헌에서는 효과적인 피드백과 그렇지 않은 피드백에 대해 전반적으로 일관된 관점이 제시되고 있다는 점은 고무적입니다.

📌 본 고찰에서 도출된 통합 모델에 포함된 원칙들은
감독자들이 피감독자와 협력적으로(cooperatively) 피드백을 제공하는 데 실질적인 도움이 될 것으로 기대됩니다.

---

 

 

 

Guidance for providing effective feedback in clinical supervision in postgraduate medical education: a systematic review

 

👥 의사의 피어 리뷰(peer review), 정말 배움의 기회가 되나요?

의사들의 **지속적인 전문성 개발(Continuing Professional Development, CPD)**은 이제 너무도 당연한 전제가 되었습니다. 그런데 우리가 정말 주목해야 할 건, 과연 어떤 방식의 피드백(feedback)이 실제로 도움이 되는가? 하는 문제예요.

이번 포스팅에서는 의사들이 실제로 경험하는 피어 리뷰가 어떤 식으로 피드백을 주고받게 되는지, 그 과정이 진짜 학습이 일어나는 순간이 되기는 하는지에 대해 아주 자세히 알아보려 해요.

---

📌 1. 이 연구는 왜 시작되었을까?

CPD에서 피드백은 빠질 수 없는 핵심 요소예요. 예전에는 주로 **자기 주도적 학습(self-regulated learning)**에 기대는 구조였다면, 요즘은 객관적인 외부 피드백이 훨씬 더 중요하게 여겨지고 있죠. 하지만 문제가 있어요. 의사들이 스스로 학습의 필요를 인식하고, 그것을 실제로 개선으로 연결하는 데에는 한계가 있다는 연구 결과들이 점점 많아지고 있어요. 그래서 **북미의 규제기관들(regulatory bodies)**은 단순히 문제 있는 의사를 관리하는 것에서 벗어나, 의사들의 전반적인 진료 향상을 지원하기 위해 의무적 피어 리뷰를 도입하기 시작했어요.

 

하지만!
의사들은 이 피어 리뷰를 환영할까요?
정말 효과적인 피드백 기회로 받아들이고 있을까요?

👉 이 질문에 답하기 위해, 연구팀은 **피어 평가자(peer evaluators, PE)**와 리뷰 대상자(reviewees) 모두의 이야기를 들어보았답니다.

---

🔍 2. 연구는 어떻게 진행됐을까?

✏️ 연구 방법

• 질적 연구(qualitative research) 중에서도 **구성주의 근거이론(constructivist grounded theory, CGT)**을 사용했어요.
• 즉, 특정 가설 없이 인터뷰를 통해 피드백 상호작용의 의미를 참여자의 관점에서 탐색한 거예요.

🏥 연구 맥락

• 캐나다의 두 규제기관에서 운영하는 의무적 피어 리뷰 프로그램을 중심으로 연구를 했어요.
• 리뷰는 동료 의사가 병원이나 진료소를 방문해서 차트 검토와 대화를 나누는 방식으로 진행돼요. 어떤 경우에는 **다면 피드백(multisource feedback)**도 포함돼요.
• 총 30명의 의사가 인터뷰에 참여했고, 이 중 다수는 과거에 PE로도 활동한 경험이 있었어요.

---

📈 3. 리뷰 대상자들은 피드백을 어떻게 받아들였을까?

👍 처음엔 불안하지만… 막상 받아보면 괜찮다?

많은 리뷰 대상자들은 처음엔 굉장한 불안감을 느꼈어요. 규제기관이 나를 평가하러 오는 거니까요.

"Oh my gosh, are they going to pick up on all the things I’m doing wrong?" (P13-PE)

하지만 막상 피드백을 받고 나면, 대부분은 유쾌하고 무난한 경험이었다고 회상해요.

"It actually made me feel good … it was nice to have a peer, you know, point out some positive things." (P08-PE)

특히 **자신감이 부족하거나, '내가 진짜 좋은 의사일까?'라는 의심(imposter syndrome)**을 느끼는 사람에게는 이런 긍정적인 피드백이 꽤 위로가 되었다고 해요.

---

❗그런데 문제는… 학습 효과는 별로?

하지만 많은 참여자들이 공통적으로 말한 건 바로 이거예요:

"칭찬은 많았지만, 구체적이지 않았다."

"Really it was very positive and nothing negative and really not even that much constructive." — P22-R

즉, 기분은 좋았지만 실질적인 학습이나 진료 변화(practice change)로 이어지지는 않았다는 거죠.

또, 리뷰가 주로 **문서화(documentation)**나 행정 절차에 집중되다 보니 진짜 임상 능력을 평가한다고 느껴지지도 않았어요.

"You could be a very good physician and a very bad documenter […] I’m not sure one is correlated with the other to be honest, but that’s what you’re left with."
— P18-R

---

🙄 그래서 전체적인 평가는?

많은 의사들이 이렇게 느꼈어요:

"이거 그냥 '일'이었어. 그것도 무급 노동처럼 느껴지는..."

"It felt like unpaid work. It was a lot of work and definitely for what I got out of it, it wasn’t worth the value."
— P27-R

---

👥 그럼 PE들은 어떻게 느꼈을까?

흥미로운 사실은, PE들 대부분은 리뷰 대상자일 때보다 PE로 활동하면서 더 많이 배웠다고 느꼈다는 거예요.

"I learn a lot of new things, just other people’s techniques … different protocols and stuff that I hadn’t considered."
— P13-PE

 

즉, 다양한 의사들의 진료 스타일을 관찰하고, 피드백을 주고받는 과정이 실제 자기 개발로 이어졌다는 것이죠.

"I learn far more than I impart."
— P01-PE

---

🧠 4. 연구팀의 해석: 피드백은 왜 효과 없다고 느껴질까?

연구팀은 이렇게 말합니다:

"Feedback must shoulder the heavy weight of expectations."
“피드백은 지나치게 큰 기대의 무게를 짊어지고 있다.”

 

즉, 요즘은 피드백이 당연히 나를 '변화시키는(transformative)' 경험이어야 한다고 여겨지기 때문에, 그게 아니면 별로 쓸모 없다고 느껴진다는 거예요. 그런데 현실적으로, 무작위로 선정된 대부분의 의사는 이미 잘하고 있는(safe and competent) 사람이에요. 당연히 큰 변화보다는 **작은 강화(reinforcement)**나 **미세한 조정(tweaking)**이 더 많을 수밖에 없죠. 하지만 그런 피드백은 “별거 아니네” 하고 가볍게 흘려버릴 위험이 크다는 거예요.

---

🔄 5. 대안은? 피드백에서 피드포워드(feedforward)로!

연구팀은 마지막에 이렇게 제안합니다:

"Perhaps it is time for our CPD models to think more in terms of feedforward."

 

📌 **피드포워드(feedforward)**란?

• 평가 전에 무엇이 평가될지, 기준이 무엇인지, 왜 중요한지를 명확히 알려주고
• 리뷰 대상자가 더 적극적으로 자기 평가에 참여할 수 있도록 만드는 접근이에요.

이렇게 하면, 피드백이 비난도, 칭찬도 아닌 ‘학습의 순간’으로 수용될 수 있을 거라는 제안이죠.

---

📚 마무리하며

의무적 피어 리뷰는 어쩌면 의사들에게 학습 기회보다는 행정적 부담처럼 다가오고 있는지도 몰라요. 하지만 우리가 이 과정을 어떻게 설계하고 안내하고 설명하느냐에 따라, 더 의미 있는 학습 기회로 전환할 수 있는 여지는 분명 존재합니다. 그 시작은 기대치를 조정하는 것, 그리고 변화를 강요하지 않아도 괜찮다는 인식을 넓히는 데서 출발할 수 있어요. 🌱

---

 

 

 

지속적인 전문성 개발과 피드백의 역할

지속적인 전문성 개발(Continuing Professional Development, CPD)은 이제 전 세계 대부분의 관할구역에서 활동하는 의사들에게 필수적인 것으로 받아들여지고 있다.¹ 사실상, **안전하고 효과적인 환자 진료(safe and effective patient care)를 보장하는 것은 지속적으로 진료 개선(practice improvement)에 참여하는 것에 달려있다는 점이 당연한 것으로 여겨지고 있다.**²

 

과거 CPD의 전통적 모델에서는 책임의 대부분이 개인 전문가에게 부여되었다(즉, 자율규제(self-regulation)에서 ‘자신(self)’에 초점이 맞추어졌다).³ 그러나 최근의 연구는 의사가 스스로 자신의 지식이나 수행의 부족한 부분을 정확히 파악하고, 이를 학습을 통해 보완할 수 있을지에 대해 의문을 제기하고 있다.⁴

 

자기평가(self-assessment)의 한계에서 오는 어려움을 인식하면서,⁵,⁶ **의료계는 의사가 자신의 수행(performance)에 대한 유효한 통찰(insight)을 얻기 위해서는 신뢰할 수 있는 외부의 명시적 피드백(explicit feedback from credible external sources)이 필요하다는 점을 이해하게 되었다.**⁷

 

이러한 문제의식에 대응하기 위해, 북미의 규제기관(regulators)은 의사의 수행이 기준 이하일 경우에만 제한하거나 개선 조치를 취하는 소극적(reactive) 규제 모델에서, **모든 의사의 진료 개선을 촉진하고 지원하려는 적극적(proactive) 모델로 전환하기 시작하였다.**⁸,⁹ 이러한 변화는 종종 규제기관이 의사를 대신하여 마련하는, **의무적으로 진행되는 동료 심사(peer review)**를 통한 피드백 제공을 포함하게 된다. 하지만 이 같은 노력은 엇갈린 반응을 받아왔다. 예를 들어, 외과의사들은 이론적으로는 동료 코칭(peer coaching)의 가치를 인정하면서도, 실제 실행에 대해서는 여러 가지 의구심과 우려를 표한 바 있다.¹⁰ 유사하게, Lockyer 등(2018)은 5년간 진행된 다면평가(multisource feedback, MSF) 프로그램의 종단적 연구를 평가한 결과, “의사들은 동료, 직장 동료 또는 환자들로부터 받은 데이터를 자기평가에 잘 반영하지 않는 것으로 보인다.”¹¹(pS78,S79)는 결론을 내렸다.

 

관계중심적 코칭(Relationship-centered coaching)은 도움이 되는 것으로 보이지만,⁸ 이것만으로 모든 문제가 해결되는 것은 아니다. 사실 피드백 자체가 점점 더 **복잡한 상호작용 활동(complex interactive activity)**으로 이해되고 있으며,⁷,¹² 여기서 문화(culture),¹³ 개인의 자신감(confidence),¹⁴ 그리고 피드백을 제공하는 사람에 대한 신뢰도(credibility of the feedback source)¹⁵-¹⁸ 등이 피드백이 행동 변화로 유의미하게 이어질 가능성에 영향을 줄 수 있다.

 

그러나 이 영역에서 수행된 연구의 대다수는 학부 및 대학원 수준에서 이루어졌으며, 이 수준에서는 학습자가 자신의 능력을 입증하는 동시에 전문성을 갖추기 위해 노력하는 과정에서 피드백을 원하는 동시에 두려워하는 긴장(tension)이 흔히 나타난다.¹⁹-²² 의사들이 실제 임상 업무에 정착하면서 이러한 긴장이 어떻게 해소되는지, 아니면 지속되는지에 대해서는 명확하지 않다. 한편으로, 임상에서 활동하는 의사들은 학생 시절처럼 임상 감독자에게 자신의 능력을 보여줘야 하는 압박이나 공식적 평가에서 벗어나, 좀 더 안전하고 진정성 있게 학습 기회에 참여할 수 있게 된다. 반면에, 의학은 독립적인 진료(independent practice)를 매우 중시하는 문화가 있으며, 이를 전문가로서의 정체성의 핵심 요소로 간주하는 경우가 많아, 의무적인 동료 심사(peer review)가 오히려 자율성에 대한 위협(high-stakes impingement on autonomy)으로 여겨질 위험이 있다.²³

 

따라서, 임상에서 의사들의 진료 개선(practice improvement)을 지원하려는 노력을 극대화하기 위해서는 다음 두 가지 측면에 대해 더 잘 이해할 필요가 있다.

• 어떤 종류의 평가와 피드백이 전문성 개발을 유의미하게 도울 수 있는지
• 피드백의 신뢰도를 저해하는 것으로 인식되는 요소들을 학습을 촉진하는 긍정적인 요소로 전환할 수 있는지

규제기관이 주관하는 동료 심사(peer review)는 총괄평가(summative)와 형성평가(formative)의 목표를 모두 지닌 복합적(hybrid) 평가이기 때문에, 이 연구를 수행하기 위한 유용한 맥락(context)을 제공한다. 이에 본 연구의 목적은 다음과 같다:

“이러한 맥락에서 의사들이 피드백에 어떻게 참여(engage)하는지 탐구하는 것이다.”

---

 

방법(Method)

연구 설계

우리는 *사회적 과정(social processes)*을 탐구하는 **질적 연구 방법론(qualitative research methodology)**인 **구성주의 근거이론(Constructivist Grounded Theory, CGT)**을 활용하였다.²⁴ 이 방법론을 통해, **형성적 목적을 가지고 설계되었지만 결과적으로 총괄적 영향(summative influence)을 가질 수 있는 피어 피드백 상호작용(peer feedback interactions)**이 어떻게 구성되고 인식되는지를 귀납적으로(inductively) 이해하고자 하였다.

---

맥락(Context)

캐나다에서 **의사의 진료(practice)는 각 주(province)의 규제 기관인 “College”를 통해 규제(regulation)**된다. 이들 College는 공공의 안전을 보호해야 할 법적 의무를 지니고 있다. 진료 기준(practice standards)의 준수를 보장하기 위해, 다수의 College들은 정기적으로 의사를 선정하여 **의무적 진료 평가(mandatory practice review)**를 시행한다.

 

이러한 선정 과정은 *무작위(random)*일 수도 있고, *위험 요소(risk factors)*에 기반한 **표적 선정(targeted)**일 수도 있다. 선정 및 평가 과정의 세부 사항은 기관마다 다르며, 연구에 포함된 프로그램의 익명성 보장을 위해 더 자세한 내용은 공개하지 않았다.

 

일반적으로 프로그램은 **피어 평가자(Peer Evaluators, PEs)**를 지정하여 의사의 진료소 및 차트 검토(chart review)를 수행하게 한다. 이와 함께 **피어 간의 토론(peer discussion)**도 일상적으로 포함되며, 이는 의사의 진료 패턴을 더 잘 이해하기 위한 목적이다. 일부 프로그램에는 다면평가(multisource feedback, MSF) 요소도 포함되어 있으며,²⁵ 작성된 보고서 형태의 피드백이 제공되고, College의 정책에 따라 피어 토론 과정에서 코칭이 추가될 수도 있고, 아닐 수도 있다.

---

피어 평가자(PE)의 역할과 훈련

PE는 일반적으로 과거에 피어 리뷰를 성공적으로 받은 경험이 있는 의사 중에서 지원 또는 초청을 통해 선발된다. 이들은 R2C2 모델(관계 Relationship, 반응 Reaction, 내용 Content, 코칭 Coaching)을 사용하여 피드백을 제공하도록 훈련받는다.²⁶

 

이 모델은 일대일(one-on-one) 코칭 접근법으로, **신뢰 관계 구축(rapport)**과 **성찰 유도(reflection)**를 통해 **피드백 대화(feedback conversation)**를 이끌어내는 데 중점을 둔다. PE는 연중 추가 교육(training sessions)에 참여할 것으로 기대된다.

---

참여자 모집(Recruitment)

본 연구는 **규제기관이 주관하는 전문성 향상 프로그램(professional enhancement programs)**을 통해 **피어 평가자(PE)**와 **피어 평가를 받은 의사(reviewees)**를 **목적적 표집(purposeful sampling)**하여 모집하였다. 모집 대상은 2개 College의 피어 리뷰 프로그램 참여자였다.

 

각 College는 연구진을 대신하여 피어 리뷰를 받은 지 6개월 이내의 의사 전원에게 모집 이메일을 보냈다. 이메일에는 연구 설명과 함께 연구에 관심 있는 경우 연구보조원(research assistant, RA)에게 연락하도록 안내되어 있었다. 15개월 동안 총 4차례에 걸쳐 500건 이상의 이메일이 발송되었으며, 인터뷰 자료와 코딩 체계가 연구 목적을 충족하고 다양한 관점을 충분히 포괄하게 되었을 때 모집을 종료하였다.²⁷,²⁸

 

총 63명의 PE 및 reviewee가 RA에게 연락하였고, 이 중 **30명이 동의서를 제출하고 개별 반구조화 인터뷰(semi-structured individual interview)**에 참여하였다. 연구팀은 이 시점에서 **이론적 충분성(theoretical sufficiency)**에 도달했다고 판단하였다.

---

참여자 특성(Participant characteristics)

참여자 특성은 표 1에 요약되어 있다. 연구 참여 요청 이메일을 받은 전체 집단에 대한 인구통계학적 정보는 제한적으로만 제공되었으나, 한 College가 제공한 데이터에 따르면, 본 연구 참여자들은 진료과(specialty) 면에서 더 다양했으며(가정의학과 의사 비율: 46.6% vs 77.2%), 그 외 성비(여성: 46.6% vs 39.7%), 진료 경력 20년 이상(66.7% vs 63.8%) 비율은 유사한 수준이었다.

---

자료 수집 및 분석(Data Collection and Analysis)

자료 수집과 분석은 **순환적이고 반복적인 과정(iterative and recursive process)**으로 이루어졌다. 개별 인터뷰는 2018년 10월부터 2020년 5월 사이에 진행되었으며, 각 인터뷰는 30~70분 동안 지속되었다. 모든 인터뷰는 RA가 진행하였으며, 피어 리뷰 과정에 대한 참여자의 전반적인 인식, 받은 또는 제공한 피드백의 신뢰도 및 가치, 이로부터 도출된 학습 또는 진료 변화에 대한 통찰을 탐색하였다. 인터뷰는 모두 오디오 녹음되었고, 전문 속기사에 의해 전사(transcribed)된 후, 분석 전에 비식별화(de-identified)되었다. 전사본은 **점진적 분석(progressive analysis)**을 통해 분석이 진행되었다.

 

---

자료 분석 (Data Analysis)

전사된 인터뷰 자료는 **근거이론(Constructivist Grounded Theory, CGT)**에서 일반적으로 사용하는 3단계 코딩 과정(three-stage coding process)—초기 코딩(initial coding), 집중 코딩(focused coding), 이론적 코딩(theoretical coding)—을 통해 점진적으로 분석되었다.²⁴

• 초기 코딩 단계에서, 연구자 K.A.L.과 L.A.는 각각 3개의 전사본을 **줄 단위로 검토(line-by-line review)**하였다.
  이때 **동명사(gerunds)**나 **참여자의 실제 언어(in vivo codes)**를 사용하여, 참여자들이 묘사한 의미와 행동을 포착하였다.
• 그 후 두 연구자는 논의를 통해 초기 코딩 결과를 검토하고, **초기 관찰 결과를 예비 범주(preliminary categories)**로 정의하고 통합하여 **코드북(codebook)**을 작성하였다.
• 이어서 L.A.와 L.C.는 이 예비 범주를 적용하여 추가로 5개의 전사본을 코딩하고, 이 범주들이 자료와 얼마나 잘 부합하는지(resonance and relevance)를 판단하였다.

---

연구팀 전체는 일련의 회의(series of meetings)에 참여하여 분석 결과가 자료에 근거를 두고 있으며(data-grounded), 다양한 경험과 관점을 포괄하고 있는지를 점검하였다. 이 회의들에서는 다음과 같은 논의가 이루어졌다.

• 예비 연구 결과(preliminary findings)
• 데이터셋 내에서의 패턴 인식(perceptions of patterns)
• 도출된 코드 및 범주 결과

이러한 과정을 통해 전체 데이터셋에 적용할 최종 범주(categories)를 확정하였으며, 이는 다음과 같은 **순환적 분석 과정(iterative cycles)**을 통해 정제되었다:

• 개별 연구자의 코딩
• 팀 간 협업을 통한 논의
• 전체 전사본 및 데이터 발췌문(excerpts)의 반복적 재검토

이 모든 과정은 **해석의 일관성(coherence of interpretation)**을 점검하기 위해 수행되었다.²⁴

---

자료 분석 전반에 걸쳐, **자료 간 및 전사본 간의 지속적인 비교(constant comparison)**가 이루어졌으며, **메모 작성(memoing)**을 통해 점점 더 추상화되는 아이디어를 포착하고 확장하였다. 이러한 메모는 또한 **이론적 표집(theoretical sampling)**의 필요성을 판단하는 데에도 사용되었다.²⁴

 

예를 들어, 연구 초기에는 PE의 관점이 과도하게 반영되었으므로, PE 역할을 수행한 경험이 없는 reviewee들을 의도적으로 추가 표집하였다. 또한 몇몇 참여자들이 **임포스터 증후군(imposter syndrome)**이 피어 평가에 대한 인식에 영향을 미쳤다고 자발적으로 보고함에 따라, 이후 인터뷰에서는 이에 대해 의도적으로 질문을 추가하였다.

---

연구자의 위치성과 신뢰도 확보 (Reflexivity and Trustworthiness)

모든 **CGT 연구에는 연구자의 주관적 역할(subjective role)**이 자료 수집 및 분석 과정에 내재되어 있다. 이에 따라 **신뢰도(trustworthiness)**를 확보하기 위해, 연구팀은 **지속적인 자기 성찰 과정(reflexivity)**에 참여하였다. 자세한 내용은 **보조 디지털 부록(Supplemental Digital Appendix 1)**에서 확인할 수 있다:
[http://links.lww.com/ACADMED/B463].²⁹

---

윤리적 승인 (Ethics Review)

본 연구의 연구계획은 다음의 두 기관에서 윤리적 검토 및 승인을 받았다:

• 오타와 건강과학 네트워크 연구윤리위원회(Ottawa Health Science Network Research Ethics Board, OHSNREB):
  Protocol #20180257-01H
• 브리티시컬럼비아 대학교 행동과학 윤리위원회(University of British Columbia’s Behavioural Research Ethics Board):
  Protocol #H13-01542

연구 내 인용된 **참여자 발언(quote)**은 다음과 같이 표기된다:
참여자 번호 + PE 또는 R — 여기서 PE는 피어 평가자(peer evaluator), R은 피어 평가 대상자(reviewee)를 의미한다.

---

결과 (Results)

참여자들은 피어 리뷰(peer review) 개념에 대해 일반적으로 이야기하면서, 자신의 진료를 ‘신선한 눈(fresh set of eyes)’으로 들여다볼 수 있는 기회의 가치를 인정하였다 (P08-PE). 이는 자신의 진료가 건전하고 최신인지 확인할 수 있으며, 동시에 바쁜 임상의들에게 자신의 수행(performance)에 대해 멈추어 돌아볼 수 있는 드문 기회를 “강제로”(P15-PE) 제공해준다는 점에서 의미가 있었다.

 

이러한 응답은 다음과 같은 점을 시사한다: 참여자들은 원칙적으로 피어 리뷰를 받거나, 동료로부터 진료 개선에 도움이 되는 피드백을 받는 것 자체에 반대하지 않았다.

"I think it is because there’s really no exam after you finish med school. So you kind of practice in a silo, you know, 20 years, 30 years out and [peer review] kind of allows for some quality to be maintained, as well as standardization and, you know, kind of interact with your peers." (P03-PE)

"의대 졸업 이후엔 시험이 없잖아요. 그러다 보니 20년, 30년을 좀 고립된 방식으로 진료하게 되고요. 피어 리뷰는 그런 상황에서 일정 수준의 질을 유지하게 하고, 표준화도 가능하게 해주며, 동료들과 상호작용할 기회도 되는 거죠." (P03-PE)

---

그러나 실제로 **규제기관(regulatory body)**이 의무적으로 실시하는 피어 리뷰 상황에서는, 이러한 “신선한 눈”이 **적대적 기관(adversarial institution)**의 대표자로 여겨져, 드문 피드백 기회를 **위협(threat)**으로 인식하게 되는 경우가 많았다. 모든 참여자들은 **규제기관에 대한 깊은 불신(deep mistrust)**을 공통적으로 언급하였다. 이는 다음 두 가지 요인에서 기인했다:

• 규제기관이 의사의 면허와 생계(livelihood)에 대해 갖는 막대한 권력(immense power)
• 의학교육 초기에 **“College는 항상 당신을 잡으려 한다”(“the College is always out to get you”)**는 식의 **오랜 불신감(long-standing suspicion)**이 주입되었기 때문 (P30-R)

대부분의 참여자는 자신의 진료에 큰 문제가 없을 것이라 생각했음에도 불구하고, 거의 모두가 처음에는 다음과 같은 불안감을 느꼈다: “혹시 evaluator가 내가 저지른 실수나 미처 인식하지 못한 결함을 찾아내는 건 아닐까?” 예를 들어, P13-PE는 다음과 같은 생각을 했다고 한다:

"Oh my gosh, are they going to pick up on all the things I’m doing wrong?"
"이런, 혹시 내가 잘못하고 있는 모든 걸 다 들춰내는 건 아닐까?"

---

이중적 압박: 피드백 수용 vs 방어

리뷰 대상자(reviewee)들은 피어 평가자가 제공하는 피드백에 어떻게 반응하는지도 주의 깊게 관찰될 것임을 인지하고 있었으며, 이에 따라 다음과 같은 복잡한 압박 상황을 경험했다:

• 성찰적으로 피드백을 수용하며 진료 개선을 도모하려는 태도를 보이되,
• 부당하거나 부적절하다고 느껴지는 피드백에 대해서는 반박해야 하는 이중적 과제를 수행해야 했다.

한 참여자는 이런 상황을 “줄타기(tightrope walk)”에 비유하며, 이 두 태도를 구분할 수 있는 고도의 역량을 지닌 PE는 드물다고 지적했다.

"The problem is always that every time you get into discourse with a regulator it is easy for the regulator to fall back on, ‘well you just don’t have insight,’ which really just means ‘you’re not listening to what I’m saying.’ But it’s not that you’re not listening, you want the give and take. It’s hard to have a wholesome give and take with somebody whose ultimate responsibility is to regulate you and to bring you to standard." (P15-PE)

"문제는, 규제자와 대화에 들어가면 항상 ‘너는 통찰력이 부족하구나’라고 말하기 쉽다는 겁니다. 사실 그건 ‘내 말을 안 듣고 있네’라는 뜻이죠. 그런데 문제는 우리가 정말 듣지 않는 게 아니라 ‘쌍방의 대화(give and take)’를 원하는 거예요. 그런데 궁극적으로 내 진료를 규제하고 표준에 맞추려는 사람이랑 그런 대화를 하기란 정말 어렵죠." (P15-PE)

---

PE의 시선: 불신과 불안을 인식하다

PE 참여자들도 이와 같은 역동성을 인지하고 있었고, **신뢰받는 피드백 제공자(trusted feedback provider)**로서의 역할 수행이 어렵다는 점을 인정하였다. PE들은 자신이 불신의 대상인 기관을 대표하여 다른 의사의 클리닉에 방문한다는 사실 자체가 불안감을 유발하며, 학습의 장애물이 될 수 있음을 잘 알고 있었다:

"I understand what a stomach-clenching process this is when somebody goes in who’s external, to look at your personal material." (P17-PE)
"외부인이 와서 당신의 개인적인 진료 내용을 들여다보는 게 얼마나 속이 뒤틀리는 경험인지 저도 잘 압니다." (P17-PE)

---

PE의 전략 vs Reviewee의 반응

이처럼 복잡한 상황 속에서, PE들은 진료 개선을 유도하기 위해 다양한 전략을 활용하려 하였다. 하지만, 이러한 시도에 대해 reviewee들이 문제점을 지적하거나 무가치하게 느끼는 경우도 많았고, 그 결과 피어 리뷰 자체에 큰 가치를 느끼지 못하게 되는 경우도 있었다. 

 

이후의 결과 파트에서는,

• PE들이 사용한 여러 전략들,
• 그리고 이에 대한 reviewee들의 반응이 구체적으로 제시된다.

---

위협성을 줄이려는 PE의 노력 (Efforts by PEs to Reduce the Stakes)

**피어 평가자(PE)들에게 있어 가장 중요한 것은 *동료성(collegiality)*과 심리적 안전성(safety)이었다. 이들은 **리뷰 대상자(reviewee)를 의도적으로 평가 과정에 공동 참여(co-directing)**시키는 방식으로, 평가의 ‘기울어진 운동장’을 평탄하게 만들고자 했다. 그 방식은 검토 날짜를 reviewee가 직접 고르게 하는 것처럼 사소해 보이는 요소부터 다양했으며, 이를 통해 권력의 비대칭성을 완화하려 했다.

---

사전 안내와 기대치 설정의 중요성

PE들은 **사전에 명확한 안내(clear guidance)**를 제공하는 것이 핵심 전략이라고 강조했다. 이들은 다음과 같은 요소를 리뷰 대상자에게 분명히 설명하였다:

• 검토 절차 전반에 대한 세부 설명
• 리뷰 대상자가 사전에 준비해야 할 사항
• 리뷰 당일 해야 할 일에 대한 안내

그들은 이 프로세스가 동료적 학습(collegial learning)의 기회이며, 상호 간의 의미 있는 배움(mutual learning)을 위한 것임을 지속적으로 강조하려고 노력했다.

"I’m speaking on behalf of the College, but don’t be alarmed, it’s just an effective enhancement process not an assessment or a punitive thing and we learn from each other." (P05-PE)
"제가 College를 대표해 말하고 있지만, 걱정하지 마세요. 이건 평가나 처벌을 위한 게 아니라 효과적인 개선(enhancement)을 위한 과정이에요. 서로에게서 배우는 거죠." (P05-PE)

---

"좋은 의사를 더 좋은 의사로"라는 메시지 강화

PE들은 자신들의 역할이 문제 있는 의사를 찾아내는 데 있는 것이 아니라,

“좋은 의사를 더 좋은, 그리고 최고의 의사로 성장시키는 것”(to take doctors from good to better to best)
라고 설명하였다. (P12-PE)

 

실제로 한 PE는 인터뷰를 시작할 때 의사의 탁월함(clinician excellence)을 인정하고 축하하려는 질문들로 대화를 시작했다:

“What would you like to brag about? What do you do really well that I can make a note of and report back?”
"스스로 자랑하고 싶은 건 무엇인가요? 정말 잘하고 계신 건 어떤 건가요? 제가 그것도 적어가서 보고서에 반영하고 싶거든요."
"So I get them, sort of, to tell me about the really good stuff that they do, and then just go through things and try and be supportive in it." (P12-PE)

 

이처럼 대화를 긍정적 분위기 속에서 시작하는 전략은 리뷰 대상자의 불안을 낮추고, 학습을 촉진하려는 의도였다.

---

피드백의 성격: 긍정적, 문서 중심, 점진적

전반적으로 PE들이 제공한 피드백은 다음과 같은 경향을 보였다:

• 긍정적이고 강화적인 메시지(positive and reinforcing) 중심
• 주된 개선사항은 문서화(documentation)나 행정적 이슈(administrative issues)에 집중
• 임상적 판단(clinical judgment)에 대한 직접적 비판은 최소화

더 비판적인 피드백이 필요할 경우에도, PE들은 직접적인 비난보다는 질문 방식으로 표현함으로써 위협을 약화시키려 하였다.

"But if there are different ways of doing it I would say, ‘Well, have you thought about doing it this way?’ [...] ‘This is how some people do it. What do you think about that?’"
"다른 방식도 있다면 이렇게 물어봐요. ‘이런 식으로 해보신 적 있으세요?’ 혹은 ‘이런 방식으로 하는 분들도 계시던데요. 어떻게 생각하세요?’"

 

그는 이어서 설명한다:

"그리고 그들은 저에게 근거를 제시합니다... 때로는 그럴듯한 이유를 대기도 하고, 때로는 검토해 보겠다고 말하기도 합니다. 그렇게 하면 변화를 이끌어낼 수 있습니다."
"And they will give me their rationale… sometimes good reasons, sometimes they’ll say they’ll look at it. And that’s how you bring about change."

 

즉, 이처럼 ‘무장 해제된 피드백(disarming feedback)’, 즉 받는 사람의 기존 신념과는 다를지라도 일정한 어조로 전달되면 수용성이 높아지는 피드백 방식이 변화를 유도할 수 있다고 보았다.

"무장 해제 피드백이라고 부르는데... 특정 어조로 전달되면 바이 인을 얻지 못합니다." (P04-PE)
"It’s what they call disarming feedback… If it’s delivered in a certain tone, it doesn’t achieve buy-in." (P04-PE)

---

이처럼 PE들은 긴장을 완화하고, 신뢰를 확보하며, 학습을 유도하기 위한 세심한 전략들을 구사하고 있었다.
그러나, 이러한 전략이 reviewee 입장에서 어떻게 수용되고 해석되었는지는 다음 부분에서 이어지며, 여전히 한계와 긴장이 존재했음을 보여줄 것이다.

---

리뷰 대상자의 반응 (Responses of Reviewees)

PE들이 취한 **긴장 완화 전략(anxiety reduction efforts)**은 전반적으로 효과적이었다. 대부분의 reviewee는 피어 간 토론(peer discussion)이 상대적으로 무해하고(innocuous), 심지어 **“유쾌했다(pleasant)”**고 회상하였다 (P25-R). 실제로 몇몇 참여자들은 이번 리뷰의 가장 큰 수확으로 **“나는 이미 좋은 의사다”라는 점을 확인(validation)**한 것을 꼽았고, 이는 **실제 진료 개선에는 영향을 주지 않더라도 자기 확신을 제공하는 피드백(validating feedback)**으로 받아들여졌다. 이러한 유형의 피드백은 자신을 “임포스터(imposter)”라고 느끼는 의사들에게 특히 유익했다. 예를 들어, Participant 19-PE는 다음과 같이 언급하였다:

“Imposter syndrome is a very common theme with physicians.”

 

임포스터 감정을 가진 참여자들은 리뷰 통보 자체가 오래된 자기 의심(self-doubt)을 악화시키는 계기가 되기도 했다. 반면 자신을 임포스터로 인식하지 않는 참여자들도, 긍정적인 피드백이 “안도감(reassurance)”과 “자신감 향상(confidence boosting)”을 주었다는 반응을 보였다.

“It actually made me feel good … it was nice to have a peer, you know, point out some positive things.” (P08-PE)

---

긍정적이지만 모호한 피드백에 대한 혼재된 평가

많은 참여자들은 “유쾌한 경험”이 반드시 학습적 가치가 크다고 느껴지진 않았다고 밝혔다. 피드백이 대체로 긍정적일수록 내용이 두루뭉술하고(tepid), 구체성이 부족하다는 인식이 많았다:

“Really it was very positive and nothing negative and really not even that much constructive… just ‘this is very thorough, this is really good, it was interesting, your patients are interesting.’” (P22-R)

 

**차트 작성(charting)**을 더 명확히 하거나, 진료의 효율성(efficiency)을 높이기 위한 구체적 조언을 받은 경우에는 감사의 뜻을 표현하기도 했다:

“To get specific feedback on ‘you could do this and you could do that a bit better’ was really, really helpful.” (P25-R)

 

그러나 대부분의 참여자들은 이를 **“지엽적인 문제 지적(nit-picky)”**으로 인식했으며 (P13-PE), P25-R처럼 실질적인 도움을 느낀 경우는 드물었다.

---

진료 역량 평가로서의 한계

많은 리뷰 대상자들은, 실제 환자 진료에 대한 관찰이 없고, 입원/외래 전반에 걸친 총체적 접근이 부족한 상황에서,
이번 리뷰가 “진료 역량을 측정하지 못한다(doesn’t measure competency)”, **“의사를 있는 그대로 반영하지 않는다(doesn’t necessarily reflect the physician)”**는 점을 지적하였다 (P24-R, P29-R).

“You could be a very good physician and a very bad documenter, right? So if you’re not a good documenter then obviously you look like you’re a bad physician… I’m not sure one is correlated with the other to be honest, but that’s what you’re left with.” (P18-R)
"진짜 좋은 의사라도 서류 작업을 못하면 안 좋게 보일 수 있어요. 실제로는 별로 상관없을 수도 있지만, 그런 인상만 남는 거죠."

---

피드백에 대한 평가: 인공적이고 임상과 무관

이러한 배경에서, 피어 리뷰를 통해 생성된 피드백은 **“인공적(artificial)”(P29-R)**이고 **“임상과 무관(clinically irrelevant)”(P11-PE)**하다고 느껴졌으며, 따라서 학습 촉진 효과도 제한적이었다. 많은 참여자들은 이 과정이 의사의 자율 규제(self-regulation)를 위해 필요한 절차라는 점에는 (때로는 마지못해) 동의했지만, 실제 경험은 처벌적(punitive)이고 교육적이지 않았다고 느꼈다:

“… the whole process was more punitive rather than wanting to be instructively helpful.” (P30-R)

---

“가성비” 낮은 의무적 절차라는 인식

대다수의 리뷰 대상자에게 있어, 규제기관이 요구하는 피어 리뷰는 ‘가성비 낮은(make-work)’ 활동이었다. 시간과 감정적 에너지를 투자한 것에 비해 얻는 것이 거의 없었다는 인식이 강했다:

"[PE들은] 계속 '이것은 여러분을 위한 것이고 많은 사람들이 정말 유익하다고 생각합니다'라고 말했고, 내내 일처럼 느껴졌습니다... 무급 노동처럼 느껴졌고... 그만한 가치가 없었습니다." (P27-R)
“[PEs] kept saying ‘this is for your benefit and lots of people find that it’s really beneficial’ and the whole time it kind of felt like work… it felt like unpaid work… it wasn’t worth the value.” (P27-R)

---

아이러니: PE가 되어야 비로소 배우는 경험

흥미롭게도, PE 자신들조차 리뷰 대상자로서보다는 PE 역할을 수행하면서 더 많은 학습을 얻었다고 언급하였다.
다양한 의사들의 진료 스타일을 관찰하는 경험이 큰 도움이 되었던 것이다:

“I learn a lot of new things, just other people’s techniques … different protocols and stuff that I hadn’t considered.” (P13-PE)

 

또한, 피드백을 제공하고 상대방의 수용 반응을 관찰하는 과정 자체가 자기 역량 향상으로 이어졌다:

“I think doing assessments has made me a better communicator… I’m a much better writer because of this… I’ve learned to pick up cues about who I’m about to talk to.” (P20-PE)

---

요약: 리뷰 대상자에게는 제한된 교육 효과

종합적으로, 양쪽 입장을 경험한 PE들조차도 피어 리뷰가 reviewee에게는 학습 효과가 제한적이라는 점을 인정하였다:

“I learn far more than I impart.” (P01-PE)

---

논의 (Discussion)

의료인의 역량을 개발하고 유지해야 한다는 필요성은 잘 알려져 있으며, 이를 바탕으로 특히 **높은 위험(high-stakes)**으로 인식되는 상황에서 피드백 제공과 수용을 어떻게 개선할 것인가에 대한 관심은 매우 크다. 하지만 현재까지의 의학교육 연구는 **대부분 정규 교육과정(formal training environments)**에 초점을 맞추고 있다.⁷ 이에 본 연구는 **임상의들에게 제공되는 피드백의 학습 가치(perceived learning value)에 대한 다각적 이해(multiperspective understanding)**를 생성하고자 하였다. **피어 평가자(PE)**와 리뷰 대상자(reviewee) 양측의 관점을 탐색함으로써, 본 연구는 다음 두 가지에 기여한다:

• 최근 강조되고 있는 풍부하고 사회문화적이며 관계 중심적인 피드백 상호작용에 대한 탐색 요구에 응답하였다.³⁰
• 동시에, 왜 의무적 피어 리뷰 프로그램이 교육적 효과 측면에서 미흡하게 인식되는지를 정교하게 설명하였다.

---

기대에 미치지 못하는 피드백의 이유: 기존 해석

우선, 본 연구는 다음과 같은 기존 설명을 확장하고 뒷받침한다:

• PEs는 R2C2 모델과 같이 근거 기반 피드백 전략을 충실히 따랐으며,²⁶
• 규제기관이 주도하는 피어 리뷰라는 근본적으로 위협적인(highly threatening) 상황을 완화하기 위해 상당한 노력을 기울였다.

그러나 그럼에도 불구하고, reviewee들은 피드백을 학습적으로 유의미하거나 가치 있다고 인식하지 못하는 경우가 많았다. 기존 문헌에서는 다음과 같은 설명을 제시한다:

• **신뢰할 수 있는 피드백(credible feedback)**은 신뢰(trust)와 직접 관찰(direct observation)에 기반해야 하며,¹⁸,³¹
• 이는 규제기관이 주도하는 프로그램에서는 달성하기 어렵다.

또한, 피어 리뷰와 같은 **고위험(high-stakes) 상황에서는 피드백의 감정적 수용 자체가 방해받을 수 있다.**⁹ 이러한 환경에서 **형성적 학습기회(formative learning opportunity)**를 기대하는 것 자체가 과도할 수 있다는 주장도 제기되어 왔다.³²

---

새로운 통찰: ‘기대’가 만들어내는 역설

하지만 본 연구는 한 걸음 더 나아가, 왜 피드백이 가치 없다고 인식되는가에 대한 또 다른 설명을 제시한다:

피드백에 부여된 ‘기대의 무게(the heavy weight of expectations)’ 때문이다.

 

의학교육에서는 피드백이 **수행 향상(performance improvement)을 위한 필수 조정(course correction)**으로 간주된다.⁷ 따라서 학습자와 임상의들은 피드백을 다음과 같이 **사회화(socialized)**되어 인식한다:

• 피드백은 변화를 유도하는(transformative) 경험이다.
• 피드백은 학습을 근본적으로 변화시키고(practice-changing),
• 의료 실천을 향상시켜야 한다.

하지만 본 연구에 참여한 대부분의 의사들은 무작위로 선정되었고, 이미 ‘안전하고 유능한(safe and competent)’ 의사였다. 따라서 생성된 피드백은 대부분 다음 중 하나였다:

• **기존 수행을 ‘인정’(validation)**하거나
• **작은 수정(fine-tuning)**을 제안하는 것

이러한 피드백은 그 자체로 신뢰성이 부족해서가 아니라,

학습자들이 기대하는 ‘피드백의 이상적인 모습’과 괴리되어 있었기 때문에 의미 없는 것으로 간주되었다.

 

즉, 유의미하고 신뢰받는 피드백이 되기 위해서는,

• 적시에 제공되고(timely),
• 관찰에 기반하며(based on observed performance),
• 구체적이고 상세해야(detailed) 하는 것은 물론,³¹
• 무엇보다도 ‘개선을 위한 비판(constructive criticism)’의 형식을 띠어야 한다.

반대로, 칭찬 위주의 피드백은 ‘이미 잘하고 있다는 사실’만을 확인해줄 뿐, reviewee의 학습 기대를 충족시키지 못한다.

---

피드백의 역설: 기대와 두려움 사이에서

흥미롭게도, 리뷰 대상자들은 초기 통보를 받았을 때, 학습 기회보다 ‘비판’에 대한 두려움이 컸다.

“혹시 내가 못하고 있는 부분을 들춰낼까?”
“전문가로서의 정체성에 위협이 되지 않을까?”

 

그러나 실제로는 피드백이 비판적이지 않았고, **실질적인 변화도 유도하지 못했다는 점에서 ‘안도감’과 동시에 ‘실망감’**을 느끼는 이중적 반응을 보였다.

✅ 안도: 다행히 큰 결점은 없었다.
❌ 실망: 그런데 학습적으로도 남는 게 없었다.

 

이러한 반응은 다음과 같은 *정체성의 긴장(identity tension)*을 보여준다:

• 한편으로는 자신의 역량을 인정받고자(affirmation of competence) 하면서도,
• 다른 한편으로는 피드백이 자신의 실천을 변화시킬(transformative) 것을 기대하는 것

이러한 긴장은 지도자는 피드백을 제공한다고 느끼지만, 학습자는 피드백을 ‘받지 못했다’고 인식하는 현상—즉, 피드백 인식의 불일치(disconnect)를 설명해준다.³³

---

결론적 메시지: 피드백의 가치는 ‘위협’에 달려 있는가?

만약 피드백이 ‘자기(self)’를 위협할 때에만 학습자가 그것을 진정한 피드백으로 인식한다면, 우리는 다음과 같은 **패러독스(paradox)**에 직면하게 된다:

가장 신뢰받고 유의미하다고 인식되는 피드백은,
**학습자에게 가장 큰 저항(resistance)을 불러일으킬 수 있는 유형일 수 있다.**³⁴

---

논의(계속): ‘자기(Self)’를 위협하지 않으면서도 도전감을 제공하는 피드백이 가능한가?

피드백 제공자가 학습자의 자기감(sense of self)을 위협하지 않으면서도 실질적인 성장을 이끌어내는 방식으로 도전감을 줄 수 있는 방법은 무엇일까? 이미 교육자들이 알고 있는 다음의 요소들은 물론 중요하다:

• **심리적 안정감(psychological safety)**의 보장³⁵
• **관계중심 교육(relationship-centered education)**의 실천¹⁸
• **신뢰성(credibility)**의 구축¹⁵,³⁶

하지만 지금의 교육 커뮤니티는 더 근본적인 질문에 직면하고 있다:

우리는 “피드백”이라는 단어를 너무 쉽게, 모든 수행 향상(performance improvement) 노력에 적용하고 있는 것은 아닐까?

 

만약 ‘피드백’이라는 말 자체가 ‘변화를 일으킬 수 있는 경험’이라는 기대치를 과도하게 설정한다면, **소소한 강화(reinforcement)**나 **작은 조정(minor tweaks)**은 실제로는 중요한 역할을 하더라도 학습 가치가 없는 것으로 간주될 수 있다.

---

기대치를 ‘설정’하는 것이 핵심일 수 있다

이러한 문제에 대응하기 위해, 피드백 제공이 이루어지는 과정에서 **명확한 기대관리(expectation management)**가 필요하다. 예를 들어,

• 어떤 기준이 평가될 것인지
• 왜 그것이 중요한지,
• 해당 상황에서 어떤 실천의 측면이 검토 대상이 될 것인지 등을 사전에 명시하면,
  피드백의 학습 가치에 대한 인식이 달라질 수 있다.

이 맥락에서, 이제는 CPD(지속적 전문성 개발) 모델이

단순한 피드백(feedback)에서 벗어나 "피드포워드(feedforward)", 즉, 사전에 기대성과를 명확히 제시하고 학습자가 스스로 이를 평가에 참여하게 하는 방식으로 전환할 때가 된 것인지도 모른다.³⁴

---

향후 연구와 실천적 제언

앞으로의 연구는 다음과 같은 점을 탐색할 필요가 있다:

• **진료 향상 프로그램(performance enhancement programs)**의 본질적 의미를 학습적으로 강화하는 방법
• 단순한 강화(reinforcement) 전략이 **의사의 웰빙(wellness)**에도 기여할 수 있는가 여부

특히, 이번 연구에서 예상치 못하게 발견된 다음의 결과는 매우 흥미로운 후속 연구 주제다:

피어 평가는 고기능(high-functioning) 의사들의 임포스터 증후군(imposter syndrome)을 완화하는 데 도움이 될 수 있다.

---

한계 (Limitations)

이번 연구는 **비밀 보장(confidentiality)**을 우선했기 때문에, 각 참여자가 왜 규제기관의 피어 리뷰 대상자로 선정되었는지는 알 수 없었다. 참여자가 리스크 기반(risk-based)으로 선정되어 실제 위협을 경험했는지, 혹은 **단순 무작위(random)로 선정되었지만 위협을 ‘느꼈는지’**는 연구에서 명확히 구분되지 않았다. 또한:

• 참여자의 다수가 리뷰 대상자이자 PE로 활동한 경험이 있는 의사였다.
  → 이로 인해 프로그램에 호의적인 시각을 가진 이들이 과대표집 되었을 가능성이 있다.
• 각 피어 리뷰 상호작용은 **단측적 관점(one-sided perspective)**에서만 자료를 수집하였다.
  → 향후 연구는 리뷰어–리뷰이 쌍(pair)을 모두 포함하는 연구가 필요하다.
• 참여자들이 인식한 피드백의 교육 효과는 실제 효과보다 과소/과대 평가되었을 가능성이 있으며,
  → 향후 연구는 실제 피드백이 어떻게 실행되었는가(implementation)를 추적하는 연구가 요구된다.
• 마지막으로, 본 연구는 질적 연구이므로 일반화(generalization)를 목적으로 하지 않지만,
  규제기관마다 피어 리뷰 방식이 매우 다를 수 있다는 점에서 타 지역에서의 재현 및 확장이 필요하다.

---

결론 (Conclusions)

고위험(high-stakes) 평가 상황은 학습을 유도할 수 있다. 그것이 준비 과정이든, 평가 자체로부터의 인식이든 간에 말이다.³⁷,³⁸ 하지만 이번 연구에서 나타난 의무적 피어 리뷰의 학습 효과에 대한 실망감은,

실제 위험(stakes)보다는 **기대치(expectations)**가 잘못 맞춰졌기 때문일 수 있다.

 

피드백 제공과 수용의 어려움을 해결하려는 기존의 노력들은, 의료계 내에서 공유되는 **“피드백은 근본적 변화를 가져와야 가치 있다”는 문화적 전제(sociocultural assumption)**를 충분히 고려하지 못했다. 

 

이번 연구는 다음과 같은 점을 경고한다:

• 대부분의 의사들이 이미 양호한 수행을 보이고 있다면,
• **작은 조정(tweaks)**이나 **안심(reassurance)**을 통해 얻을 수 있는 지식적/심리적 효과가 존재하지만,
• 이것이 "변화를 유도하지 않으면 가치 없다"는 인식에 의해 **무시될 수 있다.**³⁹

---

패러독스를 넘어: 피드포워드와 기대의 재설계

이러한 상황에서,

• **강한 수행을 인정하는 메시지(affirmation)**는 학습자가 **내면화(internalize)**하기보다 버리는(discard) 경향이 강하고, 
• 그 결과 의미 있는 피드백이 드물다고 느끼게 되며,
• 동시에 임포스터 증후군과 **번아웃(burnout)**이 만연한 상태가 지속되는 것이다.⁴⁰,⁴¹

이러한 피드백의 역설—받는 사람이 저항해야만 피드백으로 인식되는—을 해결하기 위해서는,

전통적인 피어 리뷰를 넘어서,

“피드포워드(feedforward)” 방식으로의 전환이 필요하다.

• 검토 기준을 사전에 명확히 공유하고,
• 리뷰 대상자를 보다 능동적으로 평가 과정에 참여시키는 방식이 되어야 한다.

우리는 다음과 같이 기대한다:

CPD 전반에서의 피드포워드 대화는 덜 불안을 유발하고, 보다 신뢰받는 방식으로, *강한 수행을 더욱 세련되게 다듬는 작업(tuning of strong performance)*도 학습적으로 유익한 과정으로 인식되게 만들 수 있다.

 

When Feedback is Not Perceived as Feedback: Challenges for Regulatory Body-Mandated Peer Review