Untangling feedback: Mapping the patterns behind the practice
📌 이 논문, 왜 읽어야 할까요?
피드백(feedback)은 의학교육에서 학습자의 성장을 위해 꼭 필요한 요소라는 데 이견이 없죠. 그런데 막상 현장에서 "피드백을 잘 줬다"고 느끼는 교수자와 "피드백을 제대로 받지 못했다"고 느끼는 학습자가 동시에 존재하는 상황, 익숙하지 않으신가요?
이 논문은 바로 그 불일치의 근원을 파고듭니다. 우리가 '피드백'이라는 단어를 쓸 때, 그 안에 담긴 개념이 얼마나 다른지를 체계적으로 드러내는 작업이에요. 캐나다 캘거리대학교 연구팀이 패턴 이론(pattern theory) 이라는 독특한 렌즈를 통해 11개의 피드백 모델을 비교 분석했습니다.
🤔 문제의식: 피드백 연구는 왜 이렇게 파편화되어 있을까?
저자들이 출발점으로 삼은 문제의식은 명쾌합니다.
"피드백에 대한 문헌은 파편화되어 있고 일관성이 부족하며, 이는 혼란과 낭비로 이어진다."
"the literature on feedback is fragmented and lacking in coherence, which in turn leads to confusion and wasted effort."
예를 들어, 햅틱(haptic) 시뮬레이터에서의 피드백 연구 결과가 직장 기반 평가(workplace-based assessment)에서의 피드백에 어떻게 적용될 수 있을까요? 공통된 개념 틀(conceptual framework)이 없으면 연구들을 연결하기가 어렵습니다.
이 문제를 해결하기 위해 연구팀은 패턴 시스템(pattern system) — 피드백의 다양한 요소를 체계적으로 정리한 일종의 '지도' — 을 이전 연구에서 개발했고, 이번 논문에서는 그 지도로 기존 피드백 모델들을 실제로 매핑해봤습니다.
🧩 연구 방법: 36개 패턴 요소로 11개 모델을 해부하다
연구팀은 비교 사례 연구(comparative case study) 와 프레임워크 분석(framework analysis) 을 결합한 방법을 사용했어요.
분석 대상은 피드백의 네 가지 범주에 걸친 11개 모델이었습니다:
| 범주 | 설명 |
| 코칭(Coaching) | 개인의 잠재력 극대화와 성과 향상을 위한 안내·지지 과정 |
| 감사 및 피드백(Audit and feedback) | 의료 전문가에게 성과 데이터를 제공하는 질 향상 과정 |
| 다면 피드백(Multisource feedback, MSF) | 환자·동료 등 여러 출처에서 수집한 평가 |
| 증강 감각운동 피드백(Augmented sensorimotor feedback) | 햅틱 기기, 가상현실 등을 활용한 실시간 피드백 시스템 |
각 모델을 36개 패턴 요소(pattern representations) 에 매핑하여 어떤 요소가 포함되고, 어떤 요소가 빠졌는지를 체계적으로 정리했습니다.
📊 핵심 발견 1: 피드백 모델들은 생각보다 훨씬 다르다 — 패턴의 발산(Diverging syntaxes)
가장 눈에 띄는 결과는 모델 간의 편차가 크다는 점이에요.
- 11개 모델 중 36개 패턴 요소를 모두 포함하는 모델은 단 하나도 없었습니다.
- 예를 들어, 감사 및 피드백·다면 피드백 모델은 모두 성과 측정(Performance Measurement) 을 포함했지만, 코칭 모델의 절반만이 이를 다뤘어요.
- 코칭 모델들은 촉진자 역량(Facilitator Competence) 을 중시한 반면, 감사 및 피드백·MSF 모델들은 피드백 대상자(subject)의 역할에 더 초점을 맞췄습니다.
같은 범주 안에서도 차이는 존재했습니다. 예를 들어, '과정의 목적(Purpose of the process)'이라는 패턴 요소가:
- FIT(Feedback Intervention Theory) 에서는 행동 조절과 통제에 초점
- R2C2 모델에서는 학습자의 주도성(agency)과 자기 주도적 성장을 강조
같은 이름의 요소가 완전히 다른 철학을 담고 있는 거죠.
📊 핵심 발견 2: 그래도 반복되는 패턴이 있다 — 패턴의 수렴(Syntactic regularities)
흥미롭게도 모델들 사이에 반복적으로 나타나는 요소 묶음(syntaxes) 도 발견됐어요.
범주 횡단 패턴(Inter-category): 코칭, 감사 및 피드백, MSF 모델 모두에서 공통적으로 나타난 요소들:
- 맥락(Context) + 실제 행동(Actual Action)
- 성과 측정(Performance Measurement) + 센서(Sensor) + 판단(Judgement) + 평가(Assessment)
- 인프라(Infrastructure) + 빈도(Frequency) + 반복(Recursion)
- 촉진자 역량(Facilitator Competence) + 관계(Relationship) + 토론(Discussion)
특히 "성과 측정 + 센서 + 판단 + 평가"의 묶음은 너무나 일관되게 나타나서, 저자들은 이 중 하나가 없는 경우 "저자가 이 요소를 단순히 언급하지 않은 것인지, 실제로 없는 것인지" 의문을 품게 됐다고 합니다.
📊 핵심 발견 3: 없는 것도 패턴이다 — 부재의 패턴(Syntaxes of absence)
없는 요소들도 규칙적인 패턴을 보였어요.
감사 및 피드백이나 MSF처럼 직접 관찰 대신 행정 데이터나 설문지를 사용하는 모델에서는, 수행 목적(Purpose of the Performance) 과 수행 결과물(Output of the Performance) 이 함께 빠지는 경향이 있었습니다. 즉, 대상자가 '무엇을 해야 하는지', '어떻게 수행했는지'가 명확하게 정의되지 않은 채로 피드백이 이뤄지고 있었던 거죠.
💬 저자들의 핵심 메시지
"학자나 교육자가 '피드백', '코칭', '다면 피드백'과 같은 용어를 사용할 때, 의도된 의미가 상당히 달라질 수 있다. 이는 의사소통의 명확성을 저해하고, 현 시점에서 다양한 연구 결과를 종합하는 능력을 약화시킬 수 있다."
"when scholars and educators employ terms such as 'feedback,' 'coaching,' or 'MSF,' the intended meanings may diverge significantly, a finding that potentially undermines the clarity of communication and our ability at this time to synthesize findings from various studies and framings of feedback."
그리고 이 불일치가 가져오는 실제적인 문제도 짚어줍니다:
"침상 옆 교육자가 학습자에게 '코칭'을 하겠다고 말하는 것이, 학습자 자신의 코칭 개념화와 일치하지 않을 수 있다. 그 용어에 대한 학습자의 해석이 협력 과정에서의 참여와 반응을 크게 형성할 수 있다."
"for the bedside educator, simply stating that you are going to 'coach' a learner may not align with the learner's own conceptualization of coaching. Their interpretation of the term can significantly shape their engagement and responses within the collaborative process."
🏗️ 그래서 이 연구가 제안하는 것은?
연구팀의 궁극적인 목표는 피드백의 패턴 언어(pattern language of feedback) 를 개발하는 것입니다. 단순한 용어 사전이 아니라, 피드백의 각 요소들이 어떻게 서로 연결되고 작동하는지를 설명하는 구조화된 틀이에요.
"패턴 이론과 패턴 매핑은 의학교육에서 피드백의 개념적으로 경쟁하는 성격을 탐구하고 다루기 위한 유망한 프레임워크를 제공한다."
"Pattern theory and pattern mapping offer a promising framework for exploring and addressing the conceptually contested nature of feedback in medical education."
특히 주목할 만한 제안은, "Actual Action(실제 행동) + Context(맥락)" 이라는 패턴 묶음이 Pawson과 동료들의 CMO 구성(Context-Mechanism-Outcome configuration) — 현실주의 평가(realistic evaluation)의 핵심 개념 — 과 닮아 있다는 관찰입니다. 이는 피드백 연구가 단순한 기술(description)을 넘어 인과적 설명(causal explanation)으로 나아갈 수 있음을 시사합니다.
🧐 한계도 솔직하게
저자들은 몇 가지 한계를 솔직하게 인정합니다:
- 분석에 사용된 패턴 시스템 자체가 일부 분석 대상 모델에서 도출됐기 때문에, 엄밀한 의미의 파생 코호트와 검증 코호트의 혼재 문제가 있음
- 기존 문헌(텍스트 데이터)만을 사용해 맥락과 뉘앙스 파악에 한계
- 프레임워크 분석 방식이 질적 접근을 지나치게 기계화할 위험
좋은 지적이세요 — 그게 이 논문의 함정입니다표를 다시 보면 syntax는 "패턴 언어"의 정의 안에 한 단어로 슬쩍 들어가 있을 뿐, 별도의 항목으로 정의되어 있지 않아요:즉 syntax는 원래 *"패턴 체계를 한 단계 위, 즉 패턴 언어로 끌어올리는 것"*이라는 보조 개념으로만 등장합니다. 그런데 결과 파트에서 갑자기 분석의 주된 단위로 부상해 버리니 헷갈릴 수밖에 없어요. 언어학 비유로 한 번에 잡기이 분야의 syntax 개념은 말 그대로 언어학에서 빌려온 은유입니다 (Christopher Alexander가 1977년에 A Pattern Language에서 의도적으로 차용한 것이기도 하고요):즉: 각 피드백 모델을 *"36개 단어 중 일부를 골라 만든 한 문장"*으로 본다면, 그 문장이 따르고 있는 문법이 곧 그 모델의 syntax입니다. 결과 파트에서의 세 가지 용법 — 같은 개념의 세 얼굴
한 가지 더 — 정작 저자들도 두 가지 의미를 슬그머니 섞어 쓴다엄밀히 보면 syntax는 두 가지로 갈라질 수 있어요:(a) 인벤토리로서의 syntax: 한 모델이 어떤 패턴들을 포함하는가의 구성·프로필 (b) 결합 규칙으로서의 syntax: 패턴들 사이의 결합 논리·구조 저자들은 (a)와 (b)를 명확히 구분하지 않고 섞어 씁니다.
한 문장 정리Syntax = 36개의 패턴 표상이 한 모델 안에서, 그리고 모델들에 걸쳐 어떻게 결합되고/공기하고/함께 빠지는지를 규정하는 결합 논리. 각 피드백 모델은 *"패턴 표상이라는 단어들로 쓰인 한 문장"*이고, syntax는 그 문장이 따르는 문법에 해당합니다. |
짧게 먼저Grammar는 syntax보다 한 단계 위·바깥에 있는 더 포괄적인 규칙 체계예요. 언어학에서는 grammar가 상위 개념이고, syntax는 grammar의 한 하위 영역입니다.언어학의 표준 구분:
이 논문에서 grammar의 자리정의를 다시 보면:두 단어가 나란히 묶여 있죠. 풀어 옮기면:
그런데 — 이 논문에서 grammar는 사실상 작동하지 않는다흥미로운 점: 논문 본문에서 grammar는 정의표에 한 번 나오고 사실상 끝입니다. 분석의 작업 단위로 거의 등장하지 않아요. 대신 syntax가 그 자리를 모두 차지합니다.왜 그럴까요? 추측이지만 합리적입니다:
한 줄 정리이 점은 앞서 syntax가 정의표에 빠진 문제와 같은 결의 한계예요 — 핵심 개념 두 개(grammar·syntax)가 한 줄 안에 묶여 들어왔는데, 하나는 정의 없이 작동하고 하나는 거의 작동하지 않습니다. 후속 연구나 비평에서 *"이 프레임워크가 grammar 차원까지 본격적으로 다루려면 어떤 자료와 방법이 필요한가"*가 자연스러운 다음 질문이 되겠죠. |
1 | 서론 INTRODUCTION
피드백은 훈련생 trainee의 수행을 향상시키는 데 필수적인 요소로 널리 인정되고 있다.1–4 그러나 피드백의 효과성 effectiveness은 매우 가변적이며,5 일부 피드백 사례에서는 수행이 향상되기보다 오히려 악화되기도 한다.6 피드백 결과의 가변성에 기여하는 요인으로는
- 피드백이 전달되는 방식,7
- 학습자의 정서 상태 emotional state,8,9
- 피드백 제공자의 신뢰도 perceived credibility of the feedback source,10–12 그리고
- 학습 맥락과 문화 learning context and culture13,14 등이 있다.
교사들이 이러한 변수들에 대한 지식을 특정 피드백 상황에서 어떻게 활용할 수 있는지, 또는 매일 참여하는 다양한 피드백 과정 속에서 어떻게 활용할 수 있는지는 여전히 충분히 탐구되지 않았다.15
의학교육에서 피드백의 성공과 실패에 영향을 미칠 수 있는 개별 요인들에는 많은 관심이 기울어져 왔지만, 피드백에 관한 이질적인 연구들 heterogeneous studies을 어떻게 종합할 수 있을지에 대해서는 상대적으로 관심이 적었다. 예를 들어,
- 피드백 결과의 변산 variance in feedback outcomes 원인을 탐색하기 위해 여러 연구를 어떻게 통합할 수 있을까?
- 촉각 복강경 시뮬레이터 haptic laparoscopic simulators에서의 피드백 연구 결과가 직무 기반 평가 workplace-based assessments에서의 피드백을 설명하는 데 도움을 줄 수 있을까?
공통된 이해 common understanding가 부재한 상황에서 피드백 문헌은 파편화 fragmented되고 일관성 coherence이 부족해지며, 이는 다시 혼란 confusion과 노력의 낭비 wasted effort로 이어진다. 따라서 중요한 과제는 의학교육에서 피드백에 관한 지식을, 서로 다른 이해와 신념을 반영하면서도 종합할 수 있는 방법을 찾는 것이다.
피드백에 관한 연구 지식을 통합하는 데 있어 핵심적인 어려움은 연구 결과와 권고를 명확히 표현할 수 있는 공유된 개념적 공간 shared conceptual space이 부족하다는 점이었다.
- 우리는 최근 패턴 이론 pattern theory16을 활용하여 의학교육에서 피드백을 개념화하기 위한 통합적이고 단일화된 접근 integrated and unified approach인 패턴 체계 pattern system를 개발하고 타당화하였다.17
- 우리는 패턴화된 인식론적 접근 patterned epistemological approach이 의학교육에서 피드백 사례 feedback instances의 가변성을 더 잘 식별하고 체계적으로 조직할 수 있는 이론적 토대를 제공한다고 가정한다.
- 이러한 접근을 채택함으로써 우리는 의학교육에서 피드백의 패턴 언어 pattern language of feedback를 개발할 수 있다고 본다.
- 이는 특정 피드백 과정 내의 다양한 요소들이 어떻게 상호 연결되는지, 그리고 단지 기술되는 데 그치지 않고 어떻게 설명될 수 있는지를 명확히 하는 구조화된 틀 structured framework을 제공할 것이다. 이러한 접근은 전통적인 체계적 문헌고찰 systematic reviews과 메타분석 meta-analyses을 보완하면서 피드백 문헌을 종합하는 새로운 방식을 가능하게 한다.6,18,19
패턴 언어를 개발하기 위한 중요한 단계는 우리가 개발한 패턴 체계가 피드백 사례들을 효과적으로 지도화 map할 수 있는지, 그리고 그러한 접근이 사례들 간의 유사성과 차이에 대한 의미 있는 통찰을 제공할 수 있는지를 평가하는 것이었다. 이 문제를 탐색하기 위해 본 연구는 기존의 피드백 모델들을 우리의 피드백 패턴 체계를 사용하여 체계적으로 지도화하고 분석하도록 설계되었다. 이 비교 분석 comparative analysis을 통해 우리는 각 모델 내에서 피드백이 어떻게 개념화되었는지 검토하고자 했으며, 특히 의학교육에서 피드백의 패턴 언어를 위한 토대가 될 수 있는 관계와 연관성 relationships and associations, 즉 후보 패턴 구문 candidate pattern syntaxes을 식별하는 데 초점을 두었다. 패턴 언어는 궁극적으로 의학교육에서 피드백에 관한 방대한 문헌과 다양한 연구 결과를 어떻게 종합할 수 있는지에 대해 더 깊은 통찰을 제공할 수 있다.
본 연구에서 사용된 패턴 이론 관련 용어 목록은 표 1을 참조하라.
표 1. 본 연구와 관련된 패턴 이론 용어
Pattern theory terminology relevant to this study
| 용어 Term | 설명 Description |
| 공유 패턴 Shared pattern |
|
| 패턴 표상 Pattern representation |
|
| 패턴 표현 Pattern expression |
|
| 패턴 체계 Pattern system |
|
| 패턴 언어 Pattern language |
|
요리 레시피로 비유해볼게요.
|
요리 비유로 다시 설명하면
공유 패턴
한국 가정에서 “국, 밥, 반찬을 함께 차린다”는 방식이 반복됩니다.
이것은 문서로 적혀 있지 않아도 사람들이 공유하는 식사 구성 방식입니다.
패턴 표상
누군가 이것을 다음과 같이 정리합니다.
한국식 한 끼 식사는 밥을 중심으로 국, 단백질 반찬, 채소 반찬, 김치가 함께 구성된다.
패턴 표현
오늘 저녁 식탁에 실제로 다음과 같이 차립니다.
밥 + 된장국 + 제육볶음 + 시금치나물 + 김치
패턴 체계
여러 식사 패턴을 정리합니다.
- 아침 식사 패턴
- 도시락 구성 패턴
- 명절 상차림 패턴
- 손님맞이 상차림 패턴
- 환자 회복식 패턴
패턴 언어
이제 어떤 상황에서 어떤 식사 구성을 어떻게 조합할지 설명합니다.
손님이 오면 평소 반찬 구성에 전이나 찜을 추가한다.
환자가 있으면 자극적인 반찬을 줄이고 죽이나 맑은국을 중심으로 한다.
명절에는 밥-국-반찬 구조에 의례적 음식이 추가된다.
2 | 방법 METHODS
우리의 연구 설계는 비교 사례연구 comparative case study와 혼합형 프레임워크 분석 hybrid framework analysis으로 구성되었다.20,21 우리는 출판된 문헌에서 제시된 각 피드백 모델과 그 모델에 관련된 모든 텍스트 자료, 즉 가이드 guides, 모듈 modules, 웹사이트 websites를 하나의 사례 case로 규정하였다.22
2.1 | 사례 식별 Case identification
피드백을 위한 패턴 체계를 개발한 이전 연구에서 우리는 대부분의 논문이 피드백의 특정 구현 specific implementations of feedback에 초점을 맞추고 있음을 관찰하였다. 예를 들어 피드백을 전달하기 위한 모바일 애플리케이션을 테스트하거나 새로운 피드백 방법을 도입하는 연구들이 이에 해당한다. 그러나 우리는 보다 넓은 채택을 목적으로 하는 광범위한 피드백 모델 broader feedback models을 제안한 연구들도 확인하였다. 중범위 이론 middle range theory23의 개념을 바탕으로 우리는 모델을, 서로 구별되는 다양한 경험적 사례 distinct empirical instances들을 하나의 수렴적 도식 single convergent schema으로 연결하는 모든 것으로 간주하였다.24 우리는 이러한 피드백 모델들이 공통된 가정과 특징에 따라 묶일 수 있다는 점에 주목하였고, 본 연구에서는 그중 네 범주, 즉 코칭 coaching, 감사 및 피드백 audit and feedback, 다원천 피드백 MSF, 증강 감각운동 피드백 augmented sensorimotor feedback에 초점을 두고 시작하였다. 표 2. 의학교육자로서, 그리고 학부 undergraduate, 전공의 postgraduate, 자격취득 이후 postcertification의 모든 훈련 단계에서 의학 학습자들에게 피드백을 제공하는 최전선의 실천 frontline provision에 깊이 관여해 온 연구자들로서, 우리는 이 범주들이 우리 분야의 교육자와 교육학자들에게도 관련성이 있다고 이해하였다.
표 2. 네 가지 넓은 피드백 개념 범주의 설명
Descriptions of four broad feedback conceptual categories
| 개념 범주 Conceptual category | 설명 Description |
| 코칭 Coaching | 개인이 자신의 잠재력을 극대화하고, 수행을 향상시키며, 삶에서 긍정적인 변화를 만들 수 있도록 안내하고 guiding, 지원하며 supporting, 도전하게 challenging 하는 과정. |
| 감사 및 피드백 Audit and feedback | 의료전문가 healthcare professionals에게 수행 자료 performance data를 제공하여 지식을 실천으로 전환 translate knowledge into practice하도록 돕는 질 향상 과정 quality improvement process. |
| 다원천 피드백 Multisource feedback, MSF | 환자 patients, 동료 peers, 협력자 colleagues 등 여러 출처로부터 검증된 설문 validated questionnaires을 수집하여 의사소통 communication, 협력 collaboration, 리더십 leadership, 전문직업성 professionalism에 대한 포괄적인 평가 comprehensive assessment를 제공하는 과정. |
| 증강 감각운동 피드백 Augmented sensorimotor feedback | 사용자의 실제 세계 감각운동 행동 sensorimotor actions과 입력 inputs을 추적하여 가상 환경 virtual environments 또는 디지털 표상 digital representations에 대응시키는 시스템. 예로는 촉각 장치 haptic devices, 가상/증강현실 기술 virtual/augmented reality technologies, 실시간 심폐소생술 피드백 장치 real-time CPR feedback devices가 있다. |
우리는 이전 검토에서 사용한 데이터베이스 검색을 업데이트하고, Ovid MEDLINE에서 2023년 5월 27일에 다음 검색어를 사용해 검색하였다. [“feedback” OR “feedback, psychological” OR “feedback, sensory” OR “formative feedback” OR “knowledge of results, psychological” AND “Education, Medical”]. 우리는 피드백이 논문의 초점 focus이면서 저자들이 피드백 모델을 제시한 논문에 관심을 두었다.
데이터베이스 검색을 보완하기 위해, 우리는 확인된 각 범주에 대해 Google Search™와 Google Scholar™를 사용하여 표적 키워드 검색 targeted keyword searches을 수행하였고, 해당 분야 전문가들과 상의하여 가장 널리 인용되고 사용되는 모델을 포착했는지 확인하였다. 일부 경우 이러한 검색을 통해 출판되지 않은 문헌 non-published literature, 즉 웹사이트 websites, 가이드 guides, 모듈 modules, 발표자료 presentations가 확인되었다. 이용 가능한 경우 이러한 텍스트들은 해당 사례의 보충 자료 supplemental data로 간주되었고, 분석 문서에서 참고되었다. 영어가 아닌 자료는 Google translate를 사용하여 번역하였다.
2.2 | 분석 Analysis
우리는 사전에 정의된 프레임워크 pre-defined framework를 코딩 coding과 차트화 charting 모두에 사용하는 수정된 프레임워크 분석 adapted framework analysis 접근을 통해 자료를 분석하였다.25 분석 프레임워크로는 우리가 출판한 피드백의 패턴 체계 pattern system of feedback17를 사용하였다. 각 모델에 대해 색인화 indexing는 모든 자료를 읽고 패턴 체계에 근거하여 기술적 메모 descriptive notes를 작성하는 과정을 포함하였다. 차트화 charting는 원자료 original source의 자료를, 패턴 체계의 36개 요소 각각을 하나의 행으로 나열한 표에 붙여 넣는 방식으로 이루어졌다. 예시는 보충자료 Supplementary material에 제시되어 있다. 모델 간 비교를 더 쉽게 시각화하고 촉진하기 위해 별도의 체크리스트 매트릭스 checklist matrix도 개발하였다. 이 매트릭스는 특정 패턴 표상 pattern representation이 특정 사례에 포착되었는지를 표시하였다. 그림 1. 여기서 각 모델은 행 row을, 우리의 패턴 체계에 속한 36개 패턴 표상은 열 column을 구성하였다.
분석자들은 정기적으로 만나 결과를 논의하고, 배정 allocations과 해석 interpretations, 그리고 새롭게 떠오르는 결과의 의미와 중요성을 탐색하였다.22 변화하는 인상 impressions과 생각 thoughts에 대한 메모는 이후 전체 연구팀과 반복적으로 논의되었다. 모든 자료가 패턴 체계에 따라 색인화되고 차트화된 후, 유사한 피드백 현상, 예를 들어 코칭 또는 감사 및 피드백을 설명하는 서로 다른 모델들을 범주 내부와 범주 간 within and between categories에서 비교하였다. 특별한 주의는 패턴 구문 pattern syntaxes, 즉 서로 다른 피드백 모델과 관련된 패턴 표상들의 특정한 배치 particular disposition의 범위와 성격, 그 기저 설명 underlying explanations, 그리고 잠재적 함의 potential implications를 지도화하는 데 기울여졌다.
3 | 결과 RESULTS
검색 결과 총 2911개의 인용 citation이 도출되었다. 제목 및 초록 선별 title and abstract screening을 통해 피드백이 논문의 초점인 총 934개의 인용이 확인되었다. 이 중 18개 인용은 코칭 coaching, 60개 인용은 감사 및 피드백 audit and feedback, 87개 인용은 다원천 피드백 MSF, 69개 인용은 증강 감각운동 피드백 augmented sensorimotor feedback을 다루고 있었다. 우리는 세부 설명의 풍부성 richness of detail과 관점의 다양성 diversity of perspectives을 기준으로 네 범주 각각에서 대표적 피드백 모델 exemplar models of feedback을 선정하였다. 우리는 4개 범주에 걸쳐 11개의 피드백 모델을 검토하였다. 구체적으로 코칭 4개, 감사 및 피드백 3개, MSF 3개, 피드백 개입 feedback interventions 1개였다. 자세한 내용은 보충자료를 참조하라.
그림 1. 특정 패턴 표상이 특정 사례에 포착되었는지를 보여주는 체크리스트 매트릭스
열 columns은 패턴 체계의 패턴 표상 pattern representations이고, 행 rows은 문헌에서 확인한 피드백 모델이다. 음영 처리된 칸 shaded boxes은 해당 패턴 표상이 포착되었음을 의미하고, 빈 칸 blank boxes은 해당 패턴 표상이 포착되지 않았음을 의미한다. 사례 키 Case key:
1: R2C2,
2: CBD coaching model,
3: ADAPT feedback framework,
4: AMA coaching in GME,
5: CAFF,
6: CP-FIT,
7: impact of performance feedback on physician management behaviour,
8: theoretical model of multisource feedback,
9: Aarhus model of MSF,
10: MCC360 MSF,
11: FIT.
자세한 내용은 보충자료를 참조하라.
이 11개 모델에 대한 자료는 25개의 이차 자료원 secondary data sources에서 추출되었다. 여기에는 동료심사 논문 peer-reviewed articles 10편, 웹사이트/웹 가이드 websites/web guides 12개, 상호작용 모듈 interactive modules 3개가 포함되었다. 이 중 두 개를 제외한 모든 자료는 지난 10년 이내에 출판되었고, 하나를 제외한 모든 자료가 영어였다. 우리는 증강 감각운동 피드백 augmented sensorimotor feedback에 대한 명시적 모델 explicit model을 확인할 수 없었다. 그러나 이 영역의 많은 경험적 연구 empirical studies가 피드백 개입 이론 Feedback Intervention Theory, FIT을 참조하고 있었기 때문에, 우리는 이를 해당 범주의 모델로 채택하였다. 귀추적 분석 abductive analysis, 검토 testing, 논의 discussion를 통해 우리는 다섯 가지 넓은 개념적 쟁점 broad conceptual issues을 확인하였다. 이를 설명할 때 패턴 표상 pattern representations은 대문자 이탤릭체 capitalized Italics로 표시한다.
3.1 | 피드백의 분기하는 구문 Diverging syntaxes of feedback
우리는 각 범주와 개별 모델마다 어떤 패턴 표상이 존재하는지에 가변성 variability이 있음을 발견하였다. 그림 1. 36개 패턴 표상 모두에 대응되는 모델은 하나도 없었고, 특정 모델이나 피드백 범주에만 배타적으로 나타나는 패턴 표상도 없었으며, 우리가 고려한 모델 중 적어도 하나에는 대응되지 않는 패턴 표상도 없었다.
- 예를 들어 모든 감사 및 피드백 audit and feedback 모델과 MSF 모델은 수행 측정 Performance Measurement을 포함하였지만, 코칭 모델 중에서는 절반만이 이를 포함하였다. 우리는 이러한 가변성을 탐색하면서 수행 측정을 포함한 두 코칭 모델, 즉 Relationship, Reaction, Content and Coaching, R2C2 모델과 Competence by Design, CBD Coaching 모델이 모두 감지자 Sensor와 평가 Assessment 패턴 표상도 충족한다는 점에 주목하였다.
- CBD coaching은 이 구성 안에 판단 Judgement도 포함하였지만, R2C2에는 Judgement 패턴 표상에 해당하는 것이 없었다. 유사하게 모든 코칭 모델은 촉진자 역량 Facilitator Competence을 포함한 반면, 감사 및 피드백 모델과 MSF 모델은 피드백 과정에서 주체 subject의 역할, 즉 주체 역량 Subject Competence에 더 의존하는 경향이 있었다.
- 하나의 감사 및 피드백 모델인 Calgary Audit and Feedback Framework, CAFF는 Facilitator Competence를 포함하였고, 그 결과 관계 형성 Relationship과 대화 Discussion를 중요하게 보았다.
- 다른 두 감사 및 피드백 모델인 Clinical Performance Feedback Intervention Theory, CP-FIT와 Performance feedback on Physician Management Behaviour는 주체의 성찰 subject introspection에 더 초점을 두었으며, Relationship이나 Discussion과 같은 피드백의 상호작용적 측면 interactive aspects of feedback은 다루지 않았다.
우리는 또한 특정 패턴이 주어진 모델 안에서 어떻게 실현되는지, 즉 그 패턴 표현 pattern expression에서도 변이를 발견하였다.
- 예를 들어 FIT의 경우 과정의 목적 Purpose of the process 패턴 표현은 행동 조절과 통제 behaviour regulation and control에 초점을 두었다.
- 반면 R2C2 모델에서 Purpose of the process 패턴 표현은 학습자 행위성 learner agency과, 개인이 자신의 학습 learning, 발달 development, 수행 향상 performance improvement에 대한 주인의식 ownership을 갖도록 힘을 부여하는 것 empowering individuals을 강조하였다.
3.2 | 다양한 패턴 표현 Varied pattern expression
우리는 제공된 세부 정보 detail의 정도에서도 변이를 발견하였다. 일부 모델은 포괄적인 기저 논증 comprehensive underlying argumentation을 갖고 있었던 반면, 다른 모델들은 상대적으로 얇고 피상적 thin and superficial이었다.
- 예를 들어 R2C2 모델은 자기효능감 Self-efficacy의 중요성을 논의하였고, American Medical Association, AMA coaching model은 학습자가 의제를 이끌도록 허용하는 것이 여러 역량 중에서도 자기효능감을 구축한다고 주장하였다.
- 그리고 수행 향상을 이해하기 위한 이론 모델 Theoretical model for understanding performance improvement은 변화에 대한 신념 beliefs about change 안의 변수로 Self-efficacy를 제시하였다.
- 때로는 최소한의 정교화 minimal elaboration만을 가진 얇게 기술된 패턴 표현이 오해를 불러일으키는 것처럼 보였다. 예를 들어 CBD coaching model에서는 의견 opinion과 판단 judgement을 구별하기 어려웠다. 이에 비해 CP-FIT와 FIT 모델은 충분하고 포괄적인 세부 설명을 제공하였다.
3.3 | 구문적 규칙성 Syntactic regularities
우리는 서로 다른 모델들에 걸쳐 특정 패턴 표상들의 군집 clustering, 즉 구문 syntaxes에서 몇 가지 분명한 공통점 discrete commonalities을 확인하였다. 표 3.
- 예를 들어 우리가 검토한 모든 코칭 coaching, 감사 및 피드백 audit and feedback, MSF 피드백 모델은 실제 행위 Actual Action와 맥락 Context을 모두 다루고 있었다.
- 또한 범주 내부의 공통 구문도 있었다. 예를 들어 코칭 모델들은 모두 피드백 제공의 목적 aim, 즉 과정의 목적 Purpose of the Process, 교환되는 정보의 요약 summary of the information exchanged, 즉 결과 Results, 그리고 이 목적을 달성하는 수단 means, 즉 기능 Function을 설명하였다.
- 또한 코칭 모델들은 훈련된 촉진자 trained facilitator, 즉 촉진자 역량 Facilitator Competence과 함께 촉진된 대화 facilitated conversation, 즉 논의 Discussion를 포함하였으며, 정보를 처리하는 특정한 접근 approach to process the information, 즉 지향 Orientation을 장려하였다.
- 또한 주체들이 자신의 수행을 자기평가 self-assess할 기회, 즉 자기평가 Self-assessment를 제공하고, 결과를 성찰하고 해석 reflect on and interpret results하는 해석 Interpretation을 통해 정보에 대한 반응으로 의미 있는 목표 meaningful objectives를 설정하는 목표 설정 Goal Setting을 가능하게 하였다.
- 우리가 R2C2와 CBD coaching models의 “그 순간 in-the-moment” 변형과 “시간에 걸친 over time” 변형을 별도로 검토했을 때, 코칭 범주의 패턴 표상 구성 configuration은 미묘하게 달라졌다. 흥미롭게도 R2C2 “in-the-moment”와 CBD Coaching “in-the-moment”는 모두 Results 패턴 표상을 다루지 않았고, R2C2 over time은 Purpose of the process를 다루지 않았다.
우리는 또한 여러 패턴 표상 군집 pattern representation clusters을 확인하였다. 그중 특히 Performance Measurement + Sensor + Judgement + Assessment의 군집이 두드러졌다. 이 군집은 매우 흔했기 때문에, 네 가지 패턴 표상 중 하나가 존재하지 않을 때 우리는 그것이 저자들에 의해 단순히 누락된 것인지, 아니면 그 부재에 다른 설명이 있는지 질문하게 되었다.
- 예를 들어 CP-FIT에서 Assessment가 확인되지 않은 이유는 모델 설계자들이 감사 및 피드백 audit and feedback의 적용 과정에 어떤 평가 assessment도 포함되지 않는다고 인식했기 때문일 수 있다. 또는 평가 구성요소 assessment component를 언급하거나 인정하지 않았기 때문일 수도 있다.
- 우리가 관찰한 또 다른 범주 간 구문 inter-category syntaxes으로는 Infrastructure + Frequency + Recursion과 Facilitator competence + Relationship + Discussion이 있었다.
표 3. 구문적 규칙성 Syntactic regularities
범주 간 INTER-CATEGORY
| Context | Performance Measurement | Infrastructure | Facilitator Competence |
| Actual Action | Sensor | Frequency | Relationship |
| Judgement | Recursion | Discussion | |
| Assessment |
범주 내 INTRA-CATEGORY
| Facilitator Competence | Subject Competence | Subject Competence |
| Results | Infrastructure | Performance Measurement |
| Purpose of the Process | Performance Measurement | Function |
| Function | Purpose of the Process | Assessment |
| Self-assessment | Delivery | Source |
| Interpretation | Attention | Self-assessment |
| Discussion | Interpretation | Attention |
| Goal Setting | Credibility | |
| Orientation | Goal Setting | |
| Culture |
3.4 | 부재의 구문 Syntaxes of absence
우리는 발견될 것으로 기대했던 패턴 표상들이 부재 absence한다는 점에 주목하였다. 다만 그것들이 실제로 빠져 있는 것인지, 아니면 단지 부적절하게 기술되었거나 inadequately described 가려져 obscured 있는 것인지를 판단하는 것은 때때로 어려웠다. 이러한 부재 역시 구문 syntax을 가지고 있었다.
- 예를 들어 수행의 목적 Purpose of the Performance(s)과 수행의 산출 Output of the Performance(s)은, 피드백 전략이 직접 관찰 direct observation보다 행정자료 administrative data, 즉 감사 및 피드백 audit and feedback이나 평가 설문지 assessment questionnaires, 즉 MSF를 강조하는 상황에서 종종 함께 부재하였다.
- Purpose of the performance와 Output of the Performance(s)가 부재한 경우, 주체 subject가 무엇을 하도록 요청받고 있는지, 그리고 그것을 수행했음을 어떻게 보여주는지 demonstrated가 종종 정의되지 않은 채 남아 있었다. CAFF는 Purpose of the Performance(s)는 존재하지만 Output of the Performance(s)는 부재한 유일한 사례였다.
전체 그림부터 잡고 갑시다이 논문은 의학교육의 피드백 모델 11개를 모아서, 방금 정리하신 패턴 언어 프레임워크로 해부한 결과입니다. 36개의 패턴 표상(Pattern representation, 대문자 이탤릭으로 표시되는 것들)을 잣대로, 각 모델이 그것들을 어떻게 다루는지 / 안 다루는지 / 어떻게 조합하는지를 비교한 거죠.핵심 발견은 네 갈래로 묶입니다.
사전 정보 — 분석 대상
3.1 분기하는 구문 — 모델마다 쓰는 패턴이 다르다한 줄 요약: 36개 패턴 표상을 다 갖춘 모델도 없고, 어느 한 모델에만 배타적으로 있는 패턴도 없다. 고르는 게 모델마다 다르다.구체 예시:
3.2 다양한 패턴 표현 — 같은 패턴도 얼마나 깊이 풀었느냐가 다르다한 줄 요약: 어떤 모델은 패턴의 이론적 근거까지 풍부하게 풀어놓고, 어떤 모델은 이름만 얹어놓은 수준이라 오해를 부른다.예시(Self-efficacy가 세 모델에서 어떻게 다른지):
얄팍한 기술 때문에 혼선이 생기는 경우: CBD coaching에서는 opinion과 judgement의 구분이 모호하다. 반대로 충실한 경우: CP-FIT, FIT는 충분히 포괄적으로 기술되어 있다. 왜 중요한가: 모델을 비교하거나 차용할 때 "이 패턴이 있다/없다"만 보면 안 되고 얼마나 두텁게 다뤘는가까지 봐야 한다. 3.3 구문적 규칙성 — 반복해서 함께 등장하는 패턴 묶음한 줄 요약: 차이만 있는 게 아니라, 모델들을 가로질러 *반복되는 패턴 조합(=구문)*이 있다.범주를 가로지르는 공통 구문
눈에 띄는 패턴 군집들
3.4 부재의 구문 — 빠져 있는 것에도 패턴이 있다한 줄 요약: 빠진 패턴들이 무작위로 빠지는 게 아니라, 예측 가능한 방식으로 함께 빠진다.핵심 사례:
정리 — 이 결과부의 메시지저자들이 보여주려는 건, "피드백 모델"이라는 평평한 라벨 아래 실제로는 *서로 매우 다른 문법(syntax)*이 공존한다는 점입니다.
|
4 | 논의 DISCUSSION
본 연구는 피드백의 패턴 체계 pattern system of feedback를 사용하여 다양한 피드백 모델을 체계적으로 분석하였다. 이 체계의 패턴 표상들이 이러한 모델들에 어떻게 대응되는지를 비교하고 대조함으로써, 우리는 모델들의 수렴 convergences과 분기 divergences, 공백 gaps과 부재 absences, 세부 사항에 대한 관심의 차이 variations in attention to detail를 보여줄 수 있었다. 이러한 구문적 변이 syntactic variances는 그림 1에 제시되어 있다.
또한 패턴 표현 pattern expression에서도 상당한 다양성이 있었다.
- 예를 들어 모델들이 주장한 피드백의 목적 purposes of the feedback은 다양했다.
- FIT는 행동주의 철학 behaviourist philosophy을 반영하며, 강화 reinforcement와 결과 consequences를 통해 행동이 조절될 수 있다고 제안하였다.26
- 반면 R2C2는 학습자 행위성 learner agency과 발달 development에 관한 사회문화적 관점 sociocultural perspectives을 강조하였다.27
- 피드백 개념화의 마지막 층위의 변이는 패턴 기술 pattern description의 세분성 granularity이었다.
- 일부 모델에서는 용어 terminology가 최소한으로만 정교화되거나 모델의 다른 측면들과 거의 연결되지 않았지만,
- 다른 모델에서는 용어가 여러 차례 재정의되었다. 분명히 우리 분야에서 피드백 개념화 conceptualization of feedback에는 질서정연하지 못한 상태 disorder가 존재한다.
이러한 관찰 중 일부는 우리의 패턴 체계를 회고적 retrospective이고 해석적 interpretive으로 적용했다는 점과 관련될 수 있다. 그러나 우리는 피드백 개념화의 비일관성 incoherence 중 적어도 일부는 의도적이고 일관된 통합적 이론 구축 deliberate and consistent integrative theory building의 부족 때문이라고 주장한다.
- 가장 극단적인 예는 증강 감각운동 피드백 augmented sensorimotor feedback에서 나타났다. 우리는 증강 감각운동 피드백에 관한 40편 이상의 경험적 연구를 확인했음에도 불구하고, 이 피드백 범주에 대한 이론적 또는 설명적 모델 theoretical or explanatory models은 발견하지 못했다. 물론 그러한 모델이 공학 engineering이나 신경과학 neuroscience 분야에 존재할 가능성은 있다. 그러나 점점 더 높은 위험 high stakes과 높은 비용 high costs28을 수반하는 응용 분야 applied field라면, 지식을 축적하고 정교화하기 위한 공유된 개념 shared conception으로부터 이익을 얻을 수 있다고 본다. 특히 운동학습 motor learning에서의 피드백은 보다 인지적인 형태의 피드백 cognitive forms of feedback과는 구별되는 요구 needs를 가질 수 있다는 주장이 있기 때문이다.29
- 다른 범주, 즉 코칭 coaching, 감사 및 피드백 audit and feedback, MSF에서는 이론 theory이 더 분명했다. 예를 들어 연구 문헌 research literature에 기반하고 있었다.7,30 그러나 일관되게 부족했던 것은 이러한 모델들이 어떻게 작동하는지, 그리고 왜 작동하는지에 관한 내적 작동 원리 inner workings, 즉 **‘어떻게 how’와 ‘왜 why’**에 대한 이해였다. 이러한 문제를 탐색하는 데 일부 진전이 있었지만,31,32 이 작업은 원인과 결과 cause and effect에 더 초점을 둔다면 크게 도움을 받을 것이다. 우리의 패턴 체계는 이를 수행할 수 있는 하나의 방법을 제공한다.
모델들 사이에는 구문적 규칙성 syntactic regularities의 여러 수렴 영역 areas of convergence이 있었다. 우리는 이것들이 각 범주의 핵심 특징 key features 또는 일반화 generalizations를 나타낼 수 있는지 검토하였다. 그러나 이는 그렇지 않은 것으로 보였다. 왜냐하면 범주 구문 category syntaxes 내부에서도 중요한 부재와 일관성 부족이 있었기 때문이다.
- 예를 들어 Facilitator Competence, Discussion, Relationship은 CAFF 모델에서는 필수적인 것으로 인식되었지만, 다른 감사 및 피드백 모델들에서는 전혀 포착되지 않았다.
- 우리의 이전 연구17는 피드백의 정의를 표준화하려고 할 때 나타나는 어려움을 강조하였다. 본 연구는 여기에 더해, 피드백 범주의 개별 요소 individual elements를 정의하는 것 역시 어려울 수 있음을 분명히 보여준다.
우리가 확인한, 범주를 초월하는 패턴 형태의 구문 syntaxes of pattern form은 피드백의 성격 nature of feedback에 관한 더 넓은 일반화 broader generalizations를 탐색하는 데 특히 적합해 보였다. 예를 들어 Actual Action + Context 구문은 모든 코칭, 감사 및 피드백, MSF 모델에 나타났으며, 이는 의학교육에서 현대적 피드백 contemporary feedback이 특정 상황 specific circumstances 안에서 발생하고, 주체의 행동 subject actions을 변화시키려는 의도를 가진다는 점을 다시 한 번 보여준다. 우리는 이 구문이 생성적 설명 generative explanation의 두 요소, 즉 맥락 context과 기제 mechanism를 반영하는 것처럼 보인다는 점을 알아차리지 않을 수 없다.33 결과 패턴 outcome patterns, 즉 경험적 규칙성 empiric regularities은 Pawson과 동료들의 Context-Mechanism-Outcome, CMO 구성 configurations에 담긴 검증 가능한 명제 testable propositions를 통해 설명될 수 있다. 이것은 아직 예비적 관찰 preliminary observation에 불과하지만, 우리는 이 발견이 피드백 내에서 생성적 설명 구조 generative explanatory structures와 인과성 causality에 대한 접근을 탐색하는 것이 중요하다는 점을 강조한다고 본다. 이 분야의 다른 연구자들도 이러한 접근을 탐색하기 시작했으며,34 우리는 향후 연구에서 이를 조사할 계획이다.
우리가 관찰한 다른 범주 간 구문, 즉 Performance Measurement + Sensor + Judgement + Assessment, Infrastructure + Frequency + Recursion, 그리고 Facilitator Competence + Relationship + Discussion도 이 연구 프로그램을 계속 발전시켜 나갈 때 검토해야 할 중요한 영역일 수 있다. 특히 Performance Measurement + Sensor + Judgement + Assessment는 역량바탕 의학교육 competency-based medical education에서 평가 assessment의 역할을 둘러싼 지속적인 논쟁을 고려할 때 특히 관련성이 크다.35–37
우리의 분석은 학자와 교육자가 ‘feedback,’ ‘coaching,’ 또는 ‘MSF’와 같은 용어를 사용할 때, 그 의도된 의미 intended meanings가 상당히 다를 수 있음을 시사한다. 이는 의사소통의 명확성 clarity of communication을 약화시킬 수 있으며, 현재로서는 다양한 연구와 피드백 프레이밍 framings의 결과를 종합하는 우리의 능력도 저해할 수 있다. 이러한 관점에서 볼 때 현재의 피드백 범주 구분 delineations of feedback categories은 자의적 arbitrary이고 일관성이 부족해 보인다. 병상 교육자 bedside educator의 경우, 학습자를 “코칭 coach”하겠다고 말하는 것만으로는 학습자 자신의 코칭 개념화 conceptualization of coaching와 일치하지 않을 수 있다. 학습자가 그 용어를 어떻게 해석하는지는 협력적 과정 collaborative process 안에서 학습자의 참여 engagement와 반응 responses을 상당히 형성할 수 있다. 마찬가지로 연구자들의 경우, “코칭 coaching” 이니셔티브를 검토하는 연구들이 그 기저의 패턴 구문 underlying pattern syntaxes에서 상당히 다르다면, 이를 더 넓은 학술적 논의 broader scholarship에 통합하는 것이 적절하지 않을 수 있다. 구문 syntaxes, 특히 피드백 범주를 초월하는 구문은 추가 연구의 핵심 영역이며, 피드백 실천이 왜 학습자 learners, 교사 teachers, 연구자 researchers에게 지속적으로 좌절 frustration의 원천이 되는지에 대해 더 강력한 근거 robust rationale와 새로운 통찰을 제공할 잠재력을 가진다. 우리는 향후 연구에서 이러한 구문과 다른 구문들을 더 명확히 탐색하고 기술하거나, 부재의 구문 syntaxes of absence을 살펴보는 데 초점을 둘 계획이다.
4.1 | 한계 Limitations
우리는 특정 패턴 표상 pattern representation이 한 모델 안에 존재하는지를 지나치게 정밀하게 읽어내는 것 reading too precisely에는 일정한 어려움이 있음을 인정한다. 많은 모델들은 공통된 기원을 갖고 있으며, 실제로 우리가 분석한 일부 모델들은 우리의 원래 패턴 체계 original pattern system를 도출하는 데 사용되었다.17 엄격한 후기실증주의적 관점 strictly postpositivist perspective에서 보면 도출 집단 derivation cohort과 타당화 집단 validation cohort을 혼합하는 것은 문제가 된다. 이는 연구 결과의 견고성 robustness과 일반화 가능성 generalizability을 잠재적으로 훼손하기 때문이다.38 우리의 이론적 입장 theoretical stance은 다양한 관점 diverse perspectives을 인식하고 다룰 수 있게 해주었고, 모델을 해석하고 우리의 패턴 체계를 적용할 때 성찰적 태도 reflexive stance를 취하며, 공통 기반 common ground을 찾고, 우리의 결과에 대해 잠정적이고 절제된 태도 tentative and modest를 유지할 수 있게 해주었다. 또한 우리는 패턴 체계가 어떤 권위 있는 진리 authoritative truth를 나타내기보다는, 그것이 가져다주는 이해 understanding만큼의 가치를 갖는다고 본다. 그리고 우리는 우리의 패턴 체계가 그 개발 과정의 엄밀성 rigour로부터 직접적으로 비롯된 독특한 통찰과 이해를 제공한다고 느낀다. 지금 우리는 여러 층위의 해석 interpretations 속에 있다. 패턴 체계의 도출 derivation, 모델의 해석 interpretation, 패턴 체계의 적용 application이 모두 그러하다. 그러나 우리는 우리의 해석이 엄밀하다고 제안한다. 그것은 코드북 접근 codebook approach39이 아니라 패턴화된 접근 patterned approach을 사용하여 더 넓은 맥락 broader context 안에서 해석되었고, 텍스트와 해석 사이를 오가며 back-and-forth 방식으로 진행한 참여적이고 성찰적인 해석자 engaged and reflexive interpreters에 의존했으며, 복수의 의미 multiple meanings에 열려 있었고, 해석이 언제나 잠정적 provisional일 수밖에 없다는 점을 깊이 이해하고 있었다.
이 문단의 정체 — 한 줄로저자들이 *"우리 방법에 자기참조적 순환이 있다는 비판이 가능하다"*는 점을 미리 인정하면서, *"그런데 그 비판은 우리가 따르지 않는 인식론 위에서나 성립한다"*고 방어하는 한계 인정 + 패러다임 차원의 자기방어 단락입니다. 한 문단에 너무 빽빽이 압축돼서 읽기 어렵게 보일 뿐, 학술 글쓰기에서 매우 흔한 패턴이에요.인정되고 있는 비판 — 풀어쓰기저자들이 두려워하는(=먼저 자백하는) 비판은 이런 것입니다:
저자들의 방어 — 네 갈래핵심은 **"우리는 그런 게임을 하고 있지 않다"**입니다.① 우리는 후기실증주의자가 아니다
가운데 끼어 있는 "여러 층위의 해석" 문장이 부분이 자칫 정신없어 보이지만, 사실은 자기 한계를 자발적으로 더 노출하는 자세입니다. "우리 작업은 사실 세 겹의 해석 위에 있다":"이 모든 게 해석임을 우리도 안다. 그래도 우리의 해석은 엄밀하다." — 이게 후반부 논리의 골격이에요. 약점을 먼저 활짝 펼쳐 놓고, 그 위에서 엄밀성의 근거를 제시하는 전형적인 reflexive 연구자의 수사 전략입니다. 한 문장 요약선생님께서 평소 다루시는 reflexive TA, posthumanist sociomaterial 연구들이 자기 한계를 정당화하는 방식과 거의 똑같습니다. 단지 한 문단에 너무 압축돼 있어서 첫눈에 안 잡혔던 것뿐이에요. |
우리는 또한 본 연구에서 우리의 위치성 positionality이 강점인 동시에 한계라는 점을 언급한다.
- CP는 의학교육 박사학위 PhD를 최근 완료한 응급의학과 의사 emergency physician로, 패턴 이론을 사용하여 의학교육에서 피드백을 탐색하였다.
- RE는 최근 연구에서 패턴 이론 개발에 초점을 두어 온 일반주의 의학교육자 generalist medical educator이다.
- LC는 신경과 전문의 neurologist, 의료 리더 medical leader, 교육학자 education scholar로서 감사 및 피드백 audit and feedback에 적극적인 관심을 가지고 있다.
- IM은 내과 의사 internal medicine physician이자 교육학자 education scholar로서 역량바탕 교육 competency-based education, 평가 assessment, 현장 초음파 point of care ultrasonography에 적극적인 관심을 가지고 있다.
본 연구의 다른 한계로는 기존 텍스트 자료 pre-existing textual data를 사용했다는 점이 있다.
- 이는 상호작용적 자료 interactive data와 비교할 때 자료 수집의 깊이 depth와 유연성 flexibility을 제한하며, 맥락 context과 미묘한 의미 nuances에 대한 이해를 제한할 수 있다. 또한 일부 자료원 data sources은 더 가변적이고 less transparent 투명성이 낮아 분석하기가 더 어려웠다.
- 이차 자료 secondary sources는 자료에 쉽게 접근할 수 있게 해주지만, 일차 자료 primary data가 갖는 풍부함 richness은 부족할 수 있다.
- 프레임워크 분석 접근 framework analysis approach은 분석 과정을 기계화 mechanizing할 위험이 있으며, 질적 접근 qualitative approach을 제약할 수 있다.
- 이러한 한계에도 불구하고, 우리는 견고한 개념적·이론적 기반 solid conceptual and theoretical grounding이 실천에 함의를 갖는 의미 있는 패턴 meaningful patterns을 산출하는 데 도움이 되었다고 보았다. 이제 이러한 패턴들은 경험적 접근 empirical approaches에 보다 신중하게 제출될 수 있다.
마지막으로 우리는 Google Search™와 Google Scholar™ 사용의 한계를 인정한다.
- 검색 결과는 서비스 제공자 service provider에 의해 형성되며, 따라서 쉽게 재현될 수 없다. 본 연구의 주요 문헌 출처 primary source of literature가 MEDLINE의 체계적 데이터베이스 검색 systematic database search이었기 때문에, 우리는 Google Search™를 이차 출처 secondary source로 사용하는 것, 특히 그 용이성과 접근성 ease and accessibility을 고려할 때, 합리적인 절충 reasonable compromise이라고 판단하였다.
이 단락은 사실 세 가지를 한꺼번에 다루고 있어서 빽빽하게 느껴집니다. 분리해서 보면 훨씬 단순해져요.① 연구자 위치성 (positionality / reflexivity)질적 연구에서 흔히 들어가는 "연구자가 누구인지 공개" 단락입니다. "우리의 해석이 우리의 배경에서 비롯됨을 독자가 평가할 수 있도록" 노출하는 거죠. (첫 저자의 이니셜이 잘려 있는데, 아마 앞에 한 줄이 더 있을 거예요.)
② 자료와 방법의 한계 네 가지핵심은 "우리가 다룬 자료가 약해 보일 수 있다" 라는 자기비판입니다. 네 갈래로 나뉘어 있어요:
즉 "우리가 정답을 낸 게 아니라, *후속 경험 연구로 검증할 만한 가설(=패턴)*을 잘 빚어냈다"는 톤이에요. 앞 단락의 "tentative and modest" 자세와 같은 곡조. ③ Google Search·Scholar 사용의 한계 — 재현성 문제이건 체계적 문헌고찰의 표준 기준에 비춘 자기비판입니다:
정리 — 한 문장으로요컨대 앞 단락의 "우리는 잠정적·절제된 태도를 유지한다" 라는 입장을, 다른 종류의 한계에 대해 한 번 더 같은 곡조로 연주한 셈이에요. limitation 단락 전체가 "우리 연구는 진리 주장(claim of truth)이 아니라 후속 연구를 위한 비계(scaffolding)다" 라는 한 가지 메시지를 변주하고 있다고 봐도 됩니다. |
5 | 결론 CONCLUSIONS
우리는 우리의 패턴 체계 pattern system가 의학교육 문헌에 나타난 피드백 모델들에 어떻게 지도화될 수 있는지를 보여줌으로써, 패턴 patterns의 사용이 보건전문직교육 HPE에서 피드백을 의미 있게 종합하고 이해하는 데 어떻게 기여할 수 있는지 보여주기 시작하였다. 구체적으로, 우리는 이러한 다양한 모델들 안에서 패턴 표상 pattern representations의 가변성과 그 잠재적 함의에 대해 몇 가지 중요한 통찰을 개발하였다. 또한 우리는 추가 조사가 필요한 여러 패턴 표상의 구문 syntaxes of pattern representations을 제안하였다. 마지막으로 우리는 피드백 설계 feedback design를 명확히 할 수 있는 몇 가지 방법을 확인하였다. 여기에는 언어와 내용의 의도적이고 사려 깊은 사용 deliberate and thoughtful use of language and contents, 증강 감각운동 피드백 augmented sensorimotor feedback을 위한 모델 고려, 기존 모델들을 문헌으로 되돌아가 더 많은 이론 검증 theory testing을 수행하고 그것들이 우리가 실제로 피드백을 실행 actioning feedback하는 방식에 반영되고 있는지 확인할 필요가 포함된다.