의대에서 교육하고 있습니다.

1

효과적인 피드백이란 ‘긍정적이고 바람직한 발전을 촉진하기 위해 기존 퍼포먼스에 대한 정보를 사용하는 것’으로 정의할 수 있다. 의학교육에서 피드백이 어려운 이유 중 하나는, 피드백의 정직성과 정확성을 보장하면서, 동시에 피드백 수신자의 심리사회적 요구도 인정해야하기 때문이다. 이런 어려움에도 불구하고 피드백은 ‘효과적인 임상 교육의 초석’으로 묘사되곤 한다.

2

피드백은 여러 가지 유형으로 구분해볼 수 있다. 우선 지시적directive 피드백(학습자에게 무엇을 교정해야하는지 알려주는 것)과 촉진적facilitative 피드백(학습자가 스스로 수정하도록 의견을 주거나 제안하는 것)으로 구분할 수 있다. 구체적인 피드백과 덜 구체적인 것으로 구분할 수도 있다. 구체적인 피드백은 초기에는 도움이 되지만, 장기적으로 봤을 때는 학습, 독립적 수행능력, 전이에 도움이 되지 않을 수 있다. 단순히 정답-오답만 알려주는 것(verification)이나 정답에 도달하는 것을 촉진하는 것(elaboration)으로 구분할 수도 있다.

3

피드백을 제공할 때, 이상적으로는 모든 피드백은 숙련된 촉진자가 지지적인 환경을 만들어준 상태에서, 면대면으로 논의되는 것이 바람직하다. 피드백의 타이밍에 있어서, 즉각적인 피드백은 단기적으로 효과적이면서 procedural skills를 익히는 데 도움이 된다. 반면, 복잡한 과제를 수행하는 상급 학습자의 경우 지연된 피드백이 더 나을 수 있다. 중요한 것은, 피드백이 받는 사람을 전혀 고려하지 않고 수동적으로 전달되는 정보가 되어서는 안 된다는 점이다.

4

인간의 무의식적 자기unconscious self는 자기 보존self-preservation을 중시하므로, 자존감을 위협하는 피드백이나 무조건적인 칭찬은 도움이 되지 않는다. 또한 인간은 부정적 피드백을 받을 때 귀인 오류fundamental attribution error를 범하기도 한다. 따라서 내면으로부터 ‘정확한’ 자기 평가를 하라고 요구하기보다는, ‘자기주도적 평가 탐색self-directed assessment seeking’을 하도록 도와줘야 한다. 이는 자기-모니터링이라고 할 수도 있다. 이는 주어진 상황과 시간에 자신의 능력으로 환경에 대응할 수 있는 능력을 말한다. 성찰은 ‘사건의 이해에 초점을 둔 의식적이고 신중한 과정’으로 자기 모니터링의 일부가 될 수 있다.

5

어떤 목표를 설정하는지가 피드백의 수용가능성acceptability에 영향을 준다. 목표는 학습지향적learning orientation인 것과 성과지향적performance orientation으로 나눠볼 수 있다. 전자는 새로운 기술을 개발하고 새로운 상황을 마스터하고자 하는 열망과 관련되며, 후자는 다른 사람에게 자신의 능력을 입증하여 긍정적으로 평가받으려는 열망과 관련된다. 따라서 어려운 과제나 실패를 맞닥뜨렸을 때, 학습지향적인 목표가 있을 때 더 긍정적인 성과를 낼 가능성이 높다.

6

개인 수준에서 신뢰할 수 있는 출처에서 체계적으로 전달된 피드백은 임상적 수행능력을 바꿀 수 있다. 조직 수준에서 지지적 피드백은 직원의 사기와 근속에 도움이 될 수 있다. 하지만 피드백이 반드시 긍정적 변화만 가져오는 것은 아니며, 부정적인 피드백을 받은 사람은 피드백이 쓸모없고, 부담스러우며, 비판적이고, 동제당한다고 느낄 수 있다.

7

‘피드백 샌드위치’, ‘펜들턴의 규칙’, ‘ECO(Emotional response – Content – Outcome)’ 등의 모델이 있지만, 이러한 모델은 환원주의적이고, 실증주의적 패러다임을 내포하고 있다. 피드백의 양방향성이 중요함에도, 이러한 모델은 전문가가 초심자를 돕는다는 의료계의 고전적 위계를 반영한 모델이라는 한계가 있다.

8

피드백은 복잡하고 맥락적이다(complex and contextual). 피드백은 사람이 아닌 업무에 초점을 하며, 구체적이어야 하고, 개개인의 목표에 직접적으로 연결되어야 한다. 피드백은 자존심을 저해해서는 안되지만, 단순히 칭찬으로만 구성되어서도 안 된다.

9

효과적인 피드백을 위해서는 수혜자의 행동-중-성찰reflection in action을 키워야 한다. 여기에는 외부의 피드백에서 얻은 정보를 바탕으로 하는 자기 모니터링이 필요하다. 또한 모든 활동에 피드백이 암시적이거나 명시적으로 포함시키고, 교수자는 학생에게, 학생은 교수자에게 피드백을 줌으로써 피드백을 하나로 문화로 만들어나가야 한다.

10

피드백의 기회를 놓치지 말아야 한다. 이미 많은 기회가 존재한다. 총괄평가summative와 형성평가formative의 인공적인 이분법은 모든 평가에 잠재적으로 존재하는 강력한 피드백의 기회를 억눌러왔다.  

출처:

Archer, J. C. (2010). State of the science in health professional education: effective feedback. Medical education, 44(1), 101-108.

1

의사의 지방(rural area, 지역) 의료 선택과 관련하여, 인간의 행동을 결정하는 데에 천성과 양육 중 무엇이 더 중요하냐는 질문은 매우 오래된 질문이며, 논란은 여전히 진행중이다. ‘천성’이라 함은 의과대학 입학 전에 가지고 있던 요소라고 할 수 있으며 어떤 학생이 농촌 진료에 대한 높은 선호를 가지느냐를 바탕으로 학생을 선발하는데 중요하다. ‘양육’은 의과대학 및 전공의 수련과정과 관련된 측면으로 학생들이 좀 더 농촌 진료에 관심을 가질 수 있도록 만들어주는 역할을 한다.

2

지방에서 성장한 것, 일차의료 전공과에 대한 선호 등과 같은 의과대학 입학전 요인이 농촌지역에 대한 의사의 ‘모집(recruitment)’와 관련이 있었다. 반면, 수련 요인(농촌 진료 관련 교육과정과 해당 지역 로테이션(특히 전공의 기간))이 농촌 지역에 대한 의사의 ‘유지(retention)’과 관련이 있었다.

3

Geyman 등이 “지방 의료인력 양성의 길은 멀고도 복잡하다.”라고 했으며, 지방 의료인력에 대한 의사들의 관심에 대해서 관련 정책을 담당하는 사람들은 “그들(의사, 의대생)이 어떤 의학 교육을 받았는지 보다 그들이 어떤 성격(특징)을 가진 사람이냐와 연관되어 있다.”라고 주장하기도 한다. 또한 “지방에서 성장한 의사를 양성하는 것이 가장 효과적인 방법이며, 이것을 고려하지 않는 정책은 실패하게 되어있다”라고 말하기도 한다.

4

초기 모집에 중요하게 영향을 주는 요인과 유지에 영향을 주는 요인은 서로 다르다. 초기 모집의 관점에서 지방 진료에 더 관심이 있는 지원자를 고르는 것이 의과대학 입학위원회에서 중요하게 고려되어야 한다. 또한 일단 학생을 선발한 후에는 일차의료와 지방 의료에 대한 ‘양육적(nurturing)’ 분위기가 형성되어야 한다. 지방 의료에 특화된 트랙이나 지방의료를 강조하는 것 모두 학생의 준비를 도와줄 수 있다. 전공의 프로그램에서 어떤 수련을 거치는지는 의과대학 시기에 시행하는 로테이션보다 훨씬 더 효과가 좋다.

5

유지의 관점에서 전공의 수련 후 요소 역시 중요하다. 일단 새로운 지역사회에 의사와 그/그녀의 가정이 자리를 잡게 되면 지속적인 삶의 유지에는 전문직 관련, 생활 관련, 경제 관련 이슈들이 중요하게 작용한다. 전문직으로서의 고립, 긴 근무 시간, 적은 교육 기회, 낮은 경제적 보상 등이 모두 부정적으로 작용할 수 있으며, 이들 중 많은 것들이 의학교육자들의 영역 밖에 있다.

출처:

Brooks, R. G., Walsh, M., Mardon, R. E., Lewis, M., & Clawson, A. (2002). The roles of nature and nurture in the recruitment and retention of primary care physicians in rural areas: a review of the literature. Academic Medicine, 77(8), 790-798.

1

많은 전문가들은 멘토링 관계를 정치, 비즈니스 및 학계에서 성공을 달성하는 데 필수적이라고 여긴다. 멘티는 자신감, 생산성, 만족도, 사회화, 커리어 선택, 학술활동 참여, 협력 관계 등을 얻을 수 있다.

2

멘토링은 보통 나이 든 전문가인 '멘토'와 젊은 동료인 '멘티' 사이에서 이뤄진다. 오딧세이에서, 멘토는 오딧세우스의 믿을 수 있는 친구였다. 오디세우스는 트로이 전쟁을 나서며 멘토에게 자신의 집과 아들 텔레마쿠스 (Telemachus)의 교육을 맡겼다. 이로부터 멘토라는 단어를 지혜롭고 충실한 카운셀러wise and faithful counselor라는 의미를 가지게 되었고, 오늘날에는 카운셀러이자 선생이면서, 후배나 동료의 성공을 위하여 지도하고 조언하고 돕는 사람을 의미한다.

3

열두 가지 팁은 다음과 같다. 

팁 1 : 멘토는 역할에 대한 명확한 기대와 경청능력, 피드백 기술이 필요하다. 또한 멘토는 타고나는 것이 아니라 개발되는 것이기에 기관 차원의 교수개발 프로그램을 운영할 필요가 있다.

팁 2 : 멘토는 문화와 젠더 문제에 대한 인식이 필요하다. 특히 자신이 가진 젠더나 문화적 편향을 인식해야 한다. 또한 멘토와 멘티 간 반드시 젠더와 문화가 일치해야 하는 것은 아니나, 멘티가 원할 경우에는 가능해야 한다. 멘토와 멘티의 성별이 다를 경우 경계와 이해부족의 문제를 우려하곤 하나, , 대부분의 멘티들은 멘토의 성별이 꼭 같아야 한다고 생각하지는 않았다.

팁 3 : 멘토는 멘티를 지원해주면서, 동시에 도전적이어야 한다. 즉, 지원과 도전의 균형이 중요하다.

팁 4 : 멘토에게도 불확실성과 문제점을 표현할 수있는 포럼이 필요합니다. 멘토도 문제를 겪기 때문이다. 멘토링 관계에서 발생하는 문제를 토론하고, 조언을 구할 기회가 필요하다. 이 때 세부 사항을 기밀로 유지해야 하며, 동료나 전문가로부터 피드백을 받을 수 있으면 좋다.

팁 5 : 멘토는 전문적 경계(professional boundary)를 지켜야 한다. 멘토는 멘토링에 충실해야 하며, 멘토 교육에서 전문적 경계에 대한 지식을 제공하고, 심리학자 또는 전문상담가와 같은 전문가에게 의뢰가 필요한 심리사회적 문제가 무엇인지 알려주어야 한다.

팁 6 : 멘토도 멘토링이 필요하다. 보통 멘토링은 주니어를 대상으로 하지만, 시니어라고 멘토링이 불필요한 것은 아니다.

팁 7 : 기관은 멘토를 인정해줌으로써, 멘토링의 가치를 높여야 한다. 리더는 멘토 그룹이 수행하는 일에 대해 가치를 인정함으로써, 멘토링이 의과대학에서 가장 가치있는 임무 중 하나라는 확신을 주어야 한다.

팁 8 : 멘토도 보상을 받아야 한다. 멘토 리트리트, 저녁 식사, 학술 기금, 승진 등 다양한 방식을 고려해볼 수 있다.

팁 9 : 멘토링을 위한 시간을 보호해줘야 한다. 멘토링은 '그때그때 시간 될 때 대충' 수행 할 수 있는 것이 아니다. 멘토는 이 의무를 효과적으로 수행할 수 있도록 시간을 할당 받아야 한다.

팁 10 : 멘토에게도 지원이 필요하다. 멘토가 해결할 수 없는 문제(임상적 우울, 약물 오남용, 학업 문제 등)가 있을 때, 이를 인식하고 학습상담사 및 심리상담사 등의 전문가 네트워크를 통해 멘티를 의뢰refer할 수 있어야 한다. 멘토가 갖추고 있지 못한 기술이 요구되는 역할을 멘토에게 강요해서는 안 된다.

팁 11 : 학생들의 동료 간 멘토링을 장려해야 한다. 멘토 역할을 하는 동료로부터 통찰력, 경험, 아이디어, 가이드, 문제해결, 지지를 얻을 수 있다. 멘토링 경력에 따른 일종의 ‘피라미드’ 시스템을 갖춤으로써, 교수의 시간에 대한 압박도 조금은 완화될 수 있다.

팁 12 : 멘토링 프로그램의 효과를 지속적으로 평가해야 한다. 멘토링은 지속적으로 진행되는 작업이므로, 주기적으로 프로그램을 평가하고, 새로운 접근법을 시도해볼 수 있다.

출처:

Ramani, S., Gruppen, L., & Kachur, E. K. (2006). Twelve tips for developing effective mentors. Medical teacher, 28(5), 404-408.

1

효과적인 의학교육에 지지적 학습환경(learning environment)이 필수적이라는 것에는 많은 사람이 동의하지만, LE의 퀄리티에 대한 정확한 평가는 어려운 일이다. LCME는 의과대학이 "LE를 정기적으로 평가해야 한다."고 요구하지만, 표준적인 LE 지표가 없는 한 이 표준을 지키기는 쉽지 않다. 무엇보다 학습자가 학습환경을 어떻게 인식하는지 모른다면, 개선하기 위한 방법에도 한계가 있다.

2

의학교육에서 LE 평가를 위해 처음 보고된 도구는 고등교육에 사용되는 College Characteristics Index를 AAMC가 수정한 것으로, 1960년대 의대 졸업생에게 교수 및 동료에 대한 인식을 연구했다. 이후 수십 년 동안, 연구자들은 의대생의 LE에 대한 인식을 평가하기 위한 도구를 계속해서 개발하고자 시도해왔다.

3

그렇다면 지금까지 의학교육에서 LE를 측정하기 위해 개발된 도구는 무엇이 있으며, 이 도구들에 대한 타당성 근거는 어떠한가? 28개의 고유한 도구를 체계적으로 검토하였다. 이 중 다음의 네 개 도구만이 UME와 GME에 모두 사용되었다: the Dundee Ready Education Environment Measure (DREEM), the Veterans Affairs Learners’ Perceptions Survey (VA LPS), the Postgraduate Hospital Educational Environment Measure (PHEEM), and the Surgical Theatre Educational Environment Measure (STEEM).

4

28개 도구 중 17개(61%)가 어떤 형태로든 내용 타당성 증거를 제공했지만, 4가지 타당도 근거 출처를 모두 제공하는 도구는 없었다. 32%(9/28)의 내부 구조 증거를 제공하고, 21%(6/28)는 다른 변수 증거와 어떤 형태의 관계를 제공했으며, 14%(4/28)는 응답 프로세스 증거를 제공했다. LE 도구의 타당성 증거 점수와 후속 간행물 수 사이에는 약한 관계만이 존재했다.

5

LE에 대한 의대생이나 레지던트의 인식을 평가하기 위한 gold standard는 존재하지 않는다. 그보다, 이상적인 도구는 효율적으로 시행할 수 있고, 참가자가 신속히 완료할 수 있으며, 광범위하게 적용가능하고, 시간이 지남에 따라 변화에 민감해야 한다. 물론 LE는 다면적인 구조이므로, LE 도구가 너무 짧아지면 이 모든 면을 포착하기 어려울 것이다. 대체로 LE는 50개 미만의 항목으로 평가될 수 있어 보인다.

6

흥미롭게도, 가장 높은 수준의 타당성 증거를 가진 LE 도구는 후속 출판물에서 사용되지 않았으며, 반면 타당성 증거가 좋지 않았음에도 DREEM은 전 세계적으로 40개 이상의 연구에서 사용되었다. 아마 연구자들은 다른 LE 도구를 찾기 위한 문헌 검토를 실시하기보다는 DREEM을 알고 있었기 때문에 사용했을 수 있으며, DREEM을 사용함으로써, 다른 학교의 결과와 비교할 수 있었을 것이다.

출처: 

Colbert-Getz, J. M., Kim, S., Goode, V. H., Shochet, R. B., & Wright, S. M. (2014). Assessing medical students’ and residents’ perceptions of the learning environment: exploring validity evidence for the interpretation of scores from existing tools. Academic Medicine, 89(12), 1687-1693.

1

질적 연구에 대한 평가는 해석적인 행위이며, 평가 기준의 단순한 적용이 아닌, 정보에 입각 한 성찰적 사고가 필요하다. 질적 연구를 읽을 때 생각해야 할 핵심 질문은 다음과 같다.

2

첫째, 연구에 사용 된 표본이 연구 질문에 적합했는가? 질적연구는 경험과 의미의 구성에 토대를 두고 있다. 따라서 표본은 현상의 여러 측면을 포착 할 수 있을 정도로 충분히 넓어야하며, 표본을 제한한다면 명확하게 정당화되어야 한다. 사회적 소속(문화, 종교, 사회 경제적 그룹, 직업 등)에 따라 경험과 의미가 달라지기에 이러한 맥락을 인정하는 것도 중요하다

3

둘째, 데이터가 적절하게 수집 되었는가? 호손 효과(Hawthorne effect) 같은 특정한 방법론적 문제에 주의를 기울여야한다. 관찰자의 존재가 참가자의 행동에 영향을 줄 수 있기 때문이다. 두터운 기술(thick description)은 자세한 맥락적 정보를 포함시킴으로써, 질적 연구에서 독자가 마치 연구 환경에 있었던 것과 같은 감각을 가질 수 있게 하는 방법이다. 다양한 연구방법이나 관점을 삼각측량하는 것도 유용한 테크닉 중 하나이다. 마지막으로 반복적 과정iterative process은 데이터 분석을 데이터 수집과 동시적으로 진행함으로써, 분석에서 얻은 결과를 수집에 활용inform하는 것이다.

3

셋째, 데이터가 적절하게 분석 되었는가? 어떤 방법을 사용했든, 누가, 어떻게, 무엇을 하였는지 보고해야 한다. 예를 들어, 반복적인 프로세스가 사용되었다면 명확하게 기술하고, 두 명 이상의 연구자가 분석 한 경우 연구자 간 차이를 어떻게 조율하였는지 밝혀야 한다. 많은 연구에서는 member check(연구 결과의 전부 또는 일부를 참가자에게 보여주고 경험과 일치하는지 확인)을 사용하기도 하며, Audit trail(연구원 분석 노트, 연구자 회의록 및 연구 프로세스를 추적하는 데 사용할 수 있는 기타 자료)을 설명 할 수도 있다.

4

넷째, 이 연구 결과를 내 자신의 상황으로 전이transfer시킬 수 있는가? Transferability를 평가할 책임은 독자에게 맡겨져 있다. 독자는 연구의 setting이 자신의 맥락에 transferable할 수 있을 정도로 충분히 유사한지 판단해야 한다.

5

다섯째, 반사성Reflexivity을 포함하여 잠재적인 윤리적 문제를 적절하게 다루고 있는가? 반사성Reflexivity이란 연구자가 스스로 연구 과정에 미치는 영향을 인식하는 것을 뜻한다. 특히 연구자가 보건의료인이거나 교수자이고, 참가자는 환자, 고객, 학생인 경우 연구자와 연구 참가자 사이에는 잠재적 권력 관계가 존재할 수 있다. 또한 연구자의 성별, 인종, 직업, 사회적 지위도 연구 질문 및 데이터 수집과 같은 연구 내적인 선택에 영향을 준다. 질적 연구의 윤리는 단순히 규범적 가이드라인이나 연구 윤리위원회에 그치지 않으며, 연구참여자의 경험을 수집하고 그것을 대중적으로 공개하는 것에 따르는 윤리적인 결과까지도 확장된다.

출처:

Kuper, A., Lingard, L., & Levinson, W. (2008). Critically appraising qualitative research. Bmj, 337.

1

의학 교육에서 예술을 사용한다는 아이디어는 새롭지 않다. 하지만 왜 예술의 통합이 더 널리 확산되지 않는가? 한 가지 이유는 예술에 기반을 둔 교육이 흔히 교수자의 개인적 관심이나 열정에 의존하는 경향이 있기 때문일 것이다. 두 번째 이유는 예술을 활용한 교육과정의 설계와 평가에 널리 활용되는 개념적 프레임워크가 없기 때문이다. 가이드가 없기에, 많은 교수자들은 예술을 활용할 때 자신의 개인적인 경험에 기초하여 ‘그럴 듯해 보이는’ 과정을 설계한다.

2

먼저 예술의 고유한 특성은 무엇이 있을까? 첫째, 예술은 본질적으로 표상적이고 은유적이다. 예술가는 현실의 모든 것을 소통하거나 묘사하지 않으며, ‘다른 방식으로는 표현되지 않는’ 의미와 감정을 선택적으로 전달한다. 둘째, 예술은 주관적이다. 감상하는 사람은 자신과 작가의 문화와 경험, 그리고 작품을 접하는 시간과 장소에 따라 서로 다른 의미를 구성한다. 셋째, 예술은 모호하고 복잡하다. 오히려 그렇기에 학습자는 의미를 탐색하고 다양한 관점을 발견할 수 있다. 넷째, 예술은 보편적이다. 예술은 문화와 언어의 장벽을 뛰어넘을 수 있는 능력이 있다.

3

예술을 가지고 학생은 무엇을 할 수 있을까? 먼저, 학습자는 예술을 자신의 주관적 경험과 사고로 끌어들여 성찰과 해석을 시도할 수 있다. 이는 인지적인 과정으로 볼 수 있다. 한편 예술과 감정을 결합할 수 있다. 예술가는 작품을 창조할 때 기쁨, 슬픔, 두려움, 혼란과 같은 자신의 정서적 상태를 최대한 활용하듯, 학습자도 예술을 자신의 감정 상태와 연결지어볼 수 있다. 이는 질병의 정서적 경험을 부정하고, 그저 해결해야 할 문제라고만 배워온 학생들에게 특히 중요하다.

4

예술을 활용한 교육은 어떤 효과가 있을까? 예술은 자기-인식, 타인의 관점에 대한 개방성, 모호함을 다루는능력, 개념과 주제에 대한 정교한 이해에 도움이 된다. 예술을 통해 학생들은 타인의 관점과 경험을 더 잘 이해하고, 다양성과 차이를 인식하고, 타인을 더 폭넓게 볼 수 있게 된다. 예술은 인간의 상태에 대한 통찰력을 길러줄 수 있다. 여기에는 비단 신체적인 것 뿐만 아니라, 정서적인 것, 그리고 서사적인 것도 포함된다.

5

예술을 활용한 교육에 어떤 전략이 필요할까? 첫째, 참여전략(engagement strategies)이다. 이 전략의 일차 목적은 교수자와 학습자 사이의 권력 차이를 최소화하고, 안전하고 신뢰할 수 있는 학습 환경을 조성하는 것이다. 신뢰 형성이 중요한 이유는 학생은 직관적으로 이러한 교육이 자신을 노출시키는 과정임을 인식하기 때문이다. 따라서 안전한 학습 환경 조성을 위하여 수업 운영의 그라운드 룰을 만들고, 합의된 계약을 만들 수 있다.

6

둘째, 의미형성전략(meaning-making strategies)이다. 참여전략이 학습자 참여의 무대를 설정하는 것이었다면, 의미 형성 전략의 목적은 다음과 같다. 학습자가 스스로의 관점을 인식하게 하고, 현재 상태에 의문을 제기하고 대안적 관점을 받아들이게 한다. 모호한 상황에 대처할 수 있도록 하고, 관계 속에서 ‘다름’의 가치를 깨닫게 한다. 구체적인 방법으로는 학습자에게 성찰의 기회를 제공하고, 각자의 견해와 의미를 공유할 수 있는 환경을 조성하는 것이 있다.

7

셋째, 중개 전략(translational strategies)이다. 이는 예술을 통해 습득한 지식과 기술을 전문직업적인 실천으로 전이(transfer)하게끔 돕는 것이다. 학습자에게는 예술을 통해 새롭게 학습한 기술을 임상적 맥락 속에서 성찰과 결합하여 실천해볼 수 있는 기회가 주어져야 한다.

8

그림에서 각각의 박스는 다음 단계가 실현될 수 있는 조건이지만, 다음 단계를 직접 발생시키지는 않는다. 예를 들어, 예술 작품의 모호성과 복잡성 그 자체가 학습자의 해석과 성찰을 유발하지는 않는다. 따라서 이 지점에서 교수자의 행동이 중요하다. 참여 전략을 통해서 학습자가 예술의 고유한 특성을 포용하게끔 도와야 한다. 의미 형성 전략을 통해서 예술을 이해하고, 예술과의 조우 속에서 새로운 통찰과 존재 방식을 발견하게 도와야 한다. 마지막으로 중개 전략을 통해서 일상의 실천 속에서 새로운 통찰을 작동시킬 수 있도록 구체적이고 명확한 방법을 계획하게 해줘야 한다.

출처:

Haidet, P., Jarecke, J., Adams, N. E., Stuckey, H. L., Green, M. J., Shapiro, D., ... & Wolpaw, D. R. (2016). A guiding framework to maximise the power of the arts in medical education: a systematic review and metasynthesis. Medical education, 50(3), 320-331.

1

의학교육은 지난 30년 동안 '측정 가능한 것'을 평가하는 것에서, '중요한 것'을 평가하려는 방향으로 많은 노력을 기울여왔다. 피상적인 [지식의 테스트]에서 [이해, 구성, 해석 테스트]로 바뀌어왔고, Bloom의 분류법과 같이 기술과 태도과 지식만큼 중요하다는 인식을 얻었으며, 심리측정학적으로 평가자 주관성과 사례 특수성을 알게 되었다.

2

하지만 이러한 발전이 [평가를 해체deconstructed]했으며, 일부는 결과적으로 [학습이 해체]되었다는 주장도 있다. 평가할 행동을 하위 구성 요소로 나누거나, 이렇게 나눠진 하위 구성 요소를 샘플링하는 것은 학습자들이 [큰 그림]에 덜 집중하고 ['역량'을 뒷받침하는 (세부)요소]에 집중하게 강제mandated했다는 지적이다.

3

반면, 역량 운동competency movement에는 완전히 대조적인 것도 있었다. 실제 업무의 문제를 해결하려면 역량의 모든 요소들이 통합되어야 한다는 것이다. Miller의 피라미드는 이를 잘 보여준다. [지식]은 [이해]에 필요하지만 충분하지 않으며, [이해]는 [능력(또는 역량)]에 필요하지만 충분하지 않고, [능력]은 [실제 일상적 업무성과]에 필요하지만 충분하지 않다.

4

피라미드의 상위 수준으로 갈 수록, 평가자는 동일한 내용을 관찰하고도, 응답 척도에 대해서는 다르게 해석할 수 있다. 그래서 흔히 평가자를 훈련하고, 차이를 논의하는 보정 단계를 사용한다. 하지만 비록 평가자마다 척도를 해석하는 방식이 달라도, 수행능력에는 동의할 수 있다. 그렇다면 work-based assessment(WBA)는 어떻게 개선해야 좋을까?

5

평가 척도(Scale)의 관점에서, 척도를 임상 평가자의 우선순위에 맞춰 조정하는 것 만으로도 평가자의 변별력은 더 개선될 수 있으며, 평가자 간 불일치는 줄일 수 있다. 즉, 불만족-만족-우수 같은 척도나, 기대 이하-기대 이상과 같은 척도보다, 위임가능성(감독하에서도 수행불가 – 감독하에서 수행가능 – 최소한의 감독으로 수행가능 – 감독 없이 수행가능) 기준의 척도가 더 낫다.

6

이는 평가자의 인지 구조를 반영한 척도라 볼 수 있다. 평가 양식(rating form)을 개선하려는 노력보다, 어떻게 하면 평가자의 인지적 스키마를 이해하고, 적절히 활용할 수 있을지를 고민해야 한다. 핵심은, 평가자의 현실 지도reality map에 응답 척도(response scale)을 맞추는align 것이다. 그러려면 척도의 앵커anchor로 사용되는 문구가 그 자체로 평가자의 경험에 공명resonate해야 한다. ‘기대 수준임’, ‘만족스러움’ 과 같은 추상적인 문구는 그러지 못한다.

7

평가자에게 ‘객관적인 관찰’보다 ‘판단’을 요구하는 편이 낫다. 하지만 지난 수십 년 동안, 주관성에 대한 우려로 인해 [평가자 간 일치도]를 높이기 위해, 평가도구는 [프로세스 수준]에 초점을 뒀다. 예를 들면, 악수하기, 눈맞춤 하기 등이다. 그리고 수행능력performance 점수는 개별 프로세스 항목 점수를 합산하였다. 하지만 ‘수행능력’이란 단순히 부분의 합보다 크다.

8

이처럼 [수행능력performance이 부분parts의 합sum보다 더 복잡]하고, [적절한 경험이 있는 관찰자]는 [좋은 수행능력이란 무엇인지에 동의할 수 있다]면, 직관에 반하는 결론을 내릴 수 있다. [실제로 무슨 일이 발생했는지에 대한 객관적인 응답]보다 [성과 수준의 수행능력에 대한 주관적인 판단]이 평가자 간 일치와 피평가자 간 수행능력 변별에 더 유리할 수 있다.

9

즉, 어떤 과제를 잘 수행했는지를 평가하고자 [하위 구성요소의 무수한 세부사항]을 긁어모으는 것은 [뒤로 물러서서 전체를 고려하는 것]보다 더 나은 그림을 보여주지 못한다. 이는 도구적 인상주의instrumental impressionism이라 할 수 있다. 전반적global 판단을 내리면서도, 동시에 세부사항을 인식하는 것이다. 적절한 경험이 있고 교육을 받은 평가자라면, 행동을 맥락 속에서, 서로 조합하여 해석한다. 그 결과, [단순한 행동의 총합을 측정]하기보다는 [행동의 기저에 있는 비교적 안정적인 속성]을 판단할 수 있을 것이다.

10

그렇다면 평가도구는 어떠해야 할까? 흥미롭게도 대부분의 WBA 평가도구는 매우 광범위한 맥락에서 사용되게 만들었으면서, 거의 동일한 수행능력 영역에 대해 묻고 있다. 하지만 평가도구를 설계할 때 어떤 이유로 [모든 컨텍스트]에서 [모든 도메인]을 잘 평가할 수 있다고 간주했는지는 명확하지 않다. 과연 [모든 컨텍스트]는 [모든 도메인]에 대해서 타당하고 신뢰할 수 있는 데이터를 제공할 수 있는가?

11

평가 결과의 신뢰도는 [어떤 도메인에서 어떤 도구를 사용하느냐]에 따라서 달라진다. 이는 특정한 수행능력 도메인은 특정한 상황이나 활동에서 더 잘 입증demonstrated되기 때문이다. 특정한 도메인이 더 효과적으로 샘플링되는 맥락이 존재한다. 따라서 특정 수행능력 도메인에 대해서도, 평가자는 그 도메인을 명확히 보여줄 수 있는 상황이나 활동으로부터 더 신뢰도와 타당도가 높은 판단을 내릴 수 있을 것이다.

12

그렇다면 모든 평가자는 동등한가? 우선 평가자 개인 간 차이varation도 있지만, 어떤 그룹에 속해있느냐에 따라서도 관점이 달라진다. 즉, 서로 다른 평가자 집단은 서로 다른 관점을 제공한다. 따라서 단일한 그룹에서 여러 명이 동료평가를 하는 것에 비해서, 서로 다른 그룹에서 Multi-source feedback을 하는 것은 단순히 평가자의 숫자 외에도 추가적인 가치add value가 있다.

13

또한 누구의 관점이 가장 타당한지를 생각해보아야 한다. 평가할 수 있는 능력이라는 관점에서는 상당히 자명하다. 예를 들어, 일반 사무직이나 환자가 의사의 임상적 판단의 적절성을 평가하는 것은 거의 불가능할 것이다. 하지만 이에 더하여 평가자가 평가대상의 수행능력을 정기적으로 관찰할 수 있는지도 중요하다. 예를 들어, 수술방 간호사는 의사가 병동에서 어떻게 하는지는 거의 못 보았을 수 있다. 즉, 하나의 평가방법으로 모든 임상 역량을 평가할 수 없는 것처럼, 하나의 전문직 집단도 모든 임상 역량을 평가할 수 없다. 종합하자면, [수행능력에 대한 판단 능력]이 있는 사람이, 수행능력을 [관찰할 기회]가 있을 때 보다 신뢰할 수 있는 평가 결과를 내놓을 것이다.

14

복잡한 역량에 대한 평가는 '판단의 문제'이다. 따라서 [올바른 질문]을, [올바른 방식]으로, [올바른 것]에 대해, [올바른 사람]에게 해야만이 효과적이다.

출처:

Crossley, J., & Jolly, B. (2012). Making sense of work‐based assessment: ask the right questions, in the right way, about the right things, of the right people. Medical education, 46(1), 28-37.

1

전공의의 업무 시간에 대한 연구 결과에 따르면, 직접 환자를 보는데 사용하는 시간은 매우 적고, 대부분의 시간을 educational and administrational task에 쏟는다. 이러한 현상은 수십년간 지속되어왔다.

2

2010년 6월과 7월, NewYork- Presbyterian/Columbia University Medical Center (NYP/CUMC)에서 Time and motion study를 수행하였다.

3

레지던트는 전체 근무시간의 50% 이상의 시간을 컴퓨터를 쓰면서 보냈고, 직접 환자를 보는 시간은 10% 이하였다. 이는 이전 연구 (40% and 12%) 보다 더 두드러진 것이었다.

4

컴퓨터 기반 활동의 대부분은 documentation과 관련된 것이었다(35%). 이는 이전 연구에 비해서도 높은 것이며 (21%), 우리 기관의 이전 보고와 비교해도 높다.

5

그러나 EHR 사용시간 중 비효율적으로 사용되는 비율이 높다. 예컨대 레지던트는 9.3%의 시간을 note를 읽기보다는 notes의 목록을 보는데 쓴다. 새로운 note가 있을 때 EHR이 레지던트에게 알림을 주지 않기 때문에 정기적으로 업데이트가 있는지 확인해야 하기 때문이다. 또한 patient record의 분절되어 있어서, 상당한 시간을 이 서로 다른 영역들로부터 자료를 통합하는 작업에 사용해야 한다. 마지막으로 주로 데스크탑 컴퓨터에 의존하는데, 위치가 환자에게 떨어져 있기 때문에 레지던트는 환자를 직접 보면서 컴퓨터-기반 활동을 하기 어렵다.

6

컴퓨터 시스템을 통해서만 접근가능한 환자 데이터가 증가할수록 환자 접촉에 덜 의존하고 EHR에 저장된 정보에 더 의존하는 경향은 더 심해질 것이다. 하지만 여전히 데이터를 해석하는데 환자의 역할이 필요하다고 한다면, 문제는 컴퓨터 시스템이 환자와 의사간의 engagement를 (diminish하기보다) facilitate하는 방법을 찾는 것이다.

출처: Mamykina, L., Vawdrey, D. K., & Hripcsak, G. (2016). How do residents spend their shift time? A time and motion study with a particular focus on the use of computers. Academic medicine: journal of the Association of American Medical Colleges, 91(6), 827.

1
“전문직업성(professionalism)이 보건의료시스템(health care system)이 필요로 하는 깊고 넓은 변화를 일으키기에 충분하지 않을지는 몰라도, 전문직업성이 없다면 보건의료 산업(health care enterprise)은 길을 잃을 것이다.”

2
이미 13년 전에 의사 헌장(Physician Carter on Medical Professionalism)은 의학 전문직업성(Medical Professionalism)의 원칙을 밝힌 바 있다. 이 헌장이 의사들에게 폭넓게 받아들여져 오긴 했으나, 보건의료의 질과 환자 경험은 보건의료 조직(health care organization)의 전문직업성과 분리할 수 없다는 인식이 점차 확대되고 있다. 실제로, 보건의료시스템의 구조적 요인은 개별 의사들이 헌장을 준수하는 것을 오히려 저해할 수 있다. 

3
보건의료 시스템은 보건의료 전문직의 행위를 지배(dictate the practices)하며, 이는 의사가 병원 및 병원 시스템에 고용되어 있는 한 불가피하다. 좋은 쪽으로든, 안 좋은 쪽으로든, 보건의료 조직은 조직에 고용된 직원 및 의사의 행동에 영향을 준다. 

4
이러한 이유로 조직적 전문직업성(Organizational Professionalism)을 위한 헌장을 개발하여, 현재 보건의료의 운영 방식에 대한 평가와 의료 제공 및 건강 증진을 위한 best practice의 실천을 촉진하고자 하였다. 

5
크게 아래의 네 파트로 구성되어 있다.

• 환자 파트너십(Patient Partnerships): 보건의료 조직의 일차 목적은 환자 돌봄과 환자의 웰빙이다. 바람직한 조직(model organization)은 단순한 질병의 치료가 아닌, 전인(whole person)으로서의 건강을 서포트하기 위한 환자 중심적 접근을 보장하기 위하여 환자와 파트너를 이뤄야 한다.

• 조직 문화(Organizational Culture): 조직 문화는 조직 내에서의 기대/규범/행동(expectations, norms, and operational behaviors)을 형성하는 신념과 실천의 집합이다. 조직 문화는 환자와 직원의 웰빙, 직원의 근속, 의료의 퀄리티, 건강 성과(health outcome), 의료 과실의 제거로 나타난다.

• 커뮤니티 파트너십(Community Partnerships): 바람직한 조직은 교육/소득/환경 등의 요인과 관련된 건강 불균형(health disparities)의 완화를 위하여 다른 보건의료 조직 및 그 자신이 복무하는 커뮤니티와 협력해야 한다. 특히 질환의 예방가능한 근본 원인(preventable root causes)에 초점을 두고, 적절하고, 효과적이며, 문화적으로 민감한 보건의료에 접근할 수 있도록 해야 한다.

• 경영 및 사업적 실천(Operations and Business Practices): 바람직한 조직은 환자 안전, 임상적 수월성, 투명성, 근거-기반 실천, 가치-지향적 의료(high-value care), 전문직업적 역량을 보장해야 한다. 민감하고, 공손하며, 공감적이고, 신속하며, 정중한 환자 진료를 제공해야 한다. 

Reference

https://pubmed.ncbi.nlm.nih.gov/28079726/

https://www.commonwealthfund.org/publications/journal-article/2017/jan/charter-professionalism-health-care-organizations

Charter Domains and Principles

The charter includes four domains:

• Patient partnerships. Organizations should strive to care for the whole person, and not just treat diseases. This requires engaging patients and their families in care and decision-making and using patient-generated data to monitor performance.
• Organizational culture. The organizational culture should emphasize maintaining the well-being of patients and employees, committing to teamwork and diversity, and eliminating medical error through increased accountability.
• Community partnerships. People’s health is more than the sum of services received and the luck of genetics: it is also largely influenced by social and environmental factors. Health care organizations therefore must address such factors as unhealthy behaviors and environmental toxins and engage with organizations and leaders to invest in community health.
• Operations and business practices. Health care organizations should develop a mission statement, which might feature:
  • a commitment to fair treatment of employees, including the provision of training and growth opportunities;
  • innovation in patient care and management; and
  • ethical operations that encourage reporting of violations without fear of reprisal.