의대에서 교육하고 있습니다.

연구방법론으로부터 연구질문이 만들어지는 연구을 좋은 연구라 할 수 없으며, 먼저 검사를 한 뒤 감별진단을 끌어낸 진료를 좋은 진료라 할 수 없다. 반대로, 감별진단으로부터 검사계획을 수립해야 하고, 연구질문에 따라 적절한 연구방법론을 활용해야 한다. 평가도 마찬가지이다. 바람직한 평가의 기본은 평가도구를 고르기에 앞서서 평가의 목적과 대상을 결정하는 것이다. 더 나아간다면, 하나의 도구만으로는 교육의 질에 대한 복합적인 질문에 모두 답할 수 없기 때문에 다양한 도구를 사용해야 한다. 어떤 평가든 수행에 앞서 목적을 분명히 해야한다. 목적이 분명하지 않으면 수집된 데이터는 물론이고 그 해석도 완전히 뒤바뀔 가능성이 있다. 예를 들어 평가의 목적이 약점을 찾아 개선하는 것이라면 학생은 자신의 약점을 드러내고..

좋은 평가의 일곱 가지 기준을 형성평가와 총괄평가로 나누어서 적용시켜보면 다음과 같다. 1 효과적인 형성평가는 일반적으로 저부담 평가이며, 주로 비공식적/기회적opportunistic이고, 학습을 촉진하는 의도를 가지고 있다. 형성평가의 정의상, 형성평가를 특징짓는 좋은 평가의 기준은 촉매 효과catalytic effect이다. 형성평가는 다음의 경우에 가장 잘 작동한다. (1) 교육 과정 또는 작업 흐름work flow에 내포되어 있다embed. (2) 구체적이고 실행 가능한 피드백을 제공한다. (3) 지속적ongoing이다. (4) 시기 적절timely하다. 따라서 덜 중요해지는 기준에는 동등성equivalence, 재현성-일관성reproducibility-consistency이 있다. 반면 더 중요..

1 좋은 평가의 기준을 정하는 것은 몇 가지 이유로 중요하다. 2 우선, 다양한 이해 관계자가 평가 및 결과에 관련되거나 영향을 받기 때문이다. 이해 관계자에는 환자, 일반 대중, 보건의료계 고용주, ​​전문직 및 규제 기관, 대학, 의과 대학, 교육 기관, 개별 교사/교수자, 수험자(examinee)가 포함된다. 이해관계자들은 동일한 평가를 서로 다른 용도로 사용하며, 당연히 평가를 판단하는 준거에 대해서도 서로 다른 우선순위를 가지고 있다. 3 좋은 평가의 기준은 평가의 퀄리티 향상 뿐만 아니라 평가의 의도하지 않은 결과를 피하기 위해서도 중요하다. 평가와 교육과정의 불일치는 학생 행동에 바람직하지 않은 영향을 미칠 수 있다. 예를 들어, 교육과정을 강의 중심에서 병동 중심 교육으로 바꾸었더라도, 강..

좋은 평가의 기준으로부터 각 이해관계자를 위한 행동 지침을 아래와 같이 정리해볼 수 있다. 1 피험자(Examinees) • 수험생은 자신이 받는 평가의 목적을 알아야 한다. • 수험생은 그들이 받는 평가의 질을 확신해야assured 한다. • 수험생은 지속적인 학습을 유도하는 피드백을 받아야 한다. • 수험생은 피드백을 받고 행동하는 데 적극적으로 참여해야 한다. • 수험생은 적절한 시기에 채점scoring 및 합격선 설정standard setting 과정에 대한 정보를 받아야 한다. 2 환자(Patients) • 환자의 역할이 환자의 전문성(예 : 의사 소통 기술)과 일치한다면 환자는 평가자로 포함되어야 한다. • 환자는 역량 및 성과의 여러 측면facet에 대한 나은 이해를 만들어가는 데 기여해야 ..

1 Epstein은 평가assessment에 대해서 “다양한 방법을 사용하여, 자주 건설적인 피드백을 제공함으로써, 다양한 역량의 영역을 통합적이고, 일관성있고, 종단적으로 평가해야 한다”고 권고했다. Ericsson은 교수자가 학생을 자기주도적인 학습자가 되도록 도와주는 방법에 대해서 설명했다. 이 때 수행능력에 대한 피드백을 줌으로써 전문성 개발을 위한 의도적 연습deliberate practice으로 이어지게 만드는 것을 강조했다. 2 Van der Vleuten은 평가를 세 가지로 분류했다: > assessment for learning (AfL) > assessment of learning (AoL) > assessment as learning (AaL) 2-1 AfL은 종종 형성평가라고도 불린..

"의학교육에서 평가는 학습을 유도하지 않는다. 평가는 행동을 유도할 뿐이며, 그 중 일부 행동이 학습에 도움이 되고, 일부는 그렇지 않을 뿐이다." Assessment doesn’t drive learning in #meded. Assessment drives behavior, and some behavior leads to learning and some does not.

1 밀러의 피라미드에서 마지막 한 층(Does)의 평가를 보자. 'Does' 수준의 평가는 본질적으로 전문가가 정보에 의존하여 성과를 판단하는 방식이다. 이 때 전문가란, 동기 및 선후배, 동료직원, 상급자, 교수자 등을 비롯하여 피평가자의 업무 또는 교육성과에 대해 잘 아는 사람을 광범위하게 포함하는 단어로 해석해야 한다. 2 Does 평가의 자극 형식은 실제적 맥락Authentic context이며, 비표준화, 비구조화 되어있다. Does 평가의 응답 형식은 다소 일반적generic이며, 특정한 맥락에 따라 재단tailored되어있지 않다. 예를 들어 CanMEDS의 Collaborator와 Communicator 역량이 있다. 이런 역량이 어느 정도 generic할지 몰라도, 평가를 할 때는 맥락-..

1 우리가 학습자를 평가할 때, 우리는 주로 '숫자'를 생성한다. 그러나 숫자는 중간과정일 뿐이다. 우리가 진짜로 원하는 것은 그 학습자에 대한 '판단decision'이며, 예컨대 '합격인가?' 하는 것이다. 따라서 궁극적으로 보았을 때, 타당화validation라는 것은 결국 '최종 판단의 방어가능성defensibility를 지지하는 근거'를 수집하는 것이다. 2 임상적 예시를 들어볼 수 있다. PSA검사가 전립선암 진단에 유용한가? 근거를 살펴보면, 재검사에 대한 결과가 reproducible하고 매년 측정한 결과도 그렇다. 그러나 이러한 긍정적 결과에도 불구하고 대부분의 남성에 대해서는 검사를 권고하지 않는다. 불일치의 원인은 PSA에 뒤따르는 추가 검사에서 발생할 수 있는 의도하지 않은 부정적 결..