의대에서 교육하고 있습니다.

백종원에 대한 황교익에 대한 비판을 바라봄에 있어서 백종원을 평가자(피드백 제공자), 막걸리집 주인을 피평가자(피드백 수용자)로 보고, (방송 기준) 막걸리집 사장의 태도 변화에 초점을 두어 판단해보자면 백종원의 손을 들어줄 수 밖에 없는데, 이는 평가의 타당도를 평가하는 한 준거인 결과타당도(consequential validity) 때문이다. 결과타당도란 평가가 어떤 의도한(또는 의도하지 않은) 결과를 가져왔느냐를 기준으로 평가의 타당도를 판단하는 것이다. 따라서 (황교익의 주장과 같이) 평가가 다소 허접(?)했더라도 의도한 행동과 인식의 변화를 가져왔다면 그 평가는 결과타당도 측면에서 정당한 것이다. 다르게 말하면, 평가타당도의 관점에서는, 백종원이 막걸리 블라인드 테스트를 완벽하게 설계했고, 막걸..

형성평가(FORMative assessment)는 평가가 갖는 "목적"에 따른 구분이자, 목적을 드러내는 단어이다. 그리고 그 목적은 미완성인 무언가의 형태(form)를 보다 완성품에 가까운 모습으로 형성(form)하는 것이다. 형성평가가 표면적으로 지니는 흔한 특징은 바로 이러한 "목적"에서 기인한다. 예를 들어, - (시기) 미완성의 무언가를 대상으로 하기에 과정의 말기보다는 초기와 중기에 하게 되고 - (부담) 최종적인 판단이 아니기 때문에 평가자의 부담이 낮고(성적에 반영되는 비율이 작음) - (문항) 부담이 낮기 때문에 반드시 문항의 퀄리티가 높아야만 하는 것이 아니고(높아서 나쁠건 없지만) - (평가자) 위의 연장선상에서, 다양한 평가자를 평가에 활용할 수 있고(자기평가, 동료평가, 환자평가 ..

제출한 에세이에 적절한 형식을 지키지 않아 감점을 당하거나 표절 등의 이유로 0점을 받게된 학생들을 만나 "나쁜소식"을 전하였다. 학생들은 "어떻게 해야하는지 몰랐어요" 라든가, "만약에 인용을 제대로 했으면 1점이라도 받았을까요?" 라며 아쉬움을 감추지 못했다. 내 대답은 이러했다. "아쉬워하는 마음은 이해해요. 그렇지만 대부분의 경우 몰랐다는 것이 잘못을 정당화해주지 않습니다. 이건 지금 이 에세이 뿐만 아니라 앞으로 학생이 접할 어떤 것에 대해서도 비슷할 것입니다." "과목 담당교수인 저에게 앞으로 이 부분을 더 자세히 설명해달라고 요구할 수 있어요. 그런 요구는 무척 환영입니다. 저 역시 학생들이 어디까지 알고 있고 어디부터 모르고있는지 알고 싶습니다. 하지만 학교나 교수님들께 어떤 요구를 할 때..

1. 한 명씩 채점한다 👎 2. 한 문제씩 채점한다 👍

연구방법론으로부터 연구질문이 만들어지는 연구을 좋은 연구라 할 수 없으며, 먼저 검사를 한 뒤 감별진단을 끌어낸 진료를 좋은 진료라 할 수 없다. 반대로, 감별진단으로부터 검사계획을 수립해야 하고, 연구질문에 따라 적절한 연구방법론을 활용해야 한다. 평가도 마찬가지이다. 바람직한 평가의 기본은 평가도구를 고르기에 앞서서 평가의 목적과 대상을 결정하는 것이다. 더 나아간다면, 하나의 도구만으로는 교육의 질에 대한 복합적인 질문에 모두 답할 수 없기 때문에 다양한 도구를 사용해야 한다. 어떤 평가든 수행에 앞서 목적을 분명히 해야한다. 목적이 분명하지 않으면 수집된 데이터는 물론이고 그 해석도 완전히 뒤바뀔 가능성이 있다. 예를 들어 평가의 목적이 약점을 찾아 개선하는 것이라면 학생은 자신의 약점을 드러내고..

좋은 평가의 일곱 가지 기준을 형성평가와 총괄평가로 나누어서 적용시켜보면 다음과 같다. 1 효과적인 형성평가는 일반적으로 저부담 평가이며, 주로 비공식적/기회적opportunistic이고, 학습을 촉진하는 의도를 가지고 있다. 형성평가의 정의상, 형성평가를 특징짓는 좋은 평가의 기준은 촉매 효과catalytic effect이다. 형성평가는 다음의 경우에 가장 잘 작동한다. (1) 교육 과정 또는 작업 흐름work flow에 내포되어 있다embed. (2) 구체적이고 실행 가능한 피드백을 제공한다. (3) 지속적ongoing이다. (4) 시기 적절timely하다. 따라서 덜 중요해지는 기준에는 동등성equivalence, 재현성-일관성reproducibility-consistency이 있다. 반면 더 중요..

1 좋은 평가의 기준을 정하는 것은 몇 가지 이유로 중요하다. 2 우선, 다양한 이해 관계자가 평가 및 결과에 관련되거나 영향을 받기 때문이다. 이해 관계자에는 환자, 일반 대중, 보건의료계 고용주, ​​전문직 및 규제 기관, 대학, 의과 대학, 교육 기관, 개별 교사/교수자, 수험자(examinee)가 포함된다. 이해관계자들은 동일한 평가를 서로 다른 용도로 사용하며, 당연히 평가를 판단하는 준거에 대해서도 서로 다른 우선순위를 가지고 있다. 3 좋은 평가의 기준은 평가의 퀄리티 향상 뿐만 아니라 평가의 의도하지 않은 결과를 피하기 위해서도 중요하다. 평가와 교육과정의 불일치는 학생 행동에 바람직하지 않은 영향을 미칠 수 있다. 예를 들어, 교육과정을 강의 중심에서 병동 중심 교육으로 바꾸었더라도, 강..

좋은 평가의 기준으로부터 각 이해관계자를 위한 행동 지침을 아래와 같이 정리해볼 수 있다. 1 피험자(Examinees) • 수험생은 자신이 받는 평가의 목적을 알아야 한다. • 수험생은 그들이 받는 평가의 질을 확신해야assured 한다. • 수험생은 지속적인 학습을 유도하는 피드백을 받아야 한다. • 수험생은 피드백을 받고 행동하는 데 적극적으로 참여해야 한다. • 수험생은 적절한 시기에 채점scoring 및 합격선 설정standard setting 과정에 대한 정보를 받아야 한다. 2 환자(Patients) • 환자의 역할이 환자의 전문성(예 : 의사 소통 기술)과 일치한다면 환자는 평가자로 포함되어야 한다. • 환자는 역량 및 성과의 여러 측면facet에 대한 나은 이해를 만들어가는 데 기여해야 ..

1 Epstein은 평가assessment에 대해서 “다양한 방법을 사용하여, 자주 건설적인 피드백을 제공함으로써, 다양한 역량의 영역을 통합적이고, 일관성있고, 종단적으로 평가해야 한다”고 권고했다. Ericsson은 교수자가 학생을 자기주도적인 학습자가 되도록 도와주는 방법에 대해서 설명했다. 이 때 수행능력에 대한 피드백을 줌으로써 전문성 개발을 위한 의도적 연습deliberate practice으로 이어지게 만드는 것을 강조했다. 2 Van der Vleuten은 평가를 세 가지로 분류했다: > assessment for learning (AfL) > assessment of learning (AoL) > assessment as learning (AaL) 2-1 AfL은 종종 형성평가라고도 불린..

1 의대생은 전문직이 되기 위한 훈련을 받으며, 전문직은 팀에서 함께 일하게 된다. 따라서 의학교육에서 '협력자collaborator'의 역량 역할을 다루는 것이 중요하다. 집단 작업물 평가Group work assessment는 협력자 역량 평가의 보편적 방법이며, 보통 모든 팀 구성원이 같은 점수를 받게 된다. GW가 협력을 배울 수 있는 수단인 것은 맞지만, GW를 사용하는 현실적 이유는 MCQ, 에세이, 보고서 등 다른 평가는 채점과 교정correction에 드는 시간이 더 많고 노동집약적이기 때문이다. 그러나 그룹의 활동과정이 면밀히 모니터링되지 않거나 개별 학생의 기여도를 모르는 상태에서(예: 무임승차자 문제), 이렇게 모든 학생에게 동일한 점수를 주는 것은 타당성에 대한 문제 제기로 이어질 ..