[AHSE] 12 평가 포트폴리오 (Assessment Portfolios)

Meded 2025. 10. 9. 21:44

2025. 10. 9. 21:44

12장. 평가 포트폴리오 (Assessment Portfolios)
Daniel J. Schumacher, Ara Tekian, and Rachel Yudkowsky

적절히 구현된다면, 포트폴리오(portfolio)는 학습자가 이론(theory)과 실천(practice)을 통합하는 능력을 향상시키고, 자기인식(self-awareness)과 성찰(reflection)을 장려하며, 어려운 정서적 상황에 직면한 학생들에게 지원을 제공할 수 있다. 또한 포트폴리오는 학생과 튜터 간의 관계(student-tutor relationships)를 강화하고, 학생들이 훈련 과정의 엄격함(the rigours of training)에 대비하도록 돕는다 (Buckley, Coleman, & Khan, 2010).

‘포트폴리오(portfolio)’라는 단어는 라틴어 portare(운반하다, to carry)와 folium(잎, 종이 한 장, leaf or sheet)에서 유래하였다. 보건전문직 교육(health professions education)에서 평가 포트폴리오(assessment portfolio)란, 일정 기간 동안의 학습자의 발전(progress), 성과(accomplishments), 성찰적 사고(reflective thoughts)를 기록한 증거(evidence)의 모음(collection)을 의미한다. 포트폴리오는 학습자 발달의 종단적(longitudinal), 다방법적(multi-method), 다원적 출처(multi-source) 평가를 위한 도구(vehicle)이다. 포트폴리오는 형성적 목적(formative purposes)과 총괄적 목적(summative purposes) 모두에 활용될 수 있으며, 이 장에서는 두 측면 모두를 다룬다. 또한 포트폴리오 사용의 여러 도전(challenges)도 함께 탐색할 것이다.

포트폴리오 설계 (Portfolio Design)

“포트폴리오는 그 형태(form)와 활용 방식(use)에 따라 너무나 다양하기 때문에 일반화된 진술을 하기가 거의 불가능하다.” (Driessen, 2017)

포트폴리오의 개념이 성숙함에 따라, 에릭 드리센(Erik Driessen)의 이 말은 점점 더 사실이 되어가고 있다. 개별 포트폴리오의 목적(purpose)에 따라, 포트폴리오에는 학습과 발달을 증명할 수 있는 어떠한 형태의 산출물(artifact)—즉 문서(written), 오디오(audio), 또는 비디오(video) 자료라도—포함될 수 있다 (Friedman Ben David et al., 2001).

표 12.1(Table 12.1)은 포트폴리오의 내용(content)과 구조(structure)를 사고하는 두 가지 틀(framework)을 제시한다.

McEwen, Griffiths, & Schultz (2015)는 가정의학 전공의(family medicine residents) 포트폴리오에 포함된 내용 요소(content elements)를 설명하였으며,
Webb et al. (2002)는 간호 포트폴리오(nursing portfolios)의 다양한 구조적 모델(structural models)을 비유(analogy)로 제시하였다.

표 12.1. 포트폴리오 내용과 구조의 두 가지 모델 (Two Models of Portfolio Content and Structure)

① 포트폴리오 평가 지원 시스템 (Portfolio Assessment Support System) (McEwen et al., 2015)

성찰 요소 (Reflection elements): 예를 들어, 개별화된 학습계획(individualized learning plans), 진료에 대한 성찰(reflections on care), 중요 사건(significant incidents) 등에 대한 기록이 포함된다.
학습 모듈 요소 (Learning module elements): 예를 들어, 자율 학습(self-paced)이나 웹 기반 학습활동(web-based learning activities)과 같은 학습 모듈을 포함한다.
평가 요소 (Assessment elements): 예를 들어, 다원적 피드백(multi-source feedback), 객관구조화임상시험(Objective Structured Clinical Exam, OSCE) 결과, 업무 기반 평가(work-based assessments), 수련 중 평가 보고서(in-training exam reports), 기록 점검(chart audits), 진료의 질 지표(care quality metrics) 등이 포함된다.
문서 요소 (Document elements): 예를 들어, 학회 참석(conference attendance), 지속적 의학교육 활동(continuing medical education activities), 시술 기록(procedure logs), 이력서(curriculum vitae), 게재 논문(published papers) 등이 있다.

② Webb과 동료들의 간호교육 프로그램 모델 (Webb and Colleagues’ Nursing Program Models) (Webb et al., 2002)

‘쇼핑 카트(Shopping trolley)’ 모델: 학생이 자신의 학습과 성장 과정을 입증(demonstrate learning and development process)하기 위해 관련 있다고 판단되는 모든 자료를 수집(collect)한다.
‘토스트랙(Toast rack)’ 모델: 포트폴리오는 여러 개의 ‘슬롯(slots)’으로 구성되어 있으며, 특정 기간(예: 한 학기 또는 연수 연도) 동안 각 슬롯을 채워야 포트폴리오가 완성(complete)된다. 각 슬롯은 하나의 자료 유형(type of data)으로, 예를 들어 중대한 사건에 대한 성찰(critical incident reflection)이나 다양한 영역의 수행평가(performance assessments in various areas) 등이 해당된다.
‘척추(Spinal column)’ 모델: 포트폴리오는 역량 목록(list of competencies)을 포함하며, 각 역량은 척추뼈(vertebrae)에 비유된다. 학생들은 이 역량들을 평가하기 위해 필요한 자료를 수집(gather data)한다.
‘케이크 믹스(Cake mix)’ 모델: 학생들이 포트폴리오의 개별 요소들을 혼합(blend)하여 하나의 완전한 포트폴리오를 형성한다. 그 결과, 포트폴리오는 단순한 구성요소의 합(sum of the parts) 그 이상이 된다. 예를 들어, 수행평가(performance assessments)에 대한 서면 성찰(written reflection)이 이에 해당한다.

👉 요약하자면, McEwen 모델은 학습 계획·평가·성찰·문서화라는 기능적 구성요소 중심으로, Webb 모델은 ‘쇼핑 카트’, ‘토스트랙’, ‘척추’, ‘케이크 믹스’ 등 비유적 구조(analogical structures)를 통해 포트폴리오의 형태와 학습자 참여 방식을 설명하고 있다.

모델이 포트폴리오의 가능성을 제시해줄 수는 있지만, 근본적으로 포트폴리오의 내용은 그 목적(purpose)에 달려 있다. Roberts, Shadbolt, Clark, & Simpson (2014)과 Driessen (2017)은 포트폴리오를 다음 두 가지로 구분하였다.

성찰적(reflective) 포트폴리오: 교육과정의 형성적 구성요소(formative component of the curriculum)로서,
종합적(comprehensive) 포트폴리오: 교육과정의 여러 구성요소에 걸쳐(time) 평가(assessment)를 위한 도구(vehicle).

성찰 촉진 도구(formative or learning portfolio)로서의 포트폴리오는, 학습 경험(learning experiences)에 대한 개인적이고 사적인 성찰(reflective responses)을 포함할 수 있다. 여기에는 오류(errors)나 실수(mistakes)에 대한 성찰도 포함된다. 이러한 성찰은 멘토(mentor), 튜터(tutor), 또는 동료(peers)와 함께 검토(review)하고 논의(discuss)하여 형성평가(formative assessment)와 피드백(feedback)의 기회로 삼을 수 있다.
총괄적(summative), 평가적(assessment), 또는 종합적(comprehensive) 포트폴리오는, 반면에, 학습 증거(evidence of learning)와 작업 샘플(work samples)의 공개된(public) 모음으로 구성된다. 때로는 학습자의 최고의 작업(best work), 전형적 작업(most typical work), 또는 특정 주제에 관한 작업(work on a theme)을 포함한다 (Paulson, Paulson, & Meyer, 1991; Davis et al., 2001; Rees, 2005; O’Sullivan et al., 2004).
1. 평가 포트폴리오(assessment portfolio)는 그 안에 포함된 내용에 대한 성찰(reflections)이나, 성찰 포트폴리오(reflective portfolio)에서 선택된 일부 항목(entries)을 포함할 수도 있다. 그러나 두 포트폴리오의 목적 차이(different purposes)는 명확히 구분되어야 하며, 어떤 성찰 항목을 공개할지 여부는 학습자(learner)가 선택해야 한다 (Pinsky & Fryer-Edwards, 2004; Pitts, 2007).

포트폴리오는 하나의 교육과정 목표(curricular objective)나 역량(competency)—예를 들어 자기주도학습(self-directed learning)—의 성취를 문서화(document)하는 도구가 될 수 있다.

포트폴리오는 통제된 환경(controlled circumstances)에서 한 시점(single point in time)에 직접 관찰하기 어려운 역량의 성취를 증명하기에 특히 적합하다.
시간의 흐름에 따른 활동 기록(annotated, reflective record of activities over time)을 통해, 포트폴리오는 실무 기반 학습(practice-based learning)이나 시스템 기반 실무(system-based practice)와 같은 복합적 역량(complex competencies)의 간접 관찰(indirect observation)을 가능하게 한다.
또한 평가 포트폴리오에서 ‘최고의 작업(best work)’을 선택하고 그 이유를 정당화(justify)하는 과정 자체가, 학습자에게 전문직업성(professionalism)의 일부인 성찰 능력(reflective capacity)과 자기평가(self-assessment) 능력을 보여줄 기회를 제공하며, 나아가 작업의 질을 결정짓는 특성과 기준(criteria for quality)에 대한 깊은 이해를 암시한다 (Pinsky & Fryer-Edwards, 2004).

포트폴리오는 또한 단일 출처(single-source), 단일 역량(single-competency) 평가를 보완할 수 있다.

시간에 걸쳐 학습자의 성취를 풍부하고 다차원적인 기술(rich, multidimensional description)로 제시하고,
복합적 학습목표(complex learning objectives)의 성취를 검증(verify)하는 것이다.

‘옴니버스 포트폴리오(omnibus portfolio)’ 또는 종합적 평가 포트폴리오(comprehensive assessment portfolio)는 다양한 방법(methods)과 출처(sources)에서 수집된 증거의 모음(compilation of evidence)이다.
이러한 포트폴리오는 Miller의 피라미드(Miller’s pyramid)의 전 범위—‘앎(knows)’에서 ‘실행(does)’까지—를 포괄하는 항목(entries)을 포함할 수 있다 (Chapter 1 및 Figure 12.1 참조).

포트폴리오의 항목들은 필요한 평가 결정을 내릴 수 있을 만큼(evidence is sufficient for the decision required) 충분한 증거가 축적될 때까지 지속적으로 추가될 수 있다. 교원이 평가 포트폴리오에 익숙해질수록, 학습 및 수행의 조기 또는 지연 패턴(patterns of precocious or delayed learning and performance)—즉 ‘성장 차트(growth charts)’와 같은 형태—를 통해 조기 개입(early intervention)과 보완(remediation)의 기회를 제공할 수 있다.

이와 같이 종합적 평가 포트폴리오(comprehensive assessment portfolios)는 프로그램 기반 평가 체계(programmatic assessment systems)의 핵심 구성 요소(critical components)가 될 수 있다 (자세한 내용은 Chapter 16 참조).

포트폴리오의 형성적 목적 (Formative Purposes of Portfolios): 학습자 주도, 멘토 지원 (Learner-Driven, Mentor-Supported)

역량 기반 보건전문직 교육(competency-based health professions education), 즉 현재 보건전문직 교육의 주요 접근 방식은 다음을 주장한다.

학습자(learners)는 자신의 학습을 주도하는 핵심 추진력(driving force)이 되어야 하며,
멘토(mentors)는 학습 목표(learning goals)가 달성되도록 책임을 공유하며(support and share responsibility) 학습을 지원해야 한다 (Carraccio, Wolfsthal, Englander, Ferentz, & Martin, 2002).

이처럼 학습자가 통제의 주체(locus of control)가 된다는 관점은 포트폴리오의 형성적 목적(formative purposes)의 핵심 기초이다. 이를 실현하기 위해서는 포트폴리오가 반드시 학습자 중심(learner-centered)으로 설계되어야 하며, 단지 포트폴리오의 명시된 목표를 달성하는 것뿐 아니라, 평생학습능력(lifelong learning skills)의 발달까지 촉진할 수 있어야 한다 (Gordon & Campbell, 2013; Tochel et al., 2009).

예를 들어, 전자 포트폴리오(electronic portfolios)는 비전자형(non-electronic)보다 성찰(reflection)을 촉진하는 데 더 효과적일 수 있다 (Tochel et al., 2009).
또한 포트폴리오 설계에서 구조(structure)가 지나치게 많거나 너무 적을 경우 학습자의 참여 저하(disengagement)를 초래할 수 있다 (Van Tartwijk & Driessen, 2009).

이상적인 포트폴리오는 학습자의 목표와 성찰을 발달에 중요한 영역들에 초점을 맞추도록(focus) 하는 틀(framework)을 제공하되, 해당 영역에서의 학습과 발달을 기록(document)하는 방식에는 유연성(flexibility)을 제공해야 한다 (Driessen et al., 2005; Moores & Parks, 2010).

예를 들어, 전문직업성(professionalism)을 포트폴리오의 필수 주제로 설정할 수 있다. 그러나 그 영역에서의 발달은 다음과 같은 다양한 방식으로 문서화될 수 있다.

환자(patient)나 다학제적 동료(interprofessional colleague)로부터 받은 다원적 피드백 평가(multi-source feedback assessment),
공격적 환자(abusive patient)나 동료(co-worker)와의 경험을 다룬 서면 성찰(written reflection),
어려운 대화에서 효과적이고 전문적인 소통을 실천하기 위한 통찰을 얻기 위해 수행한 갈등 양식 검사(conflict mode inventory) 결과 등이 그 예이다.

평생학습(lifelong learning) 기술의 발달을 촉진하는 학습자 중심 접근법(learner-centered approach)과 일치하게, 포트폴리오의 가장 두드러진 특징 중 하나는 바로 성찰적 요소(reflective component)이다. 이는 학습자가 포함된 항목들에 대해 해설(commentary)을 제공하고, 그것의 의미를 독자에게 설명(explicate)할 수 있는 기회를 의미한다. 따라서 포트폴리오는 고유하고 개인적인 창작물(unique and individual creation)이며, 개인적·전문적 성장(personal and professional growth)을 보여주는 동적인 기록(dynamic record)이다. 포트폴리오는 성찰적 학습(reflective learning)을 촉진하는 도구이자, 동시에 그러한 성찰과 학습의 증거(evidence)로서 기능한다.

Kolb와 Schön의 경험·성찰 학습 모델 기반 (Experiential/Reflective Learning Models)

포트폴리오를 학습 촉진 도구로 사용하는 개념은 Kolb(1984)와 Schön(1987)의 경험적/성찰적 학습 모델(experiential/reflective learning models)에 근거한다 (Figure 12.2).

이 모델들은 새로운 학습이 효과적으로 내면화되기 위해서는, 경험(experience)을 돌아보고(reflect) 그것을 멘토(mentor)나 코치(coach)와 함께 성찰하는 과정이 필요하다고 강조한다.
포트폴리오 개발 과정(portfolio development process) 자체가 이러한 성찰을 촉진한다. 경험에 대해 글을 쓰는 행위(writing about experiences)는 사고(thinking)를 자극하고, 사고를 구조화(structuring thoughts)하며, 성찰(reflection)을 강화하는 도구가 되어, 궁극적으로 전문적 발달(professional development)을 지원한다 (Pitkala & Mantyranta, 2004).

멘토의 중요성: 포트폴리오 기반 평생학습에서의 역할
(The Importance of Mentors in Portfolio-Facilitated Lifelong Learning)

“자기주도학습(self-directed learning)은 일반적으로 교사(teachers), 튜터(tutors), 멘토(mentors), 자원 인물(resource people), 동료(peers) 등 다양한 유형의 조력자(helpers)와의 상호작용 속에서 이루어진다.” (Knowles, 1975)

인간은 자신의 지식(knowledge)과 수행(performance)의 결핍(gaps)을 스스로 인식하고 보완하는 능력이 제한적이다 (Eva & Regehr, 2008; Regehr, 2006). 따라서 멘토, 동료, 기타 외부 출처(external sources)로부터의 평가(external assessments)는 자기평가(self-assessment)와 학습목표 설정(defining learning goals)을 보완해야 하며, 또한 그렇게 활용되어야 한다(should inform self-assessment).

Eva와 Regehr(2008)는 학습자가 이러한 정보를 능동적으로 탐색(seek)하고 수집(gather)하는 활동을 ‘자기주도적 평가 탐색(self-directed assessment seeking)’이라고 명명하였다. 포트폴리오의 맥락에서 볼 때, 멘토(mentor) 또는 코치(coach)는 학습자의 자기평가(self-assessment), 학습목표 설정(definition of learning goals), 그리고 성찰(reflections)에 대한 외부 교정(external calibration)의 중심적 역할을 한다. 멘토가 학습자와 협력할 때에는 학습자의 유능감(competence), 관계성(relatedness), 자율성(autonomy, 즉 스스로 선택하고 행동할 수 있는 능력)에 주의를 기울여야 한다. 이러한 요소들은 학습자의 학습 의욕(desire to learn)에 중요한 영향을 미친다 (Ryan, 2000).

멘토와의 관계 속에서 관계성(relatedness)이 느껴질 때, 학습자는 방어적 태도(defensive mode)가 아닌 학습자적 태도(learning mode)로서 동료(colleague)처럼 열린 자세를 유지할 수 있다 (Ryan, 2000). 학습자들은 종종 자신의 자기평가와 일치하지 않는 외부 피드백(external feedback)을 두려워하거나, 심지어 감독자(supervisor)의 피드백조차 무시(discount)하는 경향이 있다 (Epstein et al., 2008; Mann et al., 2011; Sargeant et al., 2010; Watling et al., 2012). 이러한 점을 고려할 때, 학습자와 멘토가 동등한 관계(same level)에서 지지적(supportive)이고 동료적인(collegial) 관계를 유지하는 것이 무엇보다 중요하다. 이 관계의 균형(balance)은 일종의 춤(dance)에 비유할 수 있다. 즉, 학습자-멘토 관계를 위협하는 취약성의 지점(points of vulnerability)과, 관계를 강화하는 적응성의 지점(points of adaptability) 사이에서 균형을 잡는 것이다 (Arntfield et al., 2016).

포트폴리오의 총괄적 목적 (Summative Purposes of Portfolios): 학습자 주도, 감독자 평가 (Learner-Driven, Supervisor-Evaluated)

평가 포트폴리오(assessment portfolio)의 가장 큰 도전 과제는, 다양한 증거 자료(collection of evidence)로부터 하나의 총괄적 판단(single summative decision)을 도출하는 것이다.

예를 들어, 네 가지 구성요소로 이루어진 종합 포트폴리오(omnibus portfolio)를 상상해보자.

매년 시행되는 필기시험 점수(annual written exam scores)
매년 시행되는 수행시험(OSCE) 점수(annual performance test scores)
매월 실시되는 로테이션 종료 시 임상평가(end-of-rotation clinical evaluations) — 정량적 평가(quantitative data, 예: 평정점수 ratings)와 정성적 평가(qualitative data, 예: 서면 코멘트 written comments) 포함
학습자가 작성하는 반기별 성찰(semi-annual reflections)

이러한 포트폴리오를 점수화(scoring)하는 방식에는 여러 가지 가능성이 있다.

1️⃣ 보상적 채점(Compensatory Scoring)

각 구성요소를 개별적으로 평가하여 점수를 부여하고, 그 평균을 최종 포트폴리오 점수로 산출하는 방식이다.
이 경우, 한 구성요소에서의 낮은 성과를 다른 구성요소의 높은 성과가 보상(compensate)하게 된다.

예를 들어, 학생이 월간 임상평가에서 낮은 점수를 받았더라도, 나머지 세 항목에서의 좋은 성과가 이를 보완할 수 있다.
그러나 이러한 보상적 체계에서는 점수가 여러 구성요소의 총합(aggregate)이기 때문에, 각 항목별로 구체적인 피드백을 제공하기 어렵다는 단점이 있다.

2️⃣ 결합적 채점(Conjunctive Scoring)

각 구성요소를 별도로 평가하되, 모든 항목에서 최소 기준(minimum standard)을 충족해야 합격하는 방식이다.

예를 들어, 한 학생이 임상평가에서 낮은 점수를 받았다면, 다른 세 항목에서 아무리 좋은 성과를 내더라도, 그 항목에서 최소 기준에 미달하면 전체적으로 불합격(fail) 처리된다.
즉, 구성요소 간 보상(compensation)은 이루어지지 않는다.

3️⃣ 분석적 채점(Analytic or Primary Trait Rating Rubric)

포트폴리오 전체를 하나의 단위로 평가하되, 분석적 루브릭(analytic rubric)이나 핵심특성평가(primary trait-rating) 기준을 사용한다 (→ Chapter 9 참고).

예를 들어, 포트폴리오 전체를 조직력(organization), 완성도(completeness), 성찰의 질(quality of reflection) 등의 특성으로 평가할 수 있다.
또는 포트폴리오를 구성하는 각 역량(competencies)—예: 의사소통(communication), 지식(knowledge), 전문직업성(professionalism)—별로 제공된 증거의 질(quality of evidence)을 평가할 수도 있다.

4️⃣ 전반적 채점(Global Rating Rubric)

포트폴리오 전체를 하나의 전반적 척도(single global rating)로 평가하는 방식이다.

예를 들어, 5점 척도(five-point scale)를 사용해 “확실한 합격(definite pass)”에서 “확실한 불합격(definite fail)”까지 등급을 부여할 수 있다.

정량적(Quantitative)·정성적(Qualitative) 평가 자료의 통합 (Integrating Data Types)

포트폴리오 평가의 본질적 과제 중 하나는 정량적 데이터와 정성적 데이터의 통합(integration)이다.

역사적으로 정성적 평가 데이터(qualitative assessment data)는 심리측정학적 근거(psychometric evidence)로 신뢰도와 타당성을 입증하기 어렵다는 이유로 과소평가되어 왔다. 그러나 최근 연구들은 이 데이터를 질적 연구 방법(qualitative research approaches)으로 분석함으로써 신뢰성(credibility)과 의존성(dependability)을 확보할 수 있음을 보여주었다 (Driessen et al., 2005).
Ginsburg와 동료들의 연구에서는 평가서에 기록된 서면 코멘트(written comments)의 평가자 간 신뢰도(inter-rater reliability)가 입증되었다 (Ginsburg, van der Vleuten, & Eva, 2017).
이러한 증거 기반이 축적됨에 따라, 총괄적 평가(summative assessment) 결정을 내리는 사람들이 정성적 자료의 가치(value)를 인정하는 정도도 커지고 있다 (Govaerts et al., 2007; Oudkerk Pool et al., 2017; Schumacher, Michelson et al., 2018).
결국, 정량적 데이터(numerical data)와 정성적 데이터(verbal data) 모두의 가치는, 전문가의 판단(expert human judgment)을 통해 두 가지를 통합하여 학습자의 수행(performance)과 발달(development)을 전체적으로 조망하는 데 있다.

타당도 위협에 대응하기 (Addressing Threats to Validity)

포트폴리오는 다른 평가방법들과 동일하게 타당도(validity) 위협에 노출된다 (Chapter 2 및 Table 12.2 참고). 이러한 이유로 포트폴리오는 단독으로 사용되기보다는, 학습자의 역량(competence)을 삼각측량(triangulate)할 수 있는 종합적 평가체계(comprehensive assessment system)의 일부로 활용되는 것이 가장 효과적이다 (Melville et al., 2004; Webb et al., 2002; Tochel et al., 2009).

표 12.2. 포트폴리오의 타당도 위협 (Threats to Validity: Portfolios)

1️⃣ 구성 불충분 (Construct Underrepresentation, CU)

문제(Problem)

학습 증거(evidence of learning)가 충분히 제시되지 않음
모든 학습목표(learning objectives)에 대한 증거가 제시되지 않음

해결책(Remedy)

학습자에게 필요한 증거의 유형(type)과 양(quantity)에 대한 가이드라인(guidelines) 제공
지도교수(preceptor)와 함께 형성적 검토(formative review) 실시
학습목표 설계도(blueprint of learning objectives)를 기반으로 포트폴리오 구조(portfolio structure)를 구체적으로 명시

2️⃣ 구성 무관 변산 (Construct-Irrelevant Variance, CIV)

문제(Problem)

평가자 편향(examiner bias)
체계적 평가자 오류(systematic rater error): 후광효과(halo), 엄격성(severity), 관대함(leniency), 중심화 경향(central tendency)
성찰 능력(reflective ability)이 글쓰기 능력(writing ability)과 혼동(confounded)될 수 있음
비밀유지(confidentiality)와 사생활 보호(privacy) 문제로 인해 성실하지 않은 성찰 기록(insincere reflective entries)이 작성될 가능성

해결책(Remedy)

채점 루브릭(scoring rubric) 제공
평가자에게 루브릭 사용법(training to use rubric) 교육
평가자 간 합의 토론(rater consensus discussion) 진행
기준 설정(benchmarks) 및 평가자 참조틀(frame of reference) 훈련 제공
포트폴리오 구술 방어(oral discussion/defense of portfolio) 실시
제출 전(pre-submission), 글쓰기 및 표현에 대한 형성적 검토(formative review) 시행
형성적(formative) 기능과 총괄적(summative) 기능을 포트폴리오 내에서 분리(separate)
학습자에게 어떤 성찰 항목(reflective entries)을 포함할지에 대한 선택권(control) 부여

3️⃣ 신뢰도 지표 (Reliability Indicators)

일반화 가능성 (Generalizability)
평가자 간 신뢰도 또는 일치도 (Inter-rater reliability or agreement)
합격/불합격 결정의 재현성 (Reproducibility of pass/fail decisions)
신뢰성(Credibility)
의존성(Dependability)

1️⃣ 구성 불충분(Construct Underrepresentation, CU)

포트폴리오의 내용은 평가 대상이 되는 학습목표(learning objectives)를 체계적으로 표집(systematically sample)해야 한다.
예를 들어, 자기주도학습(self-directed learning)을 평가하기 위한 간호사 포트폴리오가 단순히 교과서 읽기 기록(log of textbook reading)만 포함한다면, 이는 구성 불충분(CU)—즉, 타당도 표집 부족(undersampling validity challenge)—의 사례이다.

이러한 CU 문제를 피하기 위해서는 학습자에게 포트폴리오 구조(structure)와 가이드라인(guidelines)을 제공해야 한다. 여기에는 다음과 같은 내용이 포함되어야 한다.

문서화해야 할 학습목표(learning objectives)
제시해야 할 증거의 종류(types of evidence)
요구되는 증거의 양(amount of evidence) — 시간과 과업에 걸친 표집(sampling over time and tasks)을 명시

예를 들어, 자기주도학습 평가용 포트폴리오의 가이드라인은 다음을 포함할 수 있다.

중대한 사건(critical incidents)으로부터 출발한 새로운 학습목표 두 가지의 설명(explanation)
해당 목표 달성을 위한 학습계획(learning plans)
수행한 교육 활동의 서술(description of educational activities)
성찰적 자기평가(reflective self-appraisal) — 성장과 전문적 발달이 일어나고 있음을 보여주는 증거

2️⃣ 구성 무관 변산(Construct-Irrelevant Variance, CIV)

CIV는 학습자 요인(learner factors)이나 평가자 요인(rater factors)에 의해 발생할 수 있다.

학습자는 평가 상황에서 자신의 오류(errors)나 약점(weaknesses)을 정직하게 성찰하기를 주저(reluctant)할 수 있다.
이를 완화하기 위해서는
- 포트폴리오의 형성적(formative) 기능과 총괄적(summative) 기능을 분리(separate)하고,
- 학습자가 ‘최고의 작업(best work)’ 또는 ‘최고의 증거(best evidence)’ 항목을 스스로 선택하여 공개하도록 허용해야 한다 (Pinsky & Fryer-Edwards, 2004).
또한 포트폴리오 평가자(portfolio raters) 역시 구술시험(oral exam)이나 수행평가(performance exam) 평가자와 마찬가지로 편향(bias)과 오류(error)에 노출될 수 있다 (Table 12.2 및 Chapters 8, 9 참고; Ward et al., 2002; Roberts et al., 2002).
- 이를 해결하기 위한 방법 중 하나는 포트폴리오의 내용을 표준화(standardize)하고, 가능한 한 다수의 평가자(multiple raters)를 활용하는 것이다. 예를 들어, 서로 다른 평가자가 각각의 포트폴리오 항목을 평가하도록 하여, 다중 관찰(multiple observations)을 확보할 수 있다.
- 다른 주관적 평가와 마찬가지로, 허용 가능한 항목의 기준(benchmarks)을 제시하고, 평가자 참조틀(frame-of-reference)을 공유하며, 토론을 통한 합의(consensus)를 구축함으로써 평가자 간 일치(rater agreement)를 향상시킬 수 있다 (O’Sullivan et al., 2002, 2004; Rees & Sheard, 2004; Pitts et al., 2002).

Roberts et al. (2014)는 임상 실습(clinical placement)에서의 프로그램 기반 평가 포트폴리오(programmatic assessment portfolio)의 신뢰도(reliability)와 타당도(validity)를 입증한 좋은 사례를 제시한다.

3️⃣ 질적 자료의 타당도 확보 (Qualitative Data Validity Strategies)

포트폴리오에 정성적 평가자료(qualitative assessment data)가 포함될 때의 타당도 문제는, 질적 연구 방법론(qualitative research methods)을 적용함으로써 효과적으로 다룰 수 있다 (Driessen et al., 2005).

신뢰성(credibility)을 높이기 위한 전략:
- 삼각측량(triangulation) — 여러 정보원을 결합(예: 여러 평가자 활용)
- 지속적 참여(prolonged engagement) — 시간에 걸친 반복적 형성평가(review over time)
- 참여자 검토(member checking) — 학습자와 평가 결과를 검토 및 논의
의존성(dependability)을 높이기 위한 전략:
- 감사(audit) — 외부 검토자에 의한 품질 보증 절차
- 감사추적(audit trail) — 평가 과정을 문서화하여 외부 검증이 가능하도록 함

이러한 질적 접근(qualitative approaches)은 포트폴리오의 총괄적 평가(summative assessment)와 품질보증(quality assurance) 과정에서 환원주의(reductionism)를 피하고, 학습자를 시간에 따라 성장하는 고유한 개인(unique individual developing over time)으로 통합적·전체적으로 바라보는 시각(holistic view)을 유지하는 데 도움을 준다.

포트폴리오를 활용해 타당(valid)하고 신뢰도 있는(reliable) 총괄평가(summative assessment) 결정을 내리는 방법에 대한 논의를 넘어, 또 하나의 중요한 질문은 바로 “누가(who) 이러한 결정을 내려야 하는가?”이다.

분명히, 이러한 평가는 학습자(learner)가 아닌 평가자(assessor)에게 최종적으로 귀속되어야 한다. 그러나 포트폴리오가 지닌 중요한 형성적 목적(significant formative purpose)과, 평생학습 역량(lifelong learning skills)을 촉진·발달시킬 수 있는 잠재력을 고려할 때, 저자들은 총괄적 목적(summative purposes)조차도 학습자 주도적(learner-driven)이어야 한다고 주장한다 (O’Brien, Sanguino, Thomas, & Green, 2016; Schmitz, Whitson, Van Heest, & Maddaus, 2010; Sklansky, Frohna, & Schumacher, 2017). 사례 예시 12.1(Case Example 12.1)은 그러한 학습자 주도형 포트폴리오(learner-driven portfolio)의 구체적인 예를 보여준다.

그림 12.3(Figure 12.3)은 포트폴리오 구술 방어(oral “defense” of the portfolio)가 학습자에게 포트폴리오의 내용을 정리(compiling)하고 제시(presenting)할 기회를 제공하는 동시에, 평가자(examiners)가

추가 정보(additional information)와 이해(understanding)를 탐색(probe)할 수 있고,
평가자들 간의 토론과 합의(consensus grade)를 촉진하며,
경계선 학생(marginal or borderline students)의 경우 추가적인 정보 요청이나 추가 평가자에 의한 재평가(rating by additional examiners)를 용이하게 할 수 있음을 보여준다.

그림 12.3의 중앙 부분은 평가자가 무엇(what)을, 그리고 어떻게(how) 검토하는지를 중점적으로 나타낸다.

임상역량위원회(Clinical Competency Committees, CCCs)는 평가 자료(assessment data)를 검토(review)하고 총괄적 판단(summative decisions)을 내리는 집단이다 (예: Accreditation Council for Graduate Medical Education, 2017 참조). 최근의 연구들은, 이러한 검토 과정(review processes)과 CCC 위원들이 검토에서 중시하는 내용(content priorities)에 모두 상당한 변동성(variability)이 있음을 보여준다. 개별 위원(member)의 검토 방식(review process)과 평가체계 내 역할(role in the assessment system)이 실제로 이루어지는 총괄적 결정(summative decisions)에 영향을 미칠 수 있다 (Friedman, Raimo, Spielmann, & Chaudhry, 2016; Nabors et al., 2017; Schumacher, King et al., 2018).

또한,

더 많은 전공의(residents)를 검토(reviewing more residents)하거나,
더 많은 검토 주기(review cycles)에 참여하거나,
검토 후 전공의에게 피드백을 제공(providing feedback)하는 위원들은, 그렇지 않은 경우보다 더 엄격한 총괄평가(more stringent summative assessments)를 내리는 경향이 있음이 보고되었다 (Schumacher, King et al., 2018).

CCC 위원들은 개인적으로 선호하는 데이터 유형(preferred data type)을 기준(anchor)으로 삼아 검토를 수행하기도 한다. 예를 들어, 많은 평가자들이 정성적 평가자료(qualitative assessment data)를 매우 높이 평가(highly value)하는 경향이 있음이 보고되었다 (Oudkerk Pool et al., 2017; Schumacher, Michelson et al., 2018).

이러한 점을 고려할 때, CCC 위원들이 자신이 선호하는 데이터 유형에 국한되지 않고(beyond their preferred data type), 다양한 출처(variety of sources)로부터 수집된 자료를 함께 검토하도록 독려하는 것이 중요하다 (Kinnear, Warm, & Hauer, 2018).
이는 총괄적 평가 결정을 보다 균형 있고(balanced), 통합적(integrated)이며, 타당한(valid) 근거에 기반하도록 보장하는 핵심 요소이다.

포트폴리오 활용의 잠재적 도전 과제 (Potential Challenges of Portfolio Use)

포트폴리오는 형성적 평가(formative assessment)와 총괄적 평가(summative assessment) 모두에 여러 장점을 제공하지만, 동시에 몇 가지 도전 과제(challenges)도 존재한다.

우선, 총괄적 목적(summative purposes)으로의 활용이 형성적 목적(formative purposes)을 저해할 수 있다 (Nagler, Andolsek, & Padmore, 2009).

멘토(mentors)는 피드백(feedback)을 제공하는 방식(manner)에 주의를 기울여야 한다. 즉, 학습자가 개선하도록 돕는 도움(helping learners improve)과 동시에 그들의 유능감(sense of competence)이 과도하게 위협받지 않도록 균형(balance)을 유지해야 한다.
이 점은 포트폴리오 시스템 구축 과정에서 교수개발(faculty development)의 중요성을 강하게 시사한다 (Chertoff et al., 2016).

또 다른 잠재적 문제는, 포트폴리오가 학습자와 멘토 모두에게 시간 부담(time consuming)이 크다는 점이다 (Gadbury-Amyot, Bray, & Austin, 2014; Van Tartwijk & Driessen, 2009).

충분한 성찰(reflection)을 하기 위해 필요한 시간(time)은 일정 수준 이하로 줄일 수 없으며, 그렇지 않으면 그 활동의 본질적 가치(value)가 손상된다.
따라서 실현 가능성(feasibility)을 최적화하면서 효용성(utility)을 극대화하는 조치를 취해야 한다.
포트폴리오가 학습자에게 단순한 행정적 장벽(bureaucratic hurdle)으로 전락하지 않도록 하는 것이 중요하다 (Driessen et al., 2007; van der Vleuten, 1996; Driessen, 2017).

또한, 포트폴리오와 관련된 시간 제약(time constraints)은 학습자와 멘토뿐 아니라, 포트폴리오를 프로그램이나 학교에 도입·운영하는 행정 리더(administrative leaders)의 시간과 자원(resources)도 함께 고려해야 한다. 이 과정에서 충분한 정보기술(IT) 지원(information technology support)을 확보하는 것이 필수적이다 (Chertoff et al., 2016).

마지막으로, 의료법적 문제(medico-legal concerns) 역시 포트폴리오 활용의 도전 과제가 될 수 있다. 포트폴리오는 실제 환자(actual patients)를 다룬 경험에 대한 성찰(reflection)을 포함할 수 있으며, 오히려 포함해야 한다(should include). 이러한 경험 중 일부는 의도대로 진행되지 않았거나, 오류(errors)가 개입된 경우도 있을 수 있다.

따라서 환자 프라이버시(patient privacy)가 매우 중요하다 (Nagler et al., 2009).
포트폴리오를 작성하는 개인은 반드시 소속 기관의 개인정보 및 법적 정책(institutional and legal privacy policies)을 충분히 이해해야 한다.
또한, 법적 공개 가능성(legal discoverability)과 전문직 법적 책임(professional liability)의 잠재적 위험도 인식해야 한다 (Nagler et al., 2009).

포트폴리오는 본래 개선(improvement)을 목적으로 하며, 법적 소환(discovery)의 대상이 되어서는 안 된다. 이를 보장하기 위해 병원 정책(hospital policies) 등 공개 방지 조치(measures preventing discoverability)가 마련되어야 하며, 이러한 보호 장치를 통해 포트폴리오의 본래 목적이 유지되어야 한다.

사례 예시 (Case Examples)

다음의 사례 연구(case studies)들은 보건전문직 학습자(learners in the health professions) 평가를 위해 창의적으로 변형된 포트폴리오 활용 사례(creative adaptations of portfolios) 세 가지를 제시한다.

요약 (Summary)

포트폴리오는 학습자의 성취(achievements)를 시간에 걸쳐 다양한 방법(multi-method)과 다양한 출처(multi-source)에서 수집한 성찰이 주석으로 달린 증거(reflection-annotated evidence) 형태로 체계적으로 모을 수 있는 유용한 구조(useful structure)를 제공한다. 이러한 구조는 형성적 평가(formative assessment)와 총괄적 평가(summative assessment) 모두에 유익하다.

그러나 포트폴리오는 다른 정성적(qualitative) 또는 총체적(holistic) 평가 방식과 마찬가지로 동일한 타당도 위협(threats to validity)에 노출된다. 따라서 멘토링(mentoring), 채점(scoring), 피드백(feedback), 실현 가능성(feasibility)과 관련된 문제들을 신중히 다뤄야 하며, 학습자 중심 접근(learner-centered approaches), 학습자 참여(learner input), 적절한 코칭(appropriate coaching)이 필수적이다. 이러한 노력을 통해 포트폴리오가 단순한 행정적 부담(bureaucratic hurdle)이 되는 것을 방지할 수 있다.

종합 포트폴리오(comprehensive portfolios)는 프로그램 기반 평가(programmatic assessment)의 핵심 구성 요소(key component)이며 (Chapter 16 참조), 단일 시점 평가(single point assessment)에서 발달 지향적(developmentally oriented)이고 총체적(holistic)인 접근으로의 전환을 가능하게 한다.

표 12.3(Table 12.3)은 보건전문직 교육(health professions)에서 평가 포트폴리오(assessment portfolios)를 성공적으로 구현하기 위한 가이드라인 요약(summary of guidelines)을 제시한다.

표 12.3. 평가 포트폴리오를 위한 실질적 지침 (Practical Guidelines for Assessment Portfolios)

포트폴리오 도입 단계 (Introducing the portfolio)

학습자와 교수진(learners and faculty)의 의견(input)과 피드백(feedback)을 반영하여 점진적으로(slowly) 포트폴리오를 도입한다.
포트폴리오의 목표(goals)를 명확히 한다.
형성적(formative) 기능과 총괄적(summative) 기능을 분리(separate)하여 운영한다.
학습자와 멘토 모두를 위해 포트폴리오 사용에 대한 지원(support)과 훈련(training)을 제공한다.

포트폴리오 실행 단계 (Implementing the portfolio)

학습자에게 포트폴리오에 포함될 자료의 유형(type)과 양(quantity)에 대한 표준 구조(standard structure) 및 가이드라인(guideline)을 제공한다.
→ 단, 구조를 제공하되 지나치게 규범적(overly prescriptive)이어서는 안 된다.
학습자의 작업(work)을 과업(task)과 시간(time)에 걸쳐 표집(sample)한다.
지지적인 교육 환경(supportive educational climate) 속에서 빈번한 형성 피드백(frequent formative feedback)과 멘토링(mentoring)을 제공한다.
기존 학습활동(existing activities)의 구조 내에서 포트폴리오 작성(portfolio entries)을 위한 시간(time)을 보장한다.

포트폴리오 평가 단계 (Assessing the portfolio)

평가자(raters)에게 기준점(benchmarks)과 참조틀(frame-of-reference)을 제공하고 이에 대한 훈련(training)을 실시한다.
평가자들이 점수를 논의(discuss scores)하고 합의(consensus)에 도달할 수 있도록 한다.
정성적(qualitative) 평가와 정량적(quantitative) 평가를 모두 활용하여 평가(assessment) 및 품질 보증(quality assurance)을 수행한다.
포트폴리오 평가 결과를 다른 평가 방법(other assessment methods)과 삼각검증(triangulate)하여 해석한다.

'논문 읽기 (with AI)' 카테고리의 다른 글

[AHSE] 14 평가에서의 시뮬레이션 (SIMULATIONS IN ASSESSMENT) (0)	2025.10.09
[AHSE] 11 서술형 평가 (Narrative Assessment) (0)	2025.10.09
[AHSE] 10 직장 기반 평가 (WORKPLACE-BASED ASSESSMENT) (0)	2025.10.09
[AHSE] 9 수행평가 / 퍼포먼스 테스트 (Performance Tests) (0)	2025.10.04
[AHSE] 8 구술시험 (Oral Examinations) (0)	2025.10.04

의대에서 교육하고 있습니다.