[프로그램 평가] 평가적 사고의 정의와 가르치기: 비판적 사고 연구의 인사이트

Meded 2024. 6. 2. 22:57

2024. 6. 2. 22:57

출처: Buckley, J., Archibald, T., Hargraves, M., & Trochim, W. M. (2015). Defining and teaching evaluative thinking: Insights from research on critical thinking. American Journal of Evaluation, 36(3), 375-388.

https://journals.sagepub.com/doi/abs/10.1177/1098214015581706

논문 "Defining and Teaching Evaluative Thinking: Insights From Research on Critical Thinking"은 평가 분야에서 중요한 개념인 평가적 사고(Evaluative Thinking, ET)를 정의하고 가르치는 방법에 대해 논의합니다. 평가 역량 강화(Evaluation Capacity Building, ECB)를 위한 사람들 사이에서 평가적 사고가 점점 더 중요한 요소로 인식되고 있지만, 명확하고 일관된 정의가 부족하여 이 용어가 공허한 유행어가 될 위험이 있다는 문제를 지적합니다.

논문의 주요 내용은 다음과 같습니다:

평가적 사고의 중요성과 정의의 필요성

평가적 사고는 고품질 평가를 위해 필수적이며, 평가 역량의 중요한 요소로 인식되고 있음.
그러나 평가적 사고에 대한 정의는 다양하고 때로는 모호하여, 명확하고 공통된 정의가 필요함.
Patton(2010)은 "평가 문화와 평가적 사고의 중요성에 대한 관심이 증가함에 따라 이러한 문구들이 단순한 반복과 립 서비스로 인해 공허해질 위험이 있다"고 경고함.
Anne Vo(2013)는 Delphi 연구를 통해 평가적 사고의 개념을 명확히 하고 정의를 제안하려고 노력함.

평가적 사고와 비판적 사고의 관계

평가적 사고는 평가의 맥락에서 적용되는 비판적 사고라고 주장함.
ECB와 평가 분야 전반이 오랜 기간에 걸쳐 교육학자, 학습 이론가, 철학자, 인지 과학자들이 개발한 강력한 개념과 교수 전략을 명시적이고 투명하게 활용할 필요가 있다고 주장함.
Michael Scriven은 평가에서 비판적 사고의 중심 역할을 오랫동안 강조해 왔음에도 불구하고, 평가 문헌에서는 비판적 사고가 드물게 논의됨.

평가적 사고를 가르치는 원칙과 전략

논문은 교육, 인지 과학, 비판적 사고 연구에 기반한 가이드 원칙과 구체적인 교수 전략을 제안함.
Brookfield(1987, 2012), Facione(1990, 2000), McPeck(1990) 등의 연구를 참고하여 평가적 사고를 가르치는 방법을 제시함.

평가적 사고의 정의

평가적 사고의 정의와 관련된 기존 문헌을 검토하고, 명확한 정의를 통해 평가적 사고를 의미 있게 논의, 촉진, 가르치고 측정할 수 있는 방법을 모색함.

결론

평가적 사고는 비판적 사고와 밀접한 관련이 있으며, 이를 효과적으로 가르치기 위해서는 비판적 사고 교육 연구에서 얻은 원칙과 전략을 활용할 필요가 있음.
명확한 정의와 함께 평가적 사고를 가르치는 구체적인 방법을 제시함으로써, 평가자와 ECB 촉진자들이 평가적 사고를 의도적이고 의식적으로 그들의 작업에 통합할 수 있도록 돕고자 함.

이 논문은 평가적 사고를 명확하게 정의하고, 이를 효과적으로 가르치기 위한 전략을 제공함으로써 평가 분야의 발전에 기여하려고 합니다. 평가적 사고를 비판적 사고의 연장선으로 이해하고, 이를 가르치는 방법에 대한 구체적인 지침을 제공하는 것이 이 논문의 핵심입니다.

평가적 사고 정의하기

논문에서는 평가적 사고(Evaluative Thinking, ET)라는 용어가 점점 더 많이 사용되고 있음을 확인하기 위해 평가 문헌을 검색했습니다. 이를 위해 미국 평가 저널(American Journal of Evaluation), 캐나다 프로그램 평가 저널(Canadian Journal of Program Evaluation), 평가 및 프로그램 기획(Evaluation and Program Planning), 평가 리뷰(Evaluation Review), 평가(Evaluation), 다학문 평가 저널(Journal of MultiDisciplinary Evaluation), 새로운 평가 방향(New Directions for Evaluation) 등 7개의 동료 심사 평가 저널을 검색했습니다. 1990년대 후반부터 이 용어가 출판된 평가 문헌에서 점점 더 자주 사용되고 있음을 발견했습니다. 예를 들어, 1981년의 예외적인 경우를 제외하면, 이 용어는 1996년까지 평가 문헌에서 전혀 나타나지 않았습니다. 1996년 이후로는 매년 한 번 정도 등장하다가 2001년부터 급격히 증가했습니다. 2007년에는 12개의 다른 기사에서 ET가 언급되었고, 2013년에는 최고치인 15개 기사에서 언급되었습니다. 또한 2013년 10월에 열린 미국 평가 협회 연례 회의에서 ET가 18번 언급된 것도 이 용어의 현재 인기를 나타냅니다.

그러나 용어 사용이 증가하는 것과 정의의 일치성은 관련이 없었습니다. 대부분의 경우, 이 용어의 사용은 순전히 수사적이었으며, 어떤 경우에는 제목에만 등장하고 본문에서는 전혀 언급되지 않는 경우도 있었습니다(Nelson & Eddy, 2008). 일부 논의는 개인 차원에서 ET를 다루고, 다른 논의는 조직 차원에서 다룹니다. 우리가 찾은 103개의 기사 중 11개만이 ET를 명시적으로 정의하거나 설명했습니다. 이들 기사에서 공통적으로 나타나는 주제는 ET가 과정 사용(process use) 개념과 관련이 있다는 점입니다(King, 2007; Patton, 2007). 또 다른 공통 주제는 ET가 평가에만 국한되지 않고 조직의 모든 작업 과정에 주입되어야 한다는 것입니다(Baker & Bruner, 2012; Bennett & Jessani, 2011; Carden & Earl, 2007; King, 2007; Patton, 2005; Taut, 2007).

종종 ET에 대한 설명이나 정의는 이를 반영적 실천(reflective practice)에 비유합니다(Argyris & Schön, 1978; Schön, 1983).

"ET는 조직의 모든 작업 관행을 통해 좋은 평가를 특징짓는 동일한 기술을 통합하는 일종의 반영적 실천이다"(Baker, 2011; Baker & Bruner, 2012).
"ET는 조직 문화와 모든 시스템 내에서 항상 이루어지는 질문, 반영, 학습, 수정 과정이다"(Bennett & Jessani, 2011, p. 24).
"ET는 조직 내 사람들이 체계적인 탐구 과정을 통해 자신을 더 비판적으로 바라보도록 돕는 것이다. 이는 사람들이 질문을 하고 답을 찾도록 돕는 과정이다"(Preskill & Boyle, 2008, p. 148).
"ET는 우리가 알고 있다고 생각하는 것을 어떻게 아는가?라는 질문을 하는 현실 검증 의지, 분석적 사고 방식이 모든 것에 주입되는 것이다"(Patton, 2005, p. 10).
Carol Weiss(1998)는 평가적 사고라는 용어를 사용하지 않았지만, 공동 평가의 부수적 이점으로 "프로그램 사람들이 자신의 실천을 반성하고 비판적으로 사고하며 프로그램이 왜 그렇게 운영되는지 질문하도록 돕는 것"을 설명하며 평가적 사고의 개념을 환기시켰습니다. 그녀는 이를 "회의적인 질문 관점, 반영적 실천자의 관점"이라고 묘사했습니다(p. 25, 강조 추가).

Davidson, Howe, 그리고 Scriven (2004)은 평가적 사고(Evaluative Thinking, ET)를 평가적 지식과 평가적 태도로 구성된 헌신과 전문성의 결합으로 설명합니다. 다른 문헌에서도 이와 유사하게 ET는 평가 역량 강화(Evaluation Capacity Building, ECB)와 관련된 세 가지 주요 목표와 연관되어 있습니다: 지식 또는 인지적 결과, 행동 또는 기술 관련 결과, 정서적 결과(Preskill, 2008; Taut, 2007). Volkov (2011)은 ET를 내부 평가자의 중요한 업무 요소로 설명하면서, 이를 과정, 사고 방식, 역량, 그리고 “사람이나 조직이 사물을 평가적으로 바라보고 그러한 관찰의 결과를 활용하려는 능력, 의지, 준비성”이라고 표현합니다.

그러나 이러한 설명들에도 불구하고, ET에 대한 개념은 여전히 불명확한 부분이 있습니다. 예를 들어, 일부 설명에서는 ET를 정의하기 위해 "평가적 태도"와 "평가적으로 사물을 보는 준비성"과 같은 밀접하게 관련된 개념에 의존하며, 사실상 용어 자체를 사용합니다. 또한, 많은 ET에 대한 설명은 "평가적 실행" 또는 평가의 실천과 상당히 겹칩니다. ET는 “실질적인 질문을 하고, 특정 질문에 답하는 데 필요한 데이터를 결정하고, 적절한 전략을 사용하여 데이터를 수집하며, 수집된 데이터를 분석하고 결과를 요약하며, 그 결과를 활용하는 것”을 포함합니다(Baker & Bruner, 2012, p. 1). Baker와 Bruner (2012)에 따르면, ET를 평가 실천의 일반적인 정의와 구별하는 점은 ET가 이상적으로는 조직의 모든 작업 관행에 걸쳐 발생한다는 것입니다. 그러나 ET의 잠재적인 (그리고 바람직한) 광범위성 외에 이 개념을 구별하는 것은 무엇일까요? 더욱이, 앞서 언급한 ET에 대한 기여자들이 제시한 관점들은 각각 한두 가지 측면에서 유익하고 도움이 되지만, ET의 포괄적인 그림은 부족합니다. 이 논문의 서론에서 제안한 것처럼, 광범위하게 합의된 정의가 없으면 ET는 의미 있게 논의, 촉진, 교육, 측정, 연구될 수 없으며, 이는 이 개념의 실용성을 제한합니다.

ET가 무엇인지에 대한 이 풍부한 논의는 비판적 사고(critical thinking)와 관련된 오랜 역사를 활용함으로써 크게 발전될 수 있습니다. 현재 비판적 사고와 연관된 인지적 속성은 수세기 동안 논의되어 왔습니다. 1603년에 Sir Francis Bacon은 “탐구하려는 욕망, 의심하려는 인내심, 명상하려는 애착, 단언하려는 느림, 재고하려는 준비성, 정리하고 배열하려는 신중함; 그리고 모든 종류의 사기 혐오”와 같은 여러 유리한 정신적 특성을 나열했습니다(Spedding, 1868, p. 85). 이러한 특성은 현대 비판적 사고의 정의와 크게 다르지 않습니다. 실제 용어의 초기 사용 중 하나는 John Dewey(1910)의 "How We Think"에서 찾을 수 있으며, 그는 “비판적 사고의 본질은 판단의 유보이며, 이 유보의 본질은 문제의 성격을 결정하기 위한 탐구”라고 말했습니다(p. 74). 최근에는 특히 1980년대에 비판적 사고에 대한 정의와 논쟁이 급증했습니다(Brookfield, 1987; Ennis, 1990; Facione, 1990, 2000; McPeck, 1984, 1990; Paul, 1993; Scriven, 1987).

이후 섹션에서는 비판적 사고 문헌에 대한 검토에서 선택된 결과를 제시하며, 비판적 사고를 가르치거나 촉진하는 방법에 대한 시사점에 특별히 주목합니다.

비판적 사고에 대한 이러한 저자들과 평가 분야의 동료들로부터 영감을 얻고, ECB 실무자로서의 우리의 경험을 토대로(Archibald & Buckley, 2013; Archibald, Buckley, & Trochim, 2011; Trochim et al., 2012), 우리는 다음과 같은 간결한 정의를 제안합니다:

평가적 사고(Evaluative Thinking)는 평가의 맥락에서 적용되는 비판적 사고로, 호기심과 증거의 가치를 믿는 태도로 동기 부여되며, 가정 식별, 심사숙고한 질문 제기, 성찰과 관점 취득을 통한 깊은 이해 추구, 그리고 행동 준비를 위한 결정을 정보화하는 과정을 포함합니다.

이 정의에서 우리는 "평가의 맥락"을 조직적, 프로그램적, 또는 기타 목적을 가진 노력과 관련하여 정보를 제공하고 행동을 개선하는 공식적인 평가와 비공식적인 평가적 노력을 모두 포함하도록 의도했습니다. 따라서 우리의 ET 정의는 ET의 중요성을 조직의 모든 기능에서 강조하는 다른 설명들(Baker, Bruner, Sabo, & Cook, 2006; Patton, 2005)과 일치합니다. ET의 포괄적인 그림을 개발하려는 노력의 일환으로, 중요한 도전 과제 중 하나는 ET와 단순히 좋은 평가 수행 사이의 차이를 명확히 설명하는 것입니다. 우리의 견해로는, 두 가지는 동일하지 않으며, 이 개념들을 구별하는 것이 중요합니다. ET와 평가 수행을 구분함으로써, 우리는 결코 단순히 사고하기 위해 평가적으로 사고하도록 촉진하려는 것이 아닙니다. 오히려, 우리의 견해는 ET가 평가 지식과 기술과 결합될 때 고품질의 평가 실천에 필수적이라는 것입니다. 평가자, 프로그램 계획자, 연구자, 교육자 모두가 평가적으로 사고하고 평가 과정에 어느 정도 관여할 때, 평가는 잘 계획되고, 실행은 지속되며, 결과는 프로그램 진화 지원에 사용됩니다. ET가 없으면 평가가 정체되며, 공식적인 평가 계획 및 실행에 책임이 있는 사람들은 동기가 부족하고, 변화를 저항하며, 중요한 연결을 놓치고, 이상적인 결정을 내리지 못하게 됩니다. 본질적으로, ET는 평가가 성장하고 번영할 수 있도록 하는 기초입니다. 조직이나 프로그램 팀의 모든 사람이 평가자이거나 평가 작업을 수행할 필요는 없습니다. 그러나 프로그램의 계획, 실행, 평가에 관여하는 모든 사람이 평가적 사고를 한다면, 프로그램과 평가가 성공할 가능성이 가장 높습니다.

우리의 정의에 따르면, 평가가 ET 없이도 여전히 이루어질 수 있습니다. 예를 들어, 데이터를 수집하고 분석할 수 있지만 ET 없이 수집된 데이터는 유용하지 않을 수 있으며, 데이터를 수집하는 사람들은 예상치 못한 발전을 잘 활용하거나 실제 세계에서의 문제나 놀라움에 직면했을 때 평가 계획을 적응하고 수정할 준비가 되어 있지 않을 것입니다. 요약하자면, ET는 무의미하고 무분별한 평가의 위험을 방지하기 위한 보호 요소입니다(Patton, 2011; Volkov, 2011).

ECB를 위한 평가적 사고(ET)의 실행

평가 방법 교육과 ET 교육:

ECB 분야에서는 평가 방법을 가르치는 다양한 접근법이 잘 문서화되어 있다 (Alkin & Christie, 2002; Darabi, 2002; Febey & Coyne, 2007; Kelley & Kaczynski, 2008; Lee, Wallace, & Alkin, 2007; Oliver, Casiraghi, Henderson, Brooks, & Mulsow, 2008).
그러나 ET를 가르치는 방법에 대해서는 거의 언급되지 않고 있다.
이 섹션에서는 개인 및 그룹 또는 조직에서 ET를 가르치고 촉진하며 장려하기 위한 이론적 프레임워크와 구체적인 전략을 제공한다.
이러한 전략은 기존의 평가 방법 지식을 촉진하기 위한 ECB 노력에 추가적으로 사용되거나, 평가 방법 지식이 있지만 ET가 부족하여 지속적이고 고품질의 평가 작업이 없는 상황에서 사용된다.

ET 촉진을 위한 이론적 기반:

제시된 원칙과 전략은 인지 과학 및 교육 문헌에 기반을 두고 있다.
학습자에게 ET를 심어주고 발전시키는 데 내재된 도전 과제를 이해하는 데 중점을 둔다.
이 논의는 ET를 촉진하기 위한 다섯 가지 지도 원칙으로 요약된다.

구성주의 이론:

현대 인지 및 교육 연구는 사람들이 기존의 지식과 믿음을 바탕으로 새로운 지식과 이해를 구성한다는 아이디어에 중점을 둔다 (Brookfield, 1986; Piaget, 1978; Vygotsky, 1978).
ET를 촉진하는 맥락에서, 구성주의 이론은 학습자가 현재의 지식과 믿음에서 ET에 필요한 지식과 기술로 이동할 때 학습이 가장 강력해진다고 제안한다.
교사와 학습자 간의 현재 지식과 믿음에 대한 효과적인 의사소통은 학습의 출발점을 설정하는 데 유용할 수 있다.
구성주의 접근법은 학습 과정에서 학습자의 주된 역할을 강조한다. 교사는 지식을 일방적으로 제공하는 대신 학습자가 연습을 통해 자신의 지식을 구성할 수 있는 기회를 만들어준다.
이 접근법은 학습자에게 더 많은 시간과 내재적 동기를 요구할 수 있지만, 구성주의자들은 결과적으로 새로운 지식과 기술이 더 깊이 이해되고 지속적으로 사용될 것이라고 주장한다.

인지 과학의 기여:

인지 과학 연구는 사고 유형(예: 범주화, 인과적 사고, 분석 등), 사고 수준(예: 기억하기, 적용하기, 창조하기) 및 해당 수준과 관련된 사고 기술을 식별해 왔다.
연구자들은 "평가주의자(evaluativist)" 수준의 사고를 가장 높은 수준의 사고 중 하나로 언급한다 (Kuhn, 2005; Kuhn, Cheney, & Weinstock, 2000).
평가주의자 수준의 사고는 다음을 포함한다 (Kuhn, 2005).
- 주장들이 논쟁과 증거의 기준에 따라 평가되고 비교될 수 있다는 믿음,
- 지식이 인간의 마음에 의해 생성되며 평가될 수 있다는 믿음, 그리고
- 비판적 사고가 건전한 주장과 이해를 증진시키는 도구로 가치 있다는 믿음
본질적으로, 평가주의자 수준의 사고는 공식적인 평가에서 분리된 ET와 동일하다.

ET를 촉진하기 위한 지도 원칙

원칙 1: 맥락적 관련성:

ET는 학습자에게 더 의미 있고 적용 가능하도록 관련된 맥락에 포함되어야 한다.
실제 사례와 예시는 ET의 실질적 적용을 보여주는 데 도움이 된다.

원칙 2: 활동적 학습:

학습자의 적극적인 참여와 참여를 장려해야 한다.
토론, 반성, 실습과 같은 활동은 ET 기술을 개발하는 데 필수적이다.

원칙 3: 비계 설정:

학습자가 현재의 이해 수준에서 더 고급 수준의 ET로 나아갈 수 있도록 구조화된 지원을 제공해야 한다.
학습자가 더 능숙해지면 점진적으로 지원을 제거하여 독립성을 장려한다.

원칙 4: 반성:

학습 경험과 과정을 정기적으로 반성하도록 장려해야 한다.
반성은 학습자가 ET 원칙을 내면화하고 다양한 맥락에서 적용하는 데 도움이 된다.

원칙 5: 협력적 학습:

학습자가 관점을 공유하고 서로의 사고를 도전할 수 있는 협력적 학습 환경을 조성해야 한다.
협력은 ET의 깊이 있는 이해와 적용을 향상시킨다.

이러한 지도 원칙을 구현함으로써 교육자와 실무자들은 ET를 효과적으로 촉진할 수 있으며, 이는 조직 내 평가 작업의 질과 영향을 향상시키는 데 기여할 것이다.

평가주의자 수준의 사고와 인지 기술

인지 기술의 중요성:

평가주의자 수준의 사고를 특징짓는 인지 기술은 Bloom(1956)이 "고차원" 사고 기술로 지칭한 것의 예이다.
이는 기억, 이해, 적용과 같은 여러 "저차원" 사고 기술을 조정하여 사용하는 것을 의미한다.
이러한 관점에서 기술 구축은 중요해지는데, 인간은 고차원 비판적 사고를 선천적으로 할 수 있는 능력을 가지고 태어나지 않으며, 이 능력은 길러지거나 습득되어야 한다.
David Perkins는 일상적인 사고를 보통의 걷기에 비유하고, 좋은 사고는 100미터 달리기나 암벽 등반처럼 기술적 성과로서 많은 인위적 요소가 포함되어 있다고 말한다 (Hunkins, 1995에서 인용).

ET의 학습과 연습:

ET는 학습하고 연습해야 하는 기술이다.
학습자는 ET의 이론적 지식과 관련된 기술을 가지고 있어야 연습할 수 있다.
신체 기술과 마찬가지로, 학습자가 연습을 많이 할수록 사고력이 향상된다.
대부분의 연습이 필요한 것들과 마찬가지로, 즉시 더 나은 사고자가 될 수 있는 지름길이나 트릭은 없다 (Ericsson & Charness, 1994).
또한, ET는 점진적으로 개발되어야 하며, 사용되는 맥락과 방식이 시간이 지남에 따라 더 복잡하고 도전적이 되어야 한다. 이는 학습자의 기술 수준을 점차적으로 높이는 데 도움이 된다 (Brookfield, 2012).

비판적 사고의 도전과 뇌의 자연적 경향:

비판적 사고를 개발하는 것이 어려운 또 다른 이유는 뇌가 자연적으로 오류, 편견, "맹점"에 취약하기 때문이다. 이는 특히 기존 믿음을 유지하려는 무의식적인 노력에서 나타난다.
증거를 믿음에 종속시키려는 경향을 "믿음 보존" 또는 "확증 편향"이라고 한다.
이러한 영향을 보상하기 위해, 좋은 사고자는 자신의 사고를 분석하고 인식하는 고차원 사고 기술, 즉 "메타인지"를 사용하여 자신의 믿음 보존 경향을 인식하고 반성해야 한다 (Lord, Ross, & Lepper, 1979).

다양한 맥락에서의 사고 기술 사용:

새로운 지식을 깊이 이해하고 유지하려면 다양한 맥락에서 사용하는 것이 중요하듯이, 사고 기술을 계속 개발하려면 다양한 문제를 해결하는 데 사용해야 한다 (Halpern, 1998).
사고 기술은 특정 지식보다 더 다양한 상황에서 사용할 수 있지만, 이는 또한 완전히 개발되기 위해 기술이 더 많은 영역으로 전이되어야 함을 의미한다.
뇌 내에서 연결을 구축하는 것이 필수적이다. 새로운 문제에 적용되는 비판적 사고를 명확히 설명하거나 그림으로 표현하는 것이 이러한 연결을 강화하는 데 도움이 될 수 있다.
또한, ET는 일상적이고 의도적이며 투명하게 연습되어야 한다.
종종 ECB 전문가들은 이를 명명하거나 의도를 발표하지 않고 ET를 촉진하려고 노력한다. ET 연습 의도를 소리 내어 말하는 것은 학습자의 뇌가 해당 기술과 관련된 과거 경험을 빠르게 불러올 수 있게 하여 연습을 더 생산적으로 만든다 (Ericsson & Charness, 1994).
또한, 소리 내어 ET 연습을 명명하는 것은 의도적인 학습 환경을 조성하는 데 기여한다.

ET(평가적 사고) 촉진을 위한 지침 원칙

이전의 연구 문헌을 바탕으로, 우리는 ET 촉진 노력을 이끌어야 할 다섯 가지 원칙을 확립했습니다. 이러한 지침 원칙은 ECB 실무자, 평가 교육자, 전문 개발 촉진자 및 ET 촉진을 목표로 하는 의도적인 교육적 노력에 관여하는 모든 사람, 즉 이후에 "촉진자"라고 부르는 사람들을 대상으로 합니다.

촉진자는 내재적 동기를 최대화하는 방식으로 학습자가 ET 과정에 참여하도록 기회를 찾아야 합니다 (Bransford, Brown, & Cocking, 1999; Brookfield, 2012; Piaget, 1978; Vygotsky, 1978).
1. 예를 들어, 조직의 직원들이 평가를 싫어하지만, 프로그램 현장에서 사무실로 돌아오는 길에 프로그램의 성공과 실패를 비판적으로 반성하는 데 내재적 동기를 보인다면, ET 촉진은 이러한 자연 발생적인 토론을 주요 시작점으로 삼아야 합니다.
ET 촉진은 점진적인 경험을 포함해야 하며, "비계설정"의 발달 과정을 따라야 합니다 (Bransford et al., 1999; Brookfield, 2012).
1. 앞서 인용된 Perkins의 비유를 확장하여, 좋은 걷기 연습자는 즉각적으로 어려운 지형에서의 극한의 장거리 도보가 아닌 점점 더 도전적인 산책과 하이킹을 통해 지도되어야 합니다. 점진적인 기술 구축은 특히 중요합니다. 왜냐하면 ET는 기본적인 가정에 대해 감정적 또는 정치적으로 위험할 수 있는 질문을 포함할 수 있기 때문입니다. 이 원칙을 실천하기 위해, ET 촉진 노력은 조직의 변화 이론에 근본적인 철학적 가정을 질문하기 전에 일반적이거나 일상적인 예제에 초점을 맞추어야 합니다.
ET는 타고난 기술이 아니며 특정 교육 배경에 의존하지 않으므로, 촉진자는 평가적 사고를 개발하고자 하는 모든 사람에게 의도적으로 연습할 기회를 제공해야 합니다 (Brookfield, 2012; Ericsson & Charness, 1994).
1. 조직의 리더가 ET가 중요하다고 주장하지만 직원들에게 이를 배우고 연습할 기회를 제공하지 않는다면, 변화는 거의 없을 것입니다. 더욱이, ET 촉진 노력은 평가 책임이 있는 직원들에게만 국한되어서는 안 됩니다. 이상적으로는 조직의 모든 구성원이 자신의 작업에 대해 평가적으로 사고할 기회를 가져야 합니다.
평가적 사고자는 가정과 믿음 보존에 대해 인식하고 이를 극복하려고 노력해야 합니다 (Brookfield, 2012; Lord et al., 1979; Nkwake, 2013).
1. 촉진자는 사람들이 가정을 식별하고 질문할 수 있도록 다양한 구조화된 학습 기회와 비공식적 학습 기회를 제공해야 합니다.
평가적으로 사고하는 방법을 가장 잘 배우기 위해서는 여러 맥락에서 기술을 적용하고 동료 및 동료와 함께 연습해야 합니다 (Bransford et al., 1999; Brookfield, 2012; Foley, 1999; Halpern, 1998; Simon, 2000).
1. ET는 개별적으로 연습할 수 있지만, 이 원칙을 적용하면 사회적 학습의 이점을 활용할 수 있으며, ET가 평가자만 수행하고 공식 평가에서만 이루어진다는 개념에서 벗어나는 데 도움이 됩니다.

이 다섯 가지 원칙은 모든 ET 역량 구축 노력이 기반해야 할 근본적인 아이디어를 나타냅니다. 그러나 이 목록은 결코 포괄적이지 않습니다. ET 역량 구축 분야가 성장하고 이 분야에서 새로운 모범 사례가 확립됨에 따라 이 목록도 진화할 것입니다.

ET(평가적 사고) 촉진을 위한 실질적인 전략

ET는 본질적으로 개인과 관련이 있습니다. 사회 학습 이론에 따르면, ET를 개발하는 좋은 전략은 개인들이 함께 작업하도록 하는 것입니다. 사회 학습 이론은 행동 모델링과 관찰을 통해, 그룹에서 배우는 동료들이 신뢰할 수 있는 학습자 커뮤니티를 구축하면서 더 효율적으로 지식을 심화시킨다고 제안합니다 (Bandura, 1977; Foley, 1999; Leeuwis & Pyburn, 2002). 이러한 원칙은 표 1에 제시된 예시에서 반영되며, 이는 이전에 설명된 문헌과 지침 원칙을 바탕으로 ET를 촉진하기 위한 실질적인 전략을 제공합니다. 이러한 전략은 ECB에 관여하고 개인뿐만 아니라 조직 내 ET 문화를 수립하는 데 관심이 있는 모든 조직에서 사용할 수 있습니다.

예시 활동은 왼쪽 열에 표시된 여섯 가지 일반 영역으로 조직되어 있습니다. 각 활동 영역에서 다루는 지침 원칙은 로마 숫자로 식별됩니다. 여기서 설명하는 활동은 한꺼번에 사용하도록 설계된 것이 아니며, 조직의 상황에 따라 일부 전략이 더 적합할 수 있습니다. 또한, 지침 원칙 II에서 언급했듯이, 여기서 설명하는 활동 중 일부는 점진적으로 경험해야 합니다. 예를 들어, Brookfield (2012)가 설계한 "비판적 대화 프로토콜"은 이미 일부 ET 습관과 기술이 확립된 맥락에서만 사용되어야 합니다.

이러한 활동이 조직의 일상적, 주간적, 월간적 루틴에 어떻게 통합될 수 있는지에 대해 생각할 수 있는 방법은 무수히 많습니다. 내부 평가자로서 이러한 활동을 주도할 기회를 가질 수 있으며, 이를 기존의 정기 회의와 사무실 주변에서 통합할 수 있습니다. 외부 평가자와 ECB 전문가들은 상기 언급된 활동 중 일부 또는 전부를 연습하는 ET 중심의 소개 워크숍을 개발하고, 참여 조직의 구성원들이 정기 루틴에 이러한 활동 중 몇 가지를 통합하는 계획을 제안할 수 있습니다. 이 전문 개발 워크숍 접근 방식은 역량 구축자와 조직 파트너 간의 지속적인 관계를 요구합니다. 단일 워크숍으로는 조직의 문화를 바꿀 수 없습니다. 이는 내부 "평가 챔피언" (Brandon, Smith, & Hwalek, 2011; Nielsen, Lemire, & Skov, 2011; Trochim et al., 2012)이 ET 전문가와 조직 내부의 관리자 및 정책에 의해 지속적으로 지원받는 것에 달려 있습니다.

우리의 ECB 실무자로서의 작업에서, 우리는 표 1의 일부 실천을 지역사회 교육 및 과학, 기술, 공학, 수학 교육 맥락에서 일하는 비평가들을 위한 ECB 워크숍에 성공적으로 통합했으며 (Archibald, Buckley, Urban, & Trochim, 2012; Archibald, Earle, & Hargraves, 2010; Earle & Archibald, 2009), 미국 평가 협회 회의에서 스킬 빌딩 워크숍을 통해 평가 동료들과 유사한 활동을 연습했습니다 (Buckley & Archibald, 2013). 우리의 ET 촉진에 대한 경험적 연구 프로그램은 아직 초기 단계에 있지만, 이러한 실질적인 전략이 잘 받아들여지고 ET를 장려하는 것으로 보인다는 질적 증거가 있습니다. 또한, 시간과 자원 장벽이 만만치 않다는 것을 알게 되었습니다. 일부 자금 지원자나 조직 리더는 평가보다 ET에 투자하는 것에 더 주저할 수 있습니다. 왜냐하면 그 혜택이 덜 명확하고 덜 즉각적으로 보일 수 있기 때문입니다. 그럼에도 불구하고, ET를 강조하고 촉진하는 것의 이점을 보는 조직과 기관의 수가 증가하고 있다는 증거가 있습니다. 예를 들어, InterAction과 Centre for Learning on Evaluation and Results for Anglophone Africa가 최근에 발표한 사례 연구 보고서는 ET를 조직, 프로그램 및 프로젝트 수준에서 적용한 네 개의 국제 비정부기구의 경험에 대한 통찰을 제공합니다 (Griñó et al., 2014).

ET(평가적 사고) 촉진을 위한 실질적인 전략과 활동 예시

표 1. 평가적 사고 촉진을 위한 실질적인 전략과 활동 예시

실질적인 전략	활동 예시
(1) 의도적인 ET 학습 환경 조성 (I, II, III)	(a) 회의실, 뉴스레터 등 작업 공간에 논리 모델을 게시합니다. (b) 질문과 가정을 기록하고 표시할 공공 공간을 만듭니다. (c) "우리가 알고 있다고 생각하는 것을 어떻게 아는가?" (Patton, 2005, p. 10)와 같은 영감을 주는 질문을 게시합니다. (d) 성공적인 프로그램과 평가에서 얻은 학습뿐만 아니라 실패나 막다른 길에서도 학습을 강조합니다.
(2) ET 연습에 초점을 맞춘 회의 시간을 습관적으로 잡기 (I, II, III, IV, V)	(a) 참가자들이 논리 모델에서 가정에 대한 정보와 평가 작업에 집중할 방법을 "추출"하게 합니다(예: 이해관계자 우선순위에 따라 결과를 분류하기; Trochim et al., 2012). (b) ET 토론을 시작하기 위해 "개방형 질문"을 사용합니다. 예를 들어, "이 가정의 정확성과 타당성을 어떻게 확인할 수 있을까요?" (Brookfield, 2012, p. 195); "이 결과에 대한 '그럴듯한 대안 설명'은 무엇입니까?" (Shadish, Cook, & Campbell, 2002, p. 6). (c) 중립적인 주제에 대해 비판적 토론을 합니다. (d) 미디어 비판을 실시합니다 (게시된 기사, 광고 등에서 가정을 비판적으로 검토하고 식별합니다) (Taylor-Powell, 2010).
(3) 평가 작업 계획 시 롤플레이 사용 (III, IV, V)	(a) 시나리오 분석을 실시합니다 (개인 또는 그룹이 가상의 시나리오에 포함된 가정을 분석하고 식별합니다; Brookfield, 2012). (b) 참가자들이 특정 이해관계자의 역할을 연기하도록 하는 "생각 모자" 방법을 사용하여 다양한 이해관계자의 관점을 취합니다 (De Bono, 1999). (c) 평가 시뮬레이션을 실시합니다 (의도된 평가 전략을 위해 데이터 수집 및 분석을 시뮬레이션합니다).
(4) 동료들과 사고를 다이어그램으로 표현하거나 설명하기 (IV, V)	(a) 팀 또는 그룹이 함께 논리 및 경로 모델(변화 이론 다이어그램 또는 인과 루프 다이어그램)을 만듭니다 (Trochim et al., 2012). (b) 프로그램의 역사를 다이어그램으로 표현합니다. (c) 시스템, 맥락 및/또는 조직 다이어그램을 만듭니다.
(5) 지원적이고 비판적인 동료 검토에 참여하기 (I, II, III, IV, V)	(a) 동료의 논리 모델을 검토합니다 (논리의 도약, 가정, 변화 이론의 강점 등을 식별하는 데 도움을 줍니다). (b) 비판적 대화 프로토콜을 사용합니다 (동료의 작업을 비판적으로 검토하기 위한 구조화된 접근 방식; Brookfield, 2012). (c) 감사의 시간을 가집니다 (긍정적인 기여를 지적하고, 특정 아이디어, 관점 또는 도움이 되는 지원에 대해 서로 감사의 인사를 나눕니다; Brookfield, 2012).
(6) 평가에 참여하기 (I, II, III, V)	(a) 모든 평가 작업이 참여형인지 확인하고, 조직의 모든 수준의 구성원에게 그들의 관점을 제공할 기회를 제공합니다. (b) 조직 구성원들이 비공식적이고 자율적인 평가 작업에 참여하도록 장려합니다. (c) 모든 공식 및 비공식 평가 노력을 지원하는 데 필요한 도구와 자원(외부 평가자, ECB 전문가, 데이터 분석가 등의 지원 포함)에 접근할 수 있도록 합니다.

이러한 실질적인 전략과 활동은 지침 원칙을 기반으로 하며, ET를 촉진하는 환경을 조성하는 데 중점을 둡니다. 다양한 조직 상황과 필요에 맞게 적응할 수 있도록 설계되어 있으며, ET가 조직 문화와 실천의 일부분이 되도록 보장합니다.

ET와 평가 문화

Griñó et al. (2014)이 제시한 사례 연구는 이전에 종합한 ET(평가적 사고)를 가르치고 촉진하는 통찰과 함께, 조직 내에서 ET 문화를 심어주기 위한 노력을 알릴 수 있습니다. 조직 환경에서 ET를 어떻게 촉진할 수 있는지에 대한 질문은 이 글의 범위를 넘어서는 문제이지만, ECB(평가 역량 구축) 연구 분야에서 계속해서 중요한 이슈로 남아 있습니다. 조직 변화, 학습이 가능한 조직, 그리고 조직 수준에서의 ET에 관한 많은 글이 쓰여졌습니다 (Bennett & Jessani, 2011; Davidson, 2005; Preskill & Torres, 1999; Senge, 2006). 이러한 저자들과 다른 연구자들은 조직이 효과성을 개선하고 생존하려면 평가적 사고를 하고, 효과적인 평가에 참여하며, 그 결과를 활용해야 한다고 설명합니다. 그러나 사람과 달리 조직은 생각하거나 행동하지 않습니다. 따라서 "평가적으로 생각하는" 조직은 조직의 모든 수준에서 사람들이 평가적 사고를 하고 그들의 조직이 수행하는 일에 대해 어떤 형태로든 평가에 참여하는 조직으로 더 잘 설명될 수 있습니다.

ET 문화를 만들고 장려하는 것은 간단한 일이 아닙니다. 이는 시스템의 여러 수준에서 개입과 헌신이 필요하며, 시스템의 모든 수준에 있는 개인들이 서로 다른 평가 지식, 태도, 그리고 기술을 필요로 합니다. 예를 들어, 관리 계층의 "상위"에 있는 사람들은 평가를 위한 시간과 공간을 허용하고, 평가 결과를 기반으로 변화를 수용할 준비가 되어 있어야 합니다. 프로그램 수준의 직원들은 이 글 전반에서 설명한 지식과 기술을 습득해야 하며, 모든 계층은 신뢰를 구축하고, 의사 결정에 폭넓게 참여하도록 지원하며, 질문을 하고 정직한 비판을 주고받을 수 있는 안전한 공간을 만들어야 합니다. 그러나 ET 문화가 뿌리내리려면 조직 구성원들이 평가적 태도를 공유하고 ET에 참여할 수 있는 능력을 갖추는 것이 이상적입니다. 상위 관리자는 정책 및 프로그램 변경에 대한 결정을 내리는 데 ET 기술과 태도를 적용할 수 있지만, 사고 기술은 근본적으로 동일합니다. 이러한 기술과 태도는 개인 수준에서만 존재할 수 있지만, 조직이 평가 문화를 채택하려면 조직을 구성하는 개인의 상당수가 이를 갖추고 있어야 합니다.

변화를 위해 중요한 대중이 필요하다는 아이디어는 새로운 것이 아닙니다. Harman(1998)이 설명하듯이, "역사적으로 정말 근본적인 사회 변화는 정부의 명령이나 전쟁의 결과에서 오는 것이 아니라, 많은 사람들이 생각을 조금씩 바꾸는 것에서 비롯되었습니다"(p. viii). 경험에 따르면, 평가 문화를 개발하려는 조직의 헌신은 전략적으로 이 아이디어를 기반으로 구축할 수 있습니다. 평가의 챔피언이 영향력 있는 위치에서 ET를 촉진하고, 학습 커뮤니티의 일환으로 조직 구성원들이 점점 더 ET를 실천하게 되면, 평가 문화가 뒤따를 것입니다. 따라서 ET를 가르치고 배우는 데 사용되는 방법과 전략은 조직 내에서 평가의 품질뿐만 아니라 지속 가능성에도 매우 광범위한 영향을 미칩니다. 조직 내에서 ET 개념을 기반으로 평가 문화를 촉진하고 강화하기 위해 더 많은 연구가 필요합니다.

결론

최근 몇 년 동안 평가 분야는 고품질의 지속 가능하고 유용한 평가 실천의 미묘한 차이를 풀기 위한 중요한 아이디어에 도달했습니다. 그것은 바로 평가적 사고(ET)입니다. 그러나 이러한 중요한 요소를 가르치고 육성하는 방법에 대한 도전이 계속되고 있습니다. Preskill(2013)은 최근 이 도전에 대해 "탐구 문화를 구축하는 데 기여하는 구체적인 활동, 관행 및 행동은 무엇인가? 평가적 사고와 실천을 지속하려면 무엇이 필요한가?"라는 질문을 제기했습니다(p. 2). 이 글에서 우리는 이 도전에 응답하기 시작하기 위해 ET의 간결한 정의를 제안했습니다. 이 정의는 ET를 촉진하고 지속하기 위한 ECB 노력에 구체적인 지침을 제공합니다. 이 정의는 오랫동안 비판적 사고로 알려진 평행 구조에 초점을 맞춘 교육 및 인지 과학 연구자들의 작업을 기반으로 합니다. ET와 비판적 사고의 신중한 연결은 평가와 ECB 실천에 대한 새로운 연구 분야와 영감을 제공합니다. 여기에는 ET를 촉진하기 위한 추가 원칙의 포괄적인 식별, 주요 평가 패러다임(예: 활용 중심, 이론 기반, 방법 기반) 및 중요한 이론적 기초(예: 타당성 이론)와 ET를 연결하는 것, 그리고 조직 문화에서의 ET에 대한 연구 등이 포함될 수 있습니다. 연구 질문은 사람들이 표 1과 같은 개입에 어떻게 반응하는지, 그들의 구현을 방해하는 상황적 장벽은 무엇인지, 각 개입의 상대적 효과는 무엇인지에 초점을 맞출 수 있습니다. 우리의 특정 관심 분야에는 ET의 신중한 측정(Archibald et al., 2011), ET와 평가 문화의 교차점에 대한 깊은 탐구, 그리고 ET를 의도적으로 촉진하기 위해 현재의 ECB 전략과 프레임워크를 재검토하는 것이 포함됩니다. 여기에는 이미 암묵적으로 ET를 촉진하는 전략을 인식하고, ET 목표를 더 명확하게 설정함으로써 그 혜택을 받을 수 있는 전략이 포함됩니다.

평가 분야에서 ET에 대한 관심이 증가하고 있습니다. 우리는 개인과 조직 내에서 ET를 인식하고, 측정하며, 특히 강화할 수록, 프로그램과 조직의 유익한 진화를 촉진하고 사회의 희소 자원을 최상의 용도로 할당하는 궁극적인 평가 목표에 더 많이 기여할 수 있습니다. 이 글은 이러한 방향으로 나아가는 데 기여하고자 합니다.

'Wilson Centre' 카테고리의 다른 글

[연구] 보건의료전문직(HPE)에서의 저자됨(Authorship) (0)	2024.06.04
[프로그램 평가] 캐나다 연방 정부에서의 전략적 평가 활용 (1)	2024.06.04
[프로그램 평가] 평가적 사고의 진화에 대한 역사적 관점 (0)	2024.06.01
[프로그램 평가] 평가 사용 및 오용의 정의, 평가 영향력 및 사용에 영향을 미치는 요인 (0)	2024.05.31
[프로그램 평가] 평가 사용의 역사적 발전 (1)	2024.05.31

의대에서 교육하고 있습니다.