[프로그램 평가] 교육 프로그램 평가 (AMEE Guide No. 29)

서론

핵심 내용:

• 교육에서의 평가: 교육 활동의 개발 및 구현에 필수적임.
  • 국가 프로그램, 개별 학교 커리큘럼, 특정 교사의 수업 작업 등에 적용됨.
• 초점의 변화: 영국에서는 일반 교육에서 평가의 초점이 개발에서 교사 책임성과 평가로 이동.
• 고등 교육: 이 변화가 아직 고등 교육에 크게 영향을 미치지는 않았지만 가능성은 존재.

평가의 틀:

• 이 가이드는 의학교육 프로그램 평가를 위한 틀을 제공하는 것을 목표로 함.
• 보다 넓은 교육 경험과 학제 간 이론을 기반으로 함.
• 평가를 이해하려면 더 넓은 문헌을 고려하는 것이 중요함.

평가란 무엇인가?

정의와 본질:

• 일반적인 정의: "…의 가치를 판단하는 행위" (Collins English Dictionary, 1994).
  • 평가는 본질적으로 가치가 내포된 활동임.
• 역사적 관점: 초기 평가자들은 가치가 없는 평가를 목표로 했으나, 나중에는 가치의 중요성을 인식하게 됨.

영향과 변동:

• 평가에서의 가치: Shadish 등(1991)은 사회적 프로그램 선택에서 가치가 중요한 역할을 한다고 강조함. 여기에는 평가 기준, 성과 기준, 기준 가중치 등이 포함됨.
• 다양한 정의:
  • Gronlund (1976): 교수 목표가 달성된 정도를 결정하는 체계적인 과정.
  • Cronbach (1980): 프로그램 개선 및 유사한 목적을 가진 다른 프로그램 개선을 돕기 위해 수행되는 조사.

평가와 평가(Assessment)의 차이:

• 북미 문맥: 두 용어가 종종 혼용됨.
  • 평가(Assessment): 주로 학생 성과를 측정.
  • 평가(Evaluation): 강의나 프로그램에 대한 정보를 수집하여 판단 및 의사 결정을 내림.

평가(Assessment)의 목적:

• Mehrens (1991)는 두 가지 목적을 식별:
  1. 교수 방법을 평가.
  2. 강좌의 효과를 평가.
• 평가(Assessment)는 평가(Evaluation)의 하위 집합: 평가의 결과는 평가에 정보를 제공할 수 있음. 예를 들어, 학생의 사전 및 사후 시험을 통한 성과 증가는 일반적인 평가 방법임.

요약:

• 평가(Evaluation)는 교육 프로그램의 가치와 효과를 판단하기 위해 필수적이고 가치가 내포된 과정임.
• 넓은 교육 및 학제 간 이론을 기반으로 하며, 의사 결정에서 가치의 역할을 인식함.
• 평가와 평가는 미묘하지만 중요한 차이가 있으며, 평가(Assessment)는 더 넓은 평가(Evaluation) 과정 내에서 도구로 사용될 수 있음.

---

평가의 역사

핵심 내용:

• 초기 평가: 기원전 2200년경 중국에서 인사 선발을 통해 시작됨 (Guba & Lincoln, 1981).
  • 지난 200년 동안의 평가 역사가 기록됨 (Cronbach et al., 1980; Madaus et al., 1983; Rossi & Freeman, 1985).

현대 평가 이론의 기원:

• 주요 인물:
  • Tyler (1935): 교육 분야에서의 평가.
  • Lewin (1948): 사회 심리학.
  • Lazarfield (1955): 사회학.

발전 요인:

• 제2차 세계대전 이후: 서구 세계, 특히 미국의 급속한 경제 성장과 정부의 사회 정책 개입 증가.
  • 사회 프로그램에 투입되는 자금 증가로 인해 평가의 필요성이 인식됨.
  • 평가의 의무화 도입.

평가 이론의 발전:

• 초기 평가자들: 방법론에 집중, 새로운 아이디어를 기존 또는 새로운 프로그램에 통합하는 테스트에 집중.
  • 정치적 맥락에서의 방법 적용에 대한 성찰 부족.
• 경험 증가: 평가 이론과 실천의 다양화 및 변화.
  • 비교 결과 연구에만 의존하지 않고 프로그램 구현의 질과 프로그램 영향의 인과 과정도 고려됨 (Sechrest et al., 1979).
  • 질적 방법의 활용 증가 (Guba & Lincoln, 1981).
  • 정책 입안자뿐만 아니라 다양한 이해 관계자 그룹 고려 (Weiss, 1983a, 1983b).
  • 방법론에서 벗어나 평가 실천의 맥락과 정치화된 시스템에 평가 결과를 적합시키는 데 중점을 둠 (Cronbach et al., 1980).

교육 평가의 역사:

• 학생 테스트: 수 세기 동안 평가가 주로 학생 테스트와 동일시됨 (Popham, 1988).
  • Tyler (1949): 교육 프로그램의 질 평가로서의 평가 개념 도입.
  • Bloom (1956), Taba (1962): 선형적, 계층적, 목표 기반 커리큘럼 계획 모델 개발.

평가 모델의 발전:

• Cronbach (1963): 커리큘럼 개발 단계에서의 의사 결정을 중시하는 평가 필요성 강조.
  • 프로그램 간 비교보다는 프로그램이 원하는 목적을 달성하는 정도에 중점을 둠.
  • 커리큘럼이 충분히 유연할 때 수정을 돕는 평가의 중요성 강조.
• 의무 평가 도입: 미국에서 교육 프로그램에 대한 의무 평가 도입.
  • 영국으로 전파되어 모든 커리큘럼 프로젝트에 공식 평가가 필수 요건이 됨 (Kelly, 1989).

평가 이론의 변천:

• Scriven과 Stake (1967): 교육 평가의 개념적 본질을 다룸.
  • 1970년대 초, 평가 모델의 급속한 발전과 공식 모델의 제안.
  • 평가 결과의 중요성에 대한 초기 낙관주의는 지속되지 않음.
  • 교육적 의사 결정은 여전히 정치적, 대인 관계적인 맥락에서 이루어짐 (Popham, 1988).

현대 평가의 접근:

• Cronbach의 관점: 평가자는 단일 의사 결정자를 만족시키기보다는 관련 정치 공동체를 교육해야 함 (Cronbach, 1982b).
  • 평가의 성공 사례는 프로그램 질을 향상시킴.
  • 경험에 대한 반성으로 평가 분야의 다양화와 변화가 이루어짐.

요약:

• 교육 평가는 실천 주도적인 분야로서 지난 40년 동안 독자적인 응용 과학으로 부상함.
• 평가의 역사와 발전은 교육 프로그램의 질 향상에 중요한 역할을 하며, 정치적 맥락에서 평가의 역할과 중요성을 인식함.

---

프로그램 평가 실행

핵심 내용:

• 계획 및 실행 단계: 프로그램 평가를 계획하고 실행하는 여러 단계가 있음.

평가 시작/위원회 구성:

• 초기 단계: 프로그램 책임 기관 또는 개인이 평가를 결정.
  • 평가 목적 및 평가 책임자 결정.
• 평가 이유: 다양한 이유로 평가를 수행함. Muraskin (1997)은 일반적인 평가 이유와 활동 영역을 나열함.
• 평가 목적: Chelimsky & Shadish (1997)은 평가 목적과 평가자가 답을 찾고자 하는 질문을 세 가지 일반 범주로 분류:
  • 책임성 평가.
  • 지식 평가.
  • 개발 평가.
• 평가 비용: 평가의 범위와 평가자의 정체성을 결정하는 주요 요소.
  • 내부 평가자와 외부 평가자 선택 고려.
• 필요한 기술: 효과적인 교육 평가를 위해 심리학, 사회학, 철학, 통계학, 정치학, 경제학 등 여러 분야의 기술이 필요함.

평가자의 역할 정의:

• 평가자 임명 후 역할 반영: 평가 목표와 방법론 결정에 영향을 미침.
  • 책임 소재 및 평가 질문 출처 결정.

평가의 윤리:

• 윤리적 문제: 평가자는 권력을 행사할 수 있으며, 이는 자존감을 손상시키고 평판에 영향을 줄 수 있음.
  • 평가 후원자, 참가자 및 청중도 윤리적 책임을 공유.
• 윤리적 오류 (House, 1995):
  • 고객주의: 클라이언트가 요청하는 대로 하는 것이 윤리적으로 옳다고 믿음.
  • 계약주의: 서면 계약을 철저히 따르는 것이 공익에 반하더라도 올바르다고 믿음.
  • 방법주의: 수용 가능한 탐구 방법을 따르는 것이 윤리적 행동을 보장한다고 믿음.
  • 상대주의: 다양한 참가자의 의견 데이터를 동일하게 취급.
  • 다원주의/엘리트주의: 권력 있는 목소리를 더 높은 우선순위로 두는 것.

평가 윤리 표준:

• 조직 가이드라인: Joint Committee on Standards for Educational Evaluation (1994), American Evaluation Association (1995), Canadian Evaluation Society (1992), Australasian Evaluation Society (1995).
• Worthen et al. (1997) 제안 표준:
  • 서비스 지향: 평가자는 프로그램 참가자, 커뮤니티 및 더 넓은 사회의 학습 요구도 충족시켜야 함.
  • 공식 합의: 데이터 접근, 평가 제한 경고 등 포함.
  • 인간 주체의 권리: 동의서 받기, 프라이버시 유지, 기밀 보장.
  • 완전하고 공정한 평가: 프로그램의 강점과 약점을 정확하게 묘사.
  • 결과 공개: 클라이언트뿐만 아니라 더 넓은 공공에도 결과 제공.
  • 이해 상충: 평가자의 가치와 편견을 명시.
  • 재정 책임: 지출의 적절성, 신중함, 문서화 보장.

평가 질문 선택:

• 평가 목표: 평가 목적, 질문의 출처, 평가자의 역할에 따라 다름.
  • Cronbach의 관점: 평가자는 교육자 역할을 해야 함.
  • Shadish et al. (1991): 평가 계획을 위한 실용적인 질문 세트 제공.

요약:

• 프로그램 평가는 다양한 단계와 윤리적 고려 사항을 포함하는 복잡한 과정임.
• 평가의 목적과 질문 선택은 프로그램의 맥락과 이해관계자의 필요에 따라 달라짐.
• 효과적인 평가를 위해 다양한 분야의 기술과 윤리적 기준이 필요하며, 평가자는 자신의 역할과 책임을 명확히 해야 함.

---

프로그램 평가 설계

프로그램 평가 설계는 평가 목적에 맞는 데이터를 수집하기 위해 적절한 방법을 선택하는 과정입니다. 아래는 포괄적인 평가를 설계하기 위한 단계와 고려사항입니다.

평가의 차원

Stake(1976)는 평가 방법이 달라질 수 있는 여덟 가지 차원을 제안했습니다:

1. 형성적 평가–총괄적 평가
   • 형성적 평가: 프로그램 진행 중에 조정하기 위해 수행.
   • 총괄적 평가: 프로그램 종료 후 전체 효과를 평가하기 위해 수행.
2. 공식적 평가–비공식적 평가
   • 비공식적 평가: 자발적이고 주관적.
   • 공식적 평가: 구조화되고 객관적.
3. 사례 특정–일반화
   • 사례 특정: 하나의 프로그램을 자세히 연구.
   • 일반화: 여러 프로그램을 연구하고 유사한 프로그램에 적용 가능.
4. 성과–과정
   • 과정 정보: 프로그램 자료와 활동의 효과성에 초점.
   • 성과 정보: 참가자에 대한 단기적 또는 직접적 효과를 측정.
   • 영향 정보: 프로그램의 장기적인 효과를 파악.
5. 기술적–판단적
   • 기술적 연구: 정보를 수집하는 데 목적.
   • 판단적 연구: 결과를 가치 시스템과 비교하여 효과성을 평가.
6. 사전 지정–응답성
   • 사전 지정 평가: 평가자가 미리 무엇을 찾을지 알고 있음.
   • 응답성 평가: 예기치 않은 발견에 개방적.
7. 전체적–분석적
   • 전체적 평가: 프로그램 전체를 평가.
   • 분석적 평가: 특정 특성에 집중.
8. 내부–외부
   • 내부 평가: 기관 내부 직원이 수행.
   • 외부 평가: 외부 기관이 수행.

적절한 설계 선택

평가 설계 선택은 심리측정 방법에서 해석적 스타일에 이르는 다양한 방법을 포함합니다. 주요 단계는 다음과 같습니다:

1. 작업 식별: 평가할 항목 정의.
2. 옵션 식별: 각 작업에 대한 다양한 방법 고려.
3. 옵션 평가: 각 방법의 강점, 편견, 가정 평가.
4. 방법 선택: 편견을 최소화하고 실현 가능한 방법 선택.
5. 삼각 측량: 여러 방법을 사용하여 결과 교차 검증.
6. 결과 분석: 결과의 일치점을 확인하고 차이를 설명.
7. 결정 방어: 방법과 설계 선택을 공개적으로 정당화.

일반적인 정량적 및 정성적 방법

• 정량적 방법: 설문조사, 테스트, 통계 분석.
• 정성적 방법: 인터뷰, 포커스 그룹, 사례 연구, 관찰 기법.

실용적인 지침 (Shadish et al., 1991)

• 절충적 접근: 특정 방법에 엄격하게 고수하지 않음 (Cronbach, 1982a).
• 충분히 좋은 규칙: 자원과 전문성을 고려하여 실현 가능한 최고의 설계 선택 (Rossi & Freeman, 1985; Popham, 1988).

평가 계획 및 실행을 위한 기술적 지침 (Shadish, 1993)

1. 작업 식별: 완료해야 할 작업을 명확히 정의.
2. 옵션 식별: 각 작업에 대한 가능한 방법 목록 작성.
3. 옵션 평가: 강점, 편견, 가정 분석.
4. 다양한 옵션 선택: 명확하지 않을 때 여러 방법 사용하여 편견 완화.
5. 결과의 일치점 확인: 다른 방법의 결과가 일치하는 지점 확인.
6. 차이점 설명: 방법 간 차이의 이유 제공.
7. 결정 방어: 방법론적 선택과 설계 결정 정당화.

실행

1. 계획 수립: 평가 차원, 방법, 윤리적 고려사항을 명시한 세부 계획 개발.
2. 실행: 선택한 방법을 사용하여 데이터 수집, 윤리적 기준 준수.
3. 분석: 데이터를 분석하여 여러 방법의 결과 통합.
4. 보고: 방법론, 결과, 시사점을 자세히 설명하는 종합 보고서 작성.

이러한 단계와 지침을 따르면 평가자는 프로그램 결과를 효과적으로 평가하고 이해 관계자에게 가치 있는 통찰을 제공할 수 있는 견고한 평가 계획을 설계하고 실행할 수 있습니다.

평가 접근법

다양한 평가 모델이 개발되어 평가자가 특정 평가에 최적의 방법을 선택하는 데 도움을 줄 수 있습니다. 이러한 접근법은 포괄적인 지침에서 제안 체크리스트까지 다양하며, 많은 경우 '모델'이라는 용어보다는 '접근법'으로 설명하는 것이 적절합니다. 각 접근법은 평가에 대한 내재된 가정을 가지고 있으며, 저자의 우선순위와 선호도에 따라 평가의 다른 측면을 강조합니다. 대부분은 단계별 지침을 제공하지 않으며, 원래의 설정과 상황 외에서는 유용하지 않을 수 있습니다 (Worthen et al., 1997). Atkin & Ellett(1985)는 처방적 평가 모델을 방법론, 가치, 사용의 세 가지 차원으로 분류할 수 있다고 주장합니다. 각 영역에 대한 상대적 강조는 접근법 간의 대조를 그릴 수 있게 합니다.

 

최근 몇 년간 평가 접근법의 수가 폭발적으로 증가하면서, 서로 중복되는 접근법을 분류하려는 시도가 많았습니다. Worthen et al.(1997)이 개발한 분류는 House(1976, 1983)의 작업에 영향을 받아 다음 여섯 가지 범주로 평가 접근법을 분류합니다:

1. 목표 지향적 접근법
   • 목표와 목적을 명시하고, 달성 정도를 평가하는 데 중점.
2. 관리 지향적 접근법
   • 관리 의사결정자의 정보 요구를 식별하고 충족하는 데 중점.
3. 소비자 지향적 접근법
   • 소비자가 경쟁 제품, 서비스 등을 선택할 수 있도록 제품에 대한 평가 정보를 개발하는 데 중점.
4. 전문가 지향적 접근법
   • 평가하는 활동의 질을 판단하기 위해 전문 지식을 직접적으로 적용하는 데 중점.
5. 대립 지향적 접근법
   • 다른 평가자(찬성 및 반대)의 관점 간의 계획된 대립에 중점.
6. 참여자 지향적 접근법
   • 평가에 참여하는 이해관계자의 참여가 가치, 기준, 필요, 데이터 결정에 중심이 되는 접근법.

이 범주들은 House(1983)의 유틸리타리안-직관주의-다원주의 평가 차원에 배치될 수 있습니다. 유틸리타리안 접근법은 프로그램이 영향을 미친 사람들에 대한 전체적인 영향을 평가하여 가치를 결정하며, 직관주의-다원주의 접근법은 프로그램이 각 개인에게 미치는 영향을 기반으로 가치를 결정합니다.

 

 

 

평가 접근법의 분류

평가는 다면적이며 프로그램 개발의 다양한 단계에서 수행될 수 있기 때문에, 동일한 평가 접근법이 강조에 따라 다양한 방식으로 분류될 수 있습니다. 분류는 평가 수행의 주요 동력으로 간주되는 요소에 기반합니다. 각 범주 내의 접근법은 형식성과 구조의 수준에 따라 다릅니다. 각 범주에 포함될 수 있는 접근법의 완전한 목록을 제공하는 것은 이 가이드의 범위를 벗어나지만, 대표적인 예시는 다음과 같습니다.

접근법의 예시

• 목표 지향적 접근법: 논리 모델, 목표 기반 평가.
• 관리 지향적 접근법: CIPP(상황, 투입, 과정, 산출) 모델.
• 소비자 지향적 접근법: 소비자 보고서, 제품 비교 연구.
• 전문가 지향적 접근법: 전문가 평가, 동료 검토.
• 대립 지향적 접근법: 옹호 평가, 반대자 분석.
• 참여자 지향적 접근법: 참여 평가, 이해관계자 협력 평가.

접근법의 특징, 장점 및 한계

각 접근법의 특징, 강점 및 한계를 요약하면 다음과 같습니다:

• 지지자: 접근법을 제안한 개인 또는 그룹.
• 평가 목적: 각 접근법을 옹호하는 저자가 제안하는 평가의 사용 목적.
• 특징적 특성: 각 접근법과 연관된 주요 기술자.
• 과거 사용: 이전 프로그램을 평가하는 데 사용된 방식.
• 평가 개념화에 대한 기여: 각 접근법의 지지자들이 제안한 주요 또는 독특한 기여.
• 평가 판단 기준: 각 접근법을 따르는 평가의 질을 판단하는 데 사용되는 기대치.
• 장점: 각 접근법에 기인할 수 있는 강점과 사용 이유.
• 한계: 각 접근법 사용과 관련된 위험.

결론

평가자는 제안된 접근법을 채택하거나 적응할 수 있지만, 많은 평가자는 엄격한 '모델'에 따르지 않고 평가를 수행합니다. 그러나 문헌을 통해 노출된 철학, 계획 및 절차를 무의식적으로 활용하는 경우가 많습니다. 대체 접근법의 가치는 새로운 아이디어와 기술을 제시하고, 체크리스트로 활용될 수 있는 능력에 있습니다.

평가 결과 해석

데이터 수집 후 다음 단계는 데이터를 해석하는 것입니다. Coles & Grant(1985)은 이 과정을 분석과 설명이라는 두 가지 별개의 활동으로 봅니다.

• 분석: 어떤 방법을 선택하든 데이터의 신뢰성과 타당성을 확립하는 것이 중요합니다. 관찰의 오류 가능성을 인식하면서 여러 데이터 수집 방법과 여러 조사자가 동일한 데이터 세트를 분석하는 방식이 늘어나고 있습니다. Shadish et al.(1991)은 이러한 방법론적 접근이 다양한 방식으로 문제를 접근하는 철학을 반영한다고 설명합니다. 질적 연구에서는 각 사이트에 여러 관찰자를 사용하는 유사한 접근이 있습니다.
• 질적 및 양적 방법 사용: 한 연구에서 질적 및 양적 방법을 모두 사용할 때, 결과는 전체 결론에 대해 다른 의미를 가질 수 있으며, 이는 여러 차례 반복을 통해 해결될 수 있습니다. Shadish(1993)는 질적 및 양적 접근을 통합하는 데 있어 중요한 다중성을 사용할 것을 권장합니다.

평가 질문과 방법을 비판적으로 검토하기 위한 방법도 개발되었습니다. 여기에는 전문가 및 이해관계자의 연구 계획에 대한 논평, 정부 및 과학 자문 기관의 평가 시행 모니터링, 동일 프로그램의 독립 평가 동시 자금 지원 등이 포함됩니다 (Cook, 1974; Cronbach, 1982a). 이러한 메타평가는 모든 평가가 공개적으로 정당화할 수 있는 기준에 따라 평가될 수 있음을 주장합니다. 

데이터를 분석한 후, 평가자는 결과를 설명해야 합니다. 교육에서는 연구자가 교육 분야에 내재된 메커니즘을 통해 결과를 설명합니다. Shadish et al.(1991)의 질문도 결과 해석 시 고려해야 할 중요한 포인트를 제공합니다.

결과의 배포

평가 결과를 어떻게, 누구에게 보고할지 고려할 때 Shadish et al.의 질문이 유용합니다. 보고는 내부 또는 외부 소비를 위한 구두 또는 서면 형식으로 이루어질 수 있습니다. 평가자는 특정 보고서가 준비되는 이해관계자 그룹을 인식해야 합니다. Coles & Grant(1985)은 다음 사항을 고려할 것을 제안합니다:

• 서로 다른 청중은 다른 스타일의 보고서를 요구합니다.
• 청중의 관심사를 검토하고 고려해야 합니다.
• 광범위한 청중은 특정 포인트의 논의 제한 또는 생략이 필요할 수 있습니다.
• 보고서의 언어, 어휘 및 개념적 틀은 효과적인 커뮤니케이션을 위해 선택되거나 명확히 해야 합니다.

평가자는 결과를 이해하기 쉽고 수용 가능한 방식으로 제시해야 합니다. Hawkridge(1979)는 교육 연구 결과의 성공적인 배포에 대한 세 가지 가능한 장벽을 확인했습니다:

1. 결과를 이해할 수 있는 언어로 번역: 결과를 청중에게 맞추어 번역하는 과정에서 균형 잡히지 않은 방식으로 결과를 제시할 위험이 있습니다.
2. 기득권에 대한 위협: 결과가 기득권에 위협이 되는 경우, 정치적으로 무력화될 수 있습니다.
3. 정량적 연구의 지배: 많은 학술 기관에서 질적 연구 방법을 ‘약하다’고 보고 그 결과에 덜 설득될 수 있습니다. 그러나 질적 방법의 수용이 증가함에 따라 이러한 문제는 줄어들고 있습니다.

보고의 윤리적 문제도 고려해야 합니다. 예를 들어, 특정 교사에 대한 정보는 제한된 청중과만 공유되어야 합니다. 평가자는 보고서의 잠재적 영향이 예상보다 넓게 퍼질 수 있음을 인식해야 하며, 이는 대중 매체에까지 영향을 미칠 수 있습니다.

의사 결정에 영향 미치기

1970년대 교육 평가자들의 초기 열정은 교육 의사 결정 과정의 정치적 성격과 종종 얻어지는 결론 없는 결과로 인해 시들었습니다. Coles & Grant(1985)은 평가자가 교육 의사 결정 과정에 영향을 미칠 수 있는 방법을 다음과 같이 제안합니다:

• 교육 이벤트와 관련된 사람들을 평가의 모든 단계에서 참여시키기
• 변화 이벤트와 관련될 가능성이 있는 사람들이 문제와 해결책을 더 명확하게 볼 수 있도록 도움
• 평가 결과를 설명하는 데 기여하는 학문에 대한 지식과 이해를 확장함으로써 사람들이 평가 결과를 수용하도록 교육
• 교육 이벤트에 관련된 다양한 그룹을 연결하는 적절한 의사소통 채널 수립
• 충분한 자원을 할당하고, 현실적인 수명을 확보하며, 그 진행 상황을 모니터링함으로써 개발을 위한 실험적 보호 제공
• 개발 코디네이터, 즉 변화 에이전트를 임명
• 자연스러운 변화를 강화함. 평가가 이러한 혁신을 찾아 강화하고 더 널리 알릴 수 있음

결론

지난 40년 동안 평가 이론에 의해 뒷받침된 응용 과학으로서의 평가가 성숙해졌습니다. 평가자는 많은 평가가 이루어지는 정치적 맥락과 자신의 가치와 신념을 인식해야 합니다. 평가자는 자신의 책임이 어디에 있으며 누구에게 있는지 결정하고, 평가 스폰서, 참여자 및 청중도 윤리적 책임을 가지고 있음을 인식해야 합니다. 예산 및 기술적 제한으로 인해 평가 범위가 제한될 수 있습니다.

 

평가 이론은 평가자가 모든 측면에서 도움을 줄 수 있습니다. 이전에 채택된 접근법은 종종 새로운 아이디어와 기술을 제시하고 유용한 체크리스트를 제공합니다. 그러나 평가자는 개별 평가 접근법의 한계를 인식하고 방법 선택에 있어 절충적인 태도를 가져야 합니다. '충분히 좋은' 규칙을 기억하는 것이 좋습니다. 모든 연구 결과와 마찬가지로, 얻은 데이터의 타당성과 신뢰성을 확립하는 것이 중요합니다. 양적 및 질적 접근법을 동일한 평가에서 사용할 때 다양한 접근법을 통합하는 것이 중요합니다. 평가 지식의 사회적 구성 요소와 평가 방법론의 오류 가능성을 인식하면서 메타평가의 필요성이 대두되었습니다.

 

평가 결과를 배포할 때, 평가자는 스폰서, 다양한 이해관계자 그룹 및 더 넓은 사회에 대해 수용 가능하고 이해할 수 있는 방식으로 결과를 제시해야 합니다. 의사 결정에 영향을 미치려 할 때 정치적 맥락을 추가로 고려하는 것이 종종 필요합니다.

 

결과를 검토할 때 교육 평가자는 역사가 가르쳐주는 교훈, 즉 개선이 비록 미미하더라도 가치 있다는 점을 기억하는 것이 중요합니다.

 

 

아래는 첨부된 표의 여섯 가지 카테고리를 여러 측면에서 비교한 내용을 번역하여 정리한 표입니다:

비교 항목	목표 지향적 접근법	관리 지향적 접근법	소비자 지향적 접근법	전문가 지향적 접근법	대립 지향적 접근법	참여자 지향적 접근법
지지자	Tyler, Provus, Metfessel & Michael, Hammond, Popham, Taba, Bloom	Stufflebeam, Alkin, Provus, Wholey, Cronbach	Scriven, Komoski	Eisner, Accreditation groups	Wolf, Owens, Levine, Koulinsky	Stake, Patton, Guba & Lincoln, Rippney, MacDonald, Parlett & Hamilton, Cousins & Earl
평가 목적	목표 달성 정도 결정	의사 결정 지원을 위한 유용한 정보 제공	소비자가 선택을 위해 제품에 대한 정보 제공	전문적인 품질 판단 제공	논쟁 문제의 모든 측면 검토 및 강점과 약점 강조	프로그램 활동의 복잡성을 이해하고 묘사
주요 특성	측정 가능한 목표 명시, 객관적인 도구 사용	합리적인 의사 결정 지원, 프로그램 개발 단계에서 평가	기준 체크리스트 사용, 제품 테스트	개인 지식 및 경험에 기초한 판단, 팀/사이트 방문 사용	공개 청문회 사용, 상반된 관점 고려	여러 현실 반영, 귀납적 추론과 발견 사용
과거 사용 사례	프로그램 개발, 참가자 결과 모니터링, 필요 평가	프로그램 개발, 기관 관리 시스템, 프로그램 계획, 책임성	소비자 보고서, 제품 개발, 제품 선택 및 배포	자기 평가, 블루 리본 패널, 인증, 위원회 검토	논쟁 프로그램 또는 문제 평가, 정책 청문회	혁신 또는 잘 알려지지 않은 변화 평가, 운영 프로그램의 민족지학
평가 개념화에 대한 기여	성과와 목표 간의 차이점 확인, 기술적으로 건전한 테스트 및 측정 사용	필요와 목표 식별 및 평가, 대체 프로그램 디자인 평가, 프로그램 구현 관찰	교육 제품 및 활동 평가 기준 목록 제공, 형성적-총괄적 평가 역할	주관적 비판의 합법화, 자기 평가 외부 검토	다양한 관점의 프레젠테이션, 이슈 명확화	자연주의적 탐구의 엄격함 기준, 평가 맥락 중요성
평가 기준	목표 측정 가능성, 측정 타당성과 신뢰성	실용성, 타당성, 적합성, 기술적 건전성	편향 없음, 기술적 건전성, 필요성과 효과 증거	인정된 기준 사용, '전문가'로서의 자격	공정성, 균형성, 공개성, 교차 검토 기회	공신력 적합성, 감사 가능성, 확인 가능성
장점	사용 용이성, 단순성, 결과에 중점, 목표 설정 강요	포괄성, 리더십 위치의 정보 요구에 민감, 시스템적 접근, 다양한 정보 사용	소비자 정보 요구에 중점, 제품 개발자에 대한 영향	광범위한 적용 가능성, 인간 판단 활용	넓은 적용 범위, 구현 용이성, 시기 적절함	맥락에 대한 설명과 판단에 중점, 평가 계획 발전 가능성
한계	평가 및 프로그램의 과도한 단순화, 결과 중심, 환원주의적, 선형적	조직 효율성과 생산 모델 중점, 비용과 유지 관리가 비쌀 수 있음	창의성 억제 가능성, 토론이나 교차 검토에 열려 있지 않음	복제 가능성, 개인 편향에 취약, 문서 지원 부족	높은 잠재적 비용 및 시간 소모, 프레젠터의 조사 및 커뮤니케이션 능력 의존	지시적이지 않음, 이상하거나 특이한 것에 끌릴 가능성, 결론 도출 실패 가능성

이 표는 평가 접근법의 특징, 강점 및 한계를 비교하여, 평가자가 각 접근법을 선택할 때 고려할 수 있는 중요한 정보를 제공합니다.