논문 읽기 (with AI)

역량 기반 평가 교육 과정의 영향 평가: 혼합 연구 방법을 활용한 사례 연구

Meded. 2025. 2. 25. 12:37

 

📌 역량 기반 평가 교육이란? – 실제 사례 연구를 통해 알아보기

안녕하세요! 오늘은 **"역량 기반 평가 교육(Competency-Based Evaluator Education)"**에 대한 흥미로운 연구를 소개해 드리겠습니다. 평가자 교육에서 이론만 배우는 게 아니라 실무 경험을 통해 역량을 키우는 것이 얼마나 중요한지 보여주는 논문인데요. 특히, 실제 대학원 과정에서 어떻게 역량이 향상되는지를 혼합 연구 방법(mixed methods)으로 분석한 사례 연구입니다.

그럼, 이 논문의 핵심 내용을 쉽고 재미있게 정리해 보겠습니다! 😊

🎯 왜 평가자 교육에 역량 기반 접근이 필요할까요?

📌 **평가자(Evaluator)**는 연구, 정책, 교육 등 다양한 분야에서 중요한 역할을 합니다. 하지만 평가를 잘하려면 단순한 지식뿐만 아니라 실제로 적용할 수 있는 기술과 경험이 필요합니다.

💡 이 논문에서는 역량 기반 평가 교육(CBE)이 왜 효과적인지, 그리고 어떻게 설계해야 하는지를 심층적으로 분석했습니다. 핵심은 단순히 "배우는 것"이 아니라, **"할 수 있도록 만드는 것"**입니다.

📚 연구 개요: 대학원 과정에서의 실험

📝 이 연구는 캐나다의 한 대학에서 진행된 박사 과정 평가 교육 수업을 분석했습니다.

✔ 대상: 박사 과정 학생 11명
✔ 기간: 13주
✔ 방법:

  • 사전·사후 역량 평가(self-assessment) – 학생들이 자신의 평가 역량을 어떻게 평가하는지 조사
  • 강의와 실습 과정 분석
  • 학생들의 최종 평가 보고서 및 인터뷰 분석

🔍 연구의 핵심 질문:
✅ 이 과정이 학생들의 평가 역량을 실제로 향상시켰을까?
✅ 어떤 역량이 가장 크게 향상되었고, 어떤 역량은 덜 향상되었을까?
✅ 실습과 이론 학습이 어떻게 균형을 이루었을까?

🔑 주요 발견: 어떤 역량이 향상되었을까?

💡 가장 크게 향상된 역량:
✔ 기술적 역량(Technical Skills) – 평가 설계, 데이터 분석, 보고서 작성 📊
✔ 상황 대응 역량(Situational Awareness) – 조직과 정책적 맥락을 이해하는 능력 🏛️

😲 가장 덜 향상된 역량:
❗ 의사소통(Written & Verbal Communication) – 학생들이 원래부터 가지고 있던 역량이라 상대적으로 향상이 적었음 ✍️
❗ 협상력(Negotiation Skills) – 평가 설계 중심으로 진행되다 보니 협상 관련 경험이 부족했음 🤝

📊 결과 요약:

역량 영역 향상 정도

🏆 기술적 역량(Technical Skills) 매우 크게 향상됨 ⬆️
🏆 상황 대응 역량(Situational Awareness) 매우 크게 향상됨 ⬆️
✨ 반성적 사고(Reflective Practice) 중간 정도 향상됨 ↗️
✨ 대인관계 역량(Interpersonal Skills) 소폭 향상됨 ↗️

📌 연구가 주는 교훈: 평가 교육, 이렇게 바뀌어야 한다!

1️⃣ 이론과 실무 경험을 균형 있게 배치해야 합니다.

  • 학생들이 이론을 배운 후, 실제 프로젝트에서 적용해 볼 수 있어야 합니다.
  • 이 연구에서도 실제 기관과 협업하며 평가 설계를 해본 경험이 가장 큰 학습 효과를 냈습니다.

2️⃣ 모든 학습자가 같은 출발선에 있는 게 아닙니다.

  • 연구 결과, 학생들의 배경(연구 경험, 전공 등)에 따라 역량 향상 속도가 달랐습니다.
  • 따라서 교수자는 학생 개개인의 수준을 고려한 맞춤형 피드백과 개별 학습 기회를 제공해야 합니다.

3️⃣ 장기적인 역량 개발을 위한 후속 연구가 필요합니다.

  • 13주 동안의 변화는 의미 있지만, 이 역량이 실제 직무에서 얼마나 지속될지는 추가 연구가 필요합니다.
  • 장기적인 추적 연구(longitudinal study)가 이루어진다면 평가자 교육의 진짜 효과를 더 정확히 알 수 있을 것입니다.

✨ 마무리하며: 평가자 교육, 이렇게 바뀌어야 합니다!

🔹 기존의 평가 교육이 이론 위주였다면, 앞으로는 **실무 중심의 역량 기반 교육(CBE)**이 필수입니다.
🔹 대학뿐만 아니라 전문 교육 기관, 기업, 정부 기관에서도 평가 역량을 실질적으로 향상시키는 교육 프로그램을 설계해야 합니다.
🔹 실습과 피드백을 강화하고, 개별 학습자의 특성을 고려한 교육이 필요합니다.

🙌 평가자가 되는 과정이 단순한 이론 공부가 아니라, 실제 현장에서 적용할 수 있는 능력을 기르는 과정이 되도록 바뀌어야 합니다!

오늘도 읽어주셔서 감사합니다 😊 다음에도 흥미로운 연구와 함께 찾아뵙겠습니다!

✍️ 여러분은 평가 교육에서 가장 중요한 요소가 무엇이라고 생각하시나요? 댓글로 의견을 나눠 주세요! 💬

 

 

 

다음은 논문의 **토론(Discussion) 부분에서 핵심적인 문장(펀치라인)**을 선정한 것입니다. 각 문장에 대한 선택 이유를 한국어로 설명하겠습니다.

1. "Competency-based evaluator education is an approach to preparing evaluators for real world practice and supporting their lifelong development as evaluators organized around evaluator competencies derived from an ongoing analysis of societal needs."

✔ 이유: 이 문장은 **이 연구가 제안하는 핵심 개념(competency-based evaluator education, CBE)**을 직접 정의하고 있다. 평가자 교육이 단순한 단기 지식 전달이 아니라 실제 환경에서 평가를 수행할 수 있도록 돕고, 지속적인 성장(lifelong development)을 지원하는 과정임을 강조한다.

2. "The essential role of authentic experiences is well established; Mezirow (1997), for example, was an advocate for drawing from experiences in learning and constructing experiences as a mode of learning."

✔ 이유: 본 연구에서 실무 경험(authentic experiences)이 평가자 역량 개발에 중요한 요소임을 주장하는 근거가 되는 문장이다. Mezirow의 학습 이론을 인용하여 평가는 이론적 지식뿐만 아니라 실제 경험을 통해 배워야 한다는 점을 강조한다.

3. "Assessing complex learning impacts and CBA experiences remains a challenge, yet conceptualizing the higher education teaching and learning environment applying a systems perspective to the CIPP model may provide an innovative approach for gathering and analysing data to understand intended and unintended learning in competency-based courses."

✔ 이유: 연구의 이론적 기여를 설명하는 문장이다. 기존의 단순한 학습 평가 방식이 아닌, CIPP 모델과 시스템 관점을 결합하여 평가 교육에서 의도된 학습과 의도되지 않은 학습(unintended learning)까지 포착할 수 있는 혁신적인 접근법을 제안한다.

4. "Our study highlighted differences in competency gains within and across practice domains and the need for a more longitudinal study to understand why some competencies were developed more than others and the long-term impact of CBA on lifelong professional development."

✔ 이유: 연구 결과에서 도출된 중요한 발견 중 하나를 보여주는 문장이다. 일부 역량은 크게 향상되었지만, 다른 역량은 상대적으로 적게 향상되었으며, 이러한 차이를 더 깊이 연구할 필요가 있다는 점을 지적한다. 또한, **장기적 연구(longitudinal study)**의 필요성을 강조한다.

5. "By developing a course informed by relevant (and evolving) evaluator competencies as learner outcomes, embedding assessment strategies that are able to capture evidence of learning in diverse ways, and using instructional activities founded on theories of adult and experiential learning, instructors will be well positioned for equipping future evaluators to manage their work in ever-expanding contexts and complexities."

✔ 이유: 연구의 **실용적 기여(practical implications)**를 강조하는 문장이다. 평가 교육이 효과적이기 위해서는 단순한 지식 전달이 아니라 성인 학습(adult learning)과 경험 기반 학습(experiential learning) 이론을 바탕으로 학습 평가와 교수법을 전략적으로 설계해야 한다는 점을 강조한다.

6. "The findings can inform universities, professional associations, and training programs seeking to improve graduate-level evaluation education."

✔ 이유: 연구의 실제 적용 가능성을 명확하게 제시하는 문장이다. 연구 결과가 대학, 전문 협회, 훈련 프로그램 등 평가 교육을 개선하려는 다양한 기관에 유용할 수 있다는 점을 강조한다.

7. "The consistent gains in evaluation-specific knowledge and skills were supported by the ability of a CBA to support learning and generate evidence drawing upon diverse assessment strategies."

✔ 이유: CBA 접근법이 평가 관련 지식과 기술을 개발하는 데 효과적이라는 실증적 증거를 제공하는 문장이다. 연구가 보여준 핵심적인 결과를 요약하는 문장으로, CBA가 평가자의 학습을 지원하고 그 증거를 체계적으로 수집할 수 있도록 한다는 점을 강조한다.

8. "Future research should explore how competency-based evaluation education continues to impact professional practice years after course completion."

✔ 이유: 연구의 **향후 연구 방향(future research directions)**을 제시하는 문장이다. 평가 교육이 단기적인 효과만 있는지, 아니면 졸업 후 실무 현장에서 장기적으로 유지되고 발전되는지를 연구할 필요가 있음을 강조한다.

9. "Our integrated findings of domain-level gains pointed to two mixed insights related to background assimilations and partnership influences."

✔ 이유: 연구 결과에서 밝혀진 중요한 개념 두 가지(배경 경험의 영향과 파트너십의 역할)를 강조하는 문장이다. 평가자의 학습은 개인적인 배경과 실무 경험을 통해 다르게 형성될 수 있으며, 실제 기관과의 협력이 중요한 역할을 한다는 점을 시사한다.

10. "Designing an effective graduate-level CBA for evaluator education requires understandings of who the learners are, how to facilitate meaningful interactions among those involved in the course, and what experiential experiences optimize individual growth potential."

✔ 이유: 연구의 핵심 교육적 메시지를 요약하는 문장이다. 효과적인 평가자 교육을 위해서는 학습자의 특성을 이해하고, 의미 있는 학습 경험을 설계하며, 경험 학습을 최적화할 필요가 있다는 점을 강조한다.

총평

이 문장들은 연구의 핵심 메시지와 기여점을 압축적으로 전달하는 문장들입니다.

  • 연구의 이론적 기여(Competency-based education의 개념 및 시스템적 접근 필요성).
  • 실증적 발견(어떤 역량이 향상되었고, 어떤 역량이 상대적으로 덜 향상되었는지).
  • 실용적 기여(대학 및 교육 기관에서 활용할 수 있는 실질적 교육 전략).
  • 향후 연구 방향(장기적 연구 필요성, 실무 적용 가능성).

이 논문은 단순히 "CBA가 효과적이다"라는 결론을 내리는 것이 아니라, 어떻게 하면 평가자 교육을 더 효과적으로 설계할 수 있는지에 대한 실질적인 통찰을 제공하고 있습니다.

 

 

1. Introduction

This section of the article sets the stage for the study, explaining why evaluator education is important and why this research is necessary. The authors argue that the contexts in which evaluators develop and apply their expertise are increasingly complex, making it essential to provide effective educational opportunities that support lifelong learning.

Why is Evaluator Education Important?

  • Evaluation is widely used across different sectors and disciplines, making it necessary to train competent evaluators.
  • There is a demand for evidence on effective teaching strategies in evaluator education.
  • The study is particularly relevant because the International Society for Evaluation Education was recently established (2018), indicating a growing interest in evaluation education worldwide.
  • A previous working conference (Gullickson et al., 2018) highlighted the value of competency-based approaches (CBA) in evaluator education.

What is a Competency-Based Approach (CBA) in Evaluator Education?

The authors discuss how competency-based education (CBE) has already been implemented successfully in various disciplines (e.g., medical education). CBE focuses on:

  • Clearly defining competencies (skills and knowledge that learners must demonstrate).
  • Emphasizing individualized learning that progresses from novice to expert.
  • Allowing learners to develop at their own pace rather than following a rigid, time-bound curriculum.

However, there is little empirical evidence on the impact of CBA in evaluator education. This study seeks to address that gap by assessing the impact of a doctoral-level course in Canada that was designed around the Canadian Evaluation Society’s (CES) Competencies for Canadian Evaluation Practice.

Why is This Study Important?

The study is unique because:

  • It examines a doctoral-level evaluation course that has been refined over ten years.
  • It applies Stufflebeam’s Context, Input, Process, and Product (CIPP) model with a systems perspective to analyze the course's impact.
  • It collects data using a mixed methods approach (both quantitative and qualitative).
  • It aims to provide practical insights into how competency-based learning can be effectively integrated into evaluator education.

2. Evaluator Education Scholarship Gaps

This section identifies the gaps in the current literature and the challenges faced in teaching evaluation at the graduate level.

Limited Research on Teaching Evaluation

  • Over the past decade, there has been some research on how to teach evaluation, but most of it focuses on theoretical discussions rather than empirical studies.
  • In Canada, there are very few university courses specifically focused on program evaluation (CUEE, 2008).
  • The adult learning model is widely used in evaluator education, emphasizing:
    • Experiential learning (internships, practicums).
    • Individualized learning that considers students’ prior experiences.
    • Hands-on experience in real-world evaluation settings.

Challenges in Graduate-Level Evaluation Courses

  • Many scholars (e.g., Davis, Altschuld, & Thomas) argue that practical, hands-on experience is essential for evaluators, yet many courses rely too much on theoretical instruction.
  • Some studies emphasize that students benefit from structured evaluation projects where they engage in actual evaluations with organizations.
  • However, instructors often lack clear guidelines on how to incorporate competency-based education into their courses.
  • The complex nature of evaluation requires a balance of:
    • Theory (understanding evaluation approaches, methodologies).
    • Practice (developing real evaluation plans, working with stakeholders).

What Needs to Be Studied?

The article emphasizes the need for research that assesses the real-world impact of competency-based evaluator education. Some key unanswered questions include:

  • How do students develop evaluation competencies over time?
  • What types of instructional design are most effective in supporting competency development?
  • How do contextual factors (e.g., instructor expectations, institutional support, learner backgrounds) shape evaluator education?

Using a Systems Perspective to Address These Gaps

The study applies a systems perspective using the CIPP model (Context, Input, Process, and Product) to capture the complexity of evaluation learning. The authors argue that:

  • Evaluation education is not linear—it involves multiple interdependent factors.
  • A systems approach allows for a more holistic analysis of how different elements (course design, student background, learning environment, instructional strategies) interact to shape learning experiences.
  • Prior studies (Darabi, 2002) have shown that a systems approach helps instructors organize course content more effectively and improve learning outcomes.

Why This Study is Unique

  • It focuses on a doctoral-level course that has evolved over a decade.
  • It analyzes real student learning experiences and competency development using multiple data sources.
  • It uses a mixed methods case study to capture both quantitative competency gains and qualitative reflections from students.

Summary of Key Takeaways

  • Evaluator education is still an emerging field with limited empirical research on best teaching practices.
  • A competency-based approach (CBA) is promising but needs more evidence on its effectiveness in evaluator training.
  • Hands-on experience is essential, yet many graduate courses remain too theoretical.
  • A systems perspective using the CIPP model can help instructors design better courses and understand learning impacts.
  • This study fills a major research gap by analyzing real student experiences in a long-term, competency-based doctoral course.

Would you like me to proceed with Methods for assessing course impacts and experiences, or do you have any specific aspects you’d like me to elaborate on further?

 

 

3. Methods for Assessing Course Impacts and Experiences

This section explains the research design and methodology used in the study. Since the study seeks to assess the impact of a competency-based evaluator education course, it employs a mixed methods case study approach to collect and analyze data.

3.1. Team-Based Approach

The study was conducted by a research team led by two main authors (Poth & Searle), along with three graduate students. This collaborative, team-based approach was chosen for several reasons:

  • Diverse expertise: The lead researchers had extensive experience in evaluation, competency-based education, and qualitative/quantitative research.
  • Multiple perspectives: Graduate student team members brought their own learning experiences from evaluation coursework.
  • Reliability and validity: The entire research team was involved in analyzing the data, which helped reduce bias and ensure more accurate interpretations.

The two lead researchers had:

  • More than 25 years of evaluation experience combined.
  • Backgrounds in classroom teaching, doctoral training in evaluation, and active involvement in developing evaluation competencies.
  • One of the lead researchers was the instructor of the course being studied, but measures were put in place to reduce instructor bias (e.g., data collection was conducted by an external assistant).

3.2. Mixed Methods Case Study Design

The study used a mixed methods case study design, which means:

  • It integrates both qualitative and quantitative data.
  • It focuses on a single case (i.e., the doctoral-level evaluation course) but examines it in depth.

Why use a mixed methods approach?

  • Qualitative data (e.g., student reflections, focus group discussions) provide rich insights into students' experiences.
  • Quantitative data (e.g., pre- and post-course competency self-assessments) help measure changes in competency levels.
  • Combining both helps provide a more comprehensive understanding of the course’s impact.

The study was bounded by the duration of the course (13 weeks) and focused on the experiences of 11 students who voluntarily participated.

What Data Were Collected?

The study collected four main types of data:

  1. Pre-course competency self-assessments (students rated their evaluation competencies at the start of the course).
  2. Post-course competency self-assessments (students re-evaluated their competencies at the end).
  3. End-of-course reflection assignments (students wrote about their learning experiences).
  4. Focus group discussion (students participated in a facilitated discussion about the course).

All these data sources were integrated into a mixed methods analysis to identify patterns and themes in student learning.

3.3. Ethical Considerations

Since the study involved evaluating students’ learning experiences, several ethical concerns had to be addressed:

  1. Informed Consent:
    • All students were informed about the study before the course began and were given the option to opt out.
    • A research assistant (not the instructor) conducted the recruitment to avoid pressure.
  2. Confidentiality & Anonymity:
    • Student names were replaced with pseudonyms before the data were analyzed.
    • The instructor did not know which students participated until after final grades were submitted.
  3. Reducing Bias:
    • Since the instructor was one of the researchers, they took extra precautions to ensure objectivity.
    • Data collection was handled externally to prevent students from feeling coerced into participating.
    • The research team used multiple perspectives to analyze the data, reducing the influence of a single researcher’s bias.

3.4. Participants and Recruitment

  • 11 students voluntarily participated in the study.
  • All were PhD students in the Faculty of Education or Faculty of Nursing.
  • Most had prior experience in research design, but little or no experience in program evaluation.

Background of Participants:

  • All had taken an introductory research design course.
  • More had experience with quantitative research than with qualitative research.
  • None had moderate or high expertise in evaluation at the beginning of the course.
  • Their main goals for taking the course were:
    1. Learning to design an evaluation plan.
    2. Understanding evaluation theories.
    3. Gaining hands-on evaluation experience.

3.5. Quantitative Strand Data Procedures

To measure changes in competency levels, students completed pre- and post-course self-assessments.

What Did the Self-Assessments Measure?

  • Students rated their own evaluation competencies using a four-point Likert scale:
    • Minimal (1) – Not knowledgeable/familiar, not competent.
    • Some (2) – Some knowledge, but not yet competent.
    • Moderate (3) – Knowledgeable, familiar, and somewhat competent.
    • High (4) – Knowledgeable, familiar, and fully competent.
  • Students assessed themselves on five competency domains:
    1. Reflective (self-awareness as an evaluator).
    2. Technical (skills in designing and conducting evaluations).
    3. Situational (understanding organizational and political contexts).
    4. Management (ability to oversee evaluation projects).
    5. Interpersonal (communication, collaboration, negotiation skills).

How Were the Data Analyzed?

  • Responses were converted into numerical values (1–4).
  • Descriptive statistics (e.g., mean scores, standard deviations) were calculated.
  • Inferential statistics (e.g., paired sample t-tests, effect sizes) were used to determine significant changes in competency levels.

3.6. Qualitative Strand Data Procedures

To capture students’ experiences, qualitative data were collected through:

  1. Self-assessment explanations (students explained their competency ratings).
  2. Open-ended questions in reflections.
  3. End-of-course focus group (students discussed what they learned).

How Were These Data Analyzed?

  • A three-stage qualitative coding process was used:
    1. Familiarization – Researchers read through all responses.
    2. Initial Coding – Key themes were identified line by line.
    3. Thematic Coding – Themes were refined and categorized.
  • The research team created a codebook to ensure consistency in coding.

3.7. Integration Procedures

Since the study used both qualitative and quantitative data, the findings were integrated using a pragmatic approach:

  1. Qualitative themes were used as an organizing framework to interpret the quantitative data.
  2. Findings were visually plotted (e.g., through charts) to show relationships between competency gains and student experiences.
  3. Joint displays (tables and diagrams) were used to combine different types of data.

The authors adapted the CIPP model for integration:

  • Context & Input: Instead of separating these, they combined them to reflect the complex learning environment.
  • Process & Product: Learning was not linear, so these were analyzed together to understand how the course led to competency development.

Key Takeaways

  • The study uses a mixed methods case study to assess the impact of a competency-based evaluator education course.
  • Pre- and post-course self-assessments provided quantitative measures of competency gains.
  • Reflections & focus groups provided qualitative insights into students' experiences.
  • Ethical measures ensured informed consent, confidentiality, and reduced instructor bias.
  • A team-based approach enhanced reliability and reduced bias in data analysis.

Next Steps

Would you like me to continue with 4. Contexts and Inputs for the Competency-Based Evaluation Course, or do you have any questions so far?

 

 

4. Contexts and Inputs for the Competency-Based Evaluation Course

This section describes the learning environment, course design, and assessment structure that shaped the students' experiences. The authors argue that learning does not happen in isolation—it is shaped by various interconnected elements, including the instructor, students, learning activities, and external influences.

Instead of presenting Context and Input separately (as in the traditional CIPP model), the study combines them, recognizing that:

  1. The value of course inputs (e.g., instructional strategies, assessments) can only be understood within the learning context.
  2. Evaluator education occurs within complex, interdependent systems.

4.1. Course Contributors and Interactions

The success of the competency-based evaluation course relied on four main contributors:

  1. The instructor (course designer and facilitator).
  2. The students (learners with diverse experiences).
  3. Community partners (external organizations that provided real-world evaluation projects).
  4. The Canadian Evaluation Society (CES) (the source of the evaluation competency framework).

1. The Instructor’s Role

  • The instructor had extensive experience in evaluation, competency-based education, and teaching.
  • They used a constructivist teaching approach, meaning that learning was seen as an active process where students build knowledge through experience.
  • Their teaching philosophy was influenced by:
    • Kolb’s experiential learning theory (learning occurs through cycles of experience, reflection, and application).
    • Fink’s significant learning model (which emphasizes integrating knowledge, application, and personal growth).
  • The instructor’s role was not just to deliver content but to facilitate learning by:
    • Designing interactive activities.
    • Encouraging students to reflect on their learning.
    • Providing continuous feedback.

2. The Students’ Role

  • The 11 participants came from PhD programs in Education and Nursing.
  • They had some research experience (mostly in quantitative methods) but limited exposure to program evaluation.
  • Their learning was influenced by prior knowledge, professional backgrounds, and career goals.
  • The students interacted with each other, sharing insights and providing feedback on assignments.

3. The Role of Community Partners

  • The course involved real-world evaluation projects in collaboration with community organizations.
  • These organizations had diverse focuses, including:
    • Counseling programs.
    • Inclusive early childhood education.
    • Professional training.
    • Respite care services.
  • Each student (or student team) was matched with a community partner who needed evaluation support.
  • The students designed evaluation plans for their assigned organizations, applying the concepts they learned in class.

4. The Influence of the Canadian Evaluation Society (CES)

  • The course was structured around the CES Competencies for Canadian Evaluation Practice.
  • The CES framework defines 49 key competencies, divided into five domains:
    1. Reflective Practice – Self-awareness and professional ethics.
    2. Technical Practice – Designing, implementing, and analyzing evaluations.
    3. Situational Practice – Understanding political, organizational, and social contexts.
    4. Management Practice – Managing evaluation projects and resources.
    5. Interpersonal Practice – Communication, negotiation, and collaboration skills.
  • The course focused on developing 15 of these 49 competencies (excluding Management competencies).

Key Takeaway:
The interaction among these four contributors created a rich learning environment where students engaged in theory and practice simultaneously.

4.2. Intended Course Competency Outcomes

The course was designed to help students develop specific evaluation competencies, particularly in the areas of Reflective, Technical, Situational, and Interpersonal Practice.

Competency Domain Focus of Learning Number of Competencies

Reflective Practice Professional awareness and ethical considerations 1 intended, 6 unintended
Technical Practice Evaluation design, data collection, and analysis 6 intended, 10 unintended
Situational Practice Understanding the context and stakeholder needs 3 intended, 6 unintended
Interpersonal Practice Communication and collaboration skills 4 intended, 6 unintended
Management Practice Project management and budgeting 0 (not included in course learning outcomes)
  • The course used intentional instructional strategies to target these 15 intended competencies.
  • However, students also developed unintended competencies (e.g., competencies they were not explicitly taught but acquired through experience).

Key Takeaway:
The course was carefully structured to develop key competencies aligned with real-world evaluation practice, while also allowing students to gain additional skills through practical experience.

4.3. Alignment of Course Assessments with Learning Outcomes

The study examines how different course assessments were designed to measure competency development.

Assessment Type Purpose Process Weight (%)

Evaluation Design Apply evaluation knowledge in a real-world setting Create a detailed evaluation plan for a community partner 35%
Issue Examination Investigate a specific evaluation-related issue Write a structured discussion post and lead a class discussion 30%
Discussion Facilitation Demonstrate understanding of evaluation theories Deliver an interactive presentation on an evaluation approach 20%
Competency Reflection Assess personal growth in evaluation competencies Write a self-reflection on learning progress 15%
  • The Evaluation Design assignment was the most heavily weighted (35%) because it required students to apply multiple competencies in a real-world project.
  • The Competency Reflection assignment (15%) was designed to encourage self-assessment and meta-cognition (thinking about one’s own learning process).

Key Takeaway:
The course assessments were deliberately aligned with the CES competency framework, ensuring that students developed and demonstrated relevant skills.

4.4. Learning Experiences Supported by Course Interactions

The course actively engaged students in multiple learning experiences, categorized as:

Types of Interaction Example Activities

Face-to-Face Discussions Class debates, peer feedback, and interactive lectures
Technology-Mediated Communication Email exchanges with community partners, online discussion boards
Virtual Class Forum Postings Sharing evaluation resources and discussing evaluation challenges
Course Resource Access Reviewing course readings, guest lecture materials, and sample evaluations
  • The Evaluation Design project involved all four types of interactions, particularly face-to-face discussions and technology-mediated communication.
  • Engaging with diverse perspectives was encouraged through:
    • Guest speakers.
    • Student-led presentations.
    • Discussion forums where students could challenge each other’s viewpoints.

Experiential Learning Components

  • The course was designed around hands-on learning.
  • Students had the opportunity to work directly with community partners and develop evaluation plans that had real-world applications.
  • The course emphasized collaborative learning, with students working together to refine their ideas and improve their projects.

Key Takeaway:
The course created a rich, interactive learning environment that blended theory and practice, allowing students to develop skills through experiential learning.

Summary of Key Takeaways

  • The course was shaped by four key contributors: the instructor, students, community partners, and CES competencies.
  • The learning experience was competency-driven, focusing on four CES domains (excluding Management).
  • The assessments were carefully designed to align with intended learning outcomes.
  • The course used multiple forms of interaction to engage students in experiential learning.
  • Students gained both intended and unintended competencies, demonstrating holistic professional development.

Next Steps

Would you like me to continue with 5. Processes and Products of the Competency-Based Evaluation Course, or do you have any questions so far?

 

 

5. Processes and Products of the Competency-Based Evaluation Course

This section discusses how the course was implemented (processes) and what outcomes it generated (products). Instead of separating these aspects (as in the traditional CIPP model), the study treats them as interconnected—the learning process directly influences the learning outcomes.

5.1. Processes and Outcomes of Data Integration

The study used multiple data sources to examine how the course influenced students' competency development. To ensure reliability, several strategies were applied in the data analysis:

  1. Using Multiple Indicators for Quantitative Data
    • Competency gains were measured using pre- and post-course self-assessments.
    • Gains were categorized as:
      • Greater Gains → More than 1-point increase in competency scores.
      • Lesser Gains → Less than 1-point increase.
    • Cohen’s d effect sizes were calculated to measure the impact of the course.
  2. Developing a Thematic Coding Guide for Qualitative Data
    • Student reflections and focus group discussions were analyzed using three-stage coding:
      • Initial coding (identifying key themes).
      • Thematic categorization (grouping related ideas).
      • Final synthesis (combining findings into insights).
    • Example qualitative themes included:
      • Prior experiences (how students’ backgrounds influenced their learning).
      • Supportive environment (how course design facilitated learning).
  3. Visualizing Mixed Methods Integration
    • The qualitative findings were mapped onto quantitative trends to identify patterns in competency development.
    • Joint displays (tables, figures) were used to merge and compare findings from different data sources.

Key Takeaway:
The integration of quantitative and qualitative data provided a comprehensive picture of how the course influenced student learning.

5.2. Products and Insights from the Domain-Level Integrated Competency Findings

This part examines how student competencies changed across the four targeted CES domains.

Key Findings (Competency Domain-Level Analysis)

Competency Domain Pre-Course Mean Score Post-Course Mean Score Gain Effect Size (Cohen’s d)

Reflective 1.84 2.69 +0.84 1.86 (Large)
Technical 1.68 2.58 +0.91 2.84 (Large)
Situational 1.25 2.32 +1.07 2.68 (Large)
Interpersonal 2.31 3.05 +0.75 1.01 (Large)

Interpretation of the Findings

  • The greatest gains were seen in the Situational and Technical domains.
    • The Situational domain showed the largest improvement (+1.07 points), reflecting students’ increased awareness of real-world evaluation contexts.
    • The Technical domain had strong gains (+0.91 points), indicating improved evaluation design and implementation skills.
  • Smaller gains were seen in the Interpersonal and Reflective domains.
    • Students started with relatively high interpersonal skills, so their improvement was more modest.
    • The Reflective domain saw strong improvements, but since many students already had self-reflective skills (due to their backgrounds in education and psychology), the gains were less dramatic.
  • Competency Development was Influenced by Student Backgrounds
    • Students with prior research experience tended to make faster progress in technical competencies.
    • Students with experience in counseling or psychology showed higher pre-course scores in interpersonal skills but made fewer gains.

Key Takeaway:
The biggest competency gains were seen in technical and situational areas, suggesting that real-world evaluation projects were especially effective in helping students understand complex evaluation contexts and methodologies.

5.3. Products and Insights from the Individual-Level Integrated Competency Findings

This section examines competency development at an individual level and identifies which specific competencies showed the greatest and smallest gains.

Competencies with the Greatest Gains (Individual-Level Analysis)

Competency Pre-Course Score Post-Course Score Gain Effect Size (Cohen’s d)

Developing Evaluation Designs 1.50 3.00 +1.50 Large
Determining the Purpose of an Evaluation 1.55 3.10 +1.55 Large
Framing Evaluation Questions 1.55 3.10 +1.55 Large
Understanding Organizational & Political Contexts 1.30 2.80 +1.50 Large
  • Students made the biggest gains in competencies related to evaluation planning (e.g., defining evaluation purposes, developing evaluation questions, and designing evaluations).
  • These gains reflect the effectiveness of the course design, which required students to create real-world evaluation plans for community organizations.

Competencies with the Smallest Gains

Competency Pre-Course Score Post-Course Score Gain

Written Communication Skills 2.80 3.10 +0.30
Using Evaluation Technology 2.50 2.80 +0.30
Negotiation Skills 2.30 2.60 +0.30
  • The smallest gains were in written communication and negotiation skills.
  • Why?
    • These skills were already relatively well-developed at the start of the course.
    • The course focused more on evaluation design and implementation rather than negotiation or advanced writing.

5.4. Key Insights from the Data

The study generated seven key insights about competency-based evaluator education.

  1. Relationship Building is Essential
    • Strong relationships between students, instructors, and community partners enhanced learning experiences.
    • Peer learning (e.g., discussion facilitation) was valuable in developing interpersonal and reflective competencies.
  2. Real-World Application Enhances Learning
    • The evaluation design project helped students gain situational and technical competencies.
    • Authentic learning experiences (working with community partners) were more impactful than traditional classroom instruction.
  3. Individual Learning Pathways Matter
    • Each student’s competency development was influenced by their prior experiences.
    • Some students needed more guidance in technical competencies, while others needed more experience in situational understanding.
  4. Competency Gains Extend Beyond the Course
    • Many students expressed a desire to continue improving their evaluation skills after the course.
    • The course helped them identify areas for future learning.
  5. Course Design Must Be Intentional
    • Competency-based education requires careful planning.
    • Assessments and learning activities must be deliberately aligned with intended competencies.

Summary of Key Takeaways

  • The greatest competency gains were in technical and situational skills.
  • Smaller gains were observed in interpersonal and reflective domains (due to high pre-course competency levels).
  • Real-world evaluation projects were particularly effective in competency development.
  • Students' backgrounds influenced their competency development paths.
  • A well-structured competency-based approach can lead to significant skill improvements.

Next Steps

Would you like me to continue with 6. Conclusions, or do you have any questions about this section?

 

 

6. Conclusions

This final section summarizes the key findings of the study, highlights theoretical, practical, and methodological implications, discusses limitations, and outlines lessons learned from implementing a competency-based approach (CBA) to evaluator education.

6.1. Theoretical, Practical, and Methodological Implications

The study contributes to three key areas: theory, practice, and research methodology.

Theoretical Contributions

  • Evaluation learning is complex and non-linear.
    • Learning does not happen in a step-by-step sequence; it involves multiple interdependent factors.
    • Competency development is influenced by prior experiences, instructional design, and learning interactions.
  • A systems perspective helps capture this complexity.
    • By integrating the CIPP model with a systems approach, the study accurately represents how competencies develop.
    • The study reveals that inputs (course design) and processes (learning activities) cannot be analyzed separately—they shape each other dynamically.
  • Proposes a new definition of competency-based evaluator education:"Competency-based evaluator education is an approach to preparing evaluators for real-world practice and supporting their lifelong development, organized around evaluator competencies derived from ongoing analysis of societal needs. It is learner-centered and focuses on a time-independent developmental learning progression of mastery."

Practical Contributions

  • The course provided a strong model for competency-based evaluation education.
    • Key instructional strategies:
      • Aligning assessments with competency domains.
      • Providing real-world evaluation opportunities.
      • Encouraging reflection and feedback.
    • This model can inform other universities and professional training programs.
  • Evaluation educators should assess learner backgrounds and tailor instruction accordingly.
    • Students enter courses with different skill levels, so competency-based approaches should include personalized learning pathways.
  • Experiential learning is key to competency development.
    • Working with community partners was particularly effective in helping students develop situational and technical competencies.

Methodological Contributions

  • Mixed methods research provides a holistic understanding of evaluator education.
    • The study shows that quantitative self-assessments capture broad competency gains, while qualitative reflections explain how those gains occur.
  • A case study approach offers deep insights into how evaluation courses function.
    • By analyzing a single doctoral-level course in depth, the study provides a detailed model for structuring evaluator education.

6.2. Limitations and Future Directions

Although the study provided valuable insights, it had some limitations:

Limitations

  1. Self-reported data can be subjective.
    • Students rated their own competency levels, which may not always reflect actual skill levels.
    • Some students may overestimate or underestimate their abilities.
  2. Limited sample size (N=11).
    • The study only focused on one course at one university, so findings may not generalize to all evaluator education programs.
  3. Short-term assessment.
    • The study measured competency gains immediately after the course, but long-term impacts were not assessed.
    • Future studies should examine how competencies continue to develop over time.

Future Research Directions

  1. Use direct competency assessments.
    • Instead of relying solely on self-assessments, future studies should incorporate external evaluations of student competencies (e.g., expert review of student work).
  2. Expand the study across multiple institutions.
    • Studying similar courses at other universities would provide comparative insights into different models of evaluator education.
  3. Conduct longitudinal research.
    • Following students several years after completing the course would show how well competencies are retained and applied in professional settings.

6.3. Lessons Learned for Evaluator Education

The study offers practical lessons for designing and improving evaluator education programs.

1. Competency-Based Education Requires Careful Instructional Design

  • Competencies do not develop automatically—they require intentional planning.
  • Best practices include:
    • Clearly defining intended competencies.
    • Aligning assessments with competency goals.
    • Providing real-world learning experiences.
    • Encouraging self-reflection and feedback.

2. Evaluator Education Should Be Adaptive to Learner Needs

  • Students enter evaluation courses with different skill levels.
  • A flexible, individualized approach helps students progress at their own pace.
  • Educators should provide multiple pathways for students to develop competencies based on their backgrounds and interests.

3. Real-World Experience is Crucial

  • Community-based projects help students develop situational and technical skills that cannot be learned through lectures alone.
  • The most valuable learning occurred when students worked with real organizations to design evaluation plans.

4. Competency Gains Extend Beyond the Course

  • Many students reported that the course inspired them to continue developing their evaluation skills.
  • Competency-based education should emphasize lifelong learning—not just short-term knowledge acquisition.

5. Future Evaluator Training Should Incorporate a Systems Perspective

  • Learning is shaped by multiple, interacting factors (e.g., student experiences, instructor guidance, real-world application).
  • A systems approach ensures that competency-based education accounts for these complexities and supports holistic learning.

Final Thoughts: Why This Study Matters

  • Evaluator education is still evolving, and this study provides empirical evidence on how competency-based approaches can improve training.
  • By applying a mixed methods case study, the research captures both the quantitative competency gains and the qualitative student experiences.
  • The findings can inform universities, professional associations, and training programs seeking to improve graduate-level evaluation education.

Summary of Key Takeaways

  1. A competency-based approach improves evaluator education.
    • The most significant gains were seen in technical and situational competencies.
    • Real-world evaluation projects were particularly effective.
  2. Competency development is shaped by learner backgrounds.
    • Some students needed more support in technical skills; others needed more experience with situational contexts.
  3. Instructor planning is essential for effective competency-based learning.
    • Course design should align learning activities, assessments, and feedback with competency goals.
  4. Evaluation training should incorporate experiential learning.
    • Engaging with real stakeholders enhances skill development beyond classroom learning.
  5. Future research should explore long-term competency development.
    • Follow-up studies can assess whether competencies persist over time and influence professional practice.

Next Steps

Would you like me to summarize the entire article in a concise format, or do you have specific aspects you'd like to discuss further?

 

 

1. 서론 (Introduction)

이 논문의 서론에서는 연구의 필요성을 설명하고, 평가자 교육(Evaluator Education)이 중요한 이유를 다루고 있습니다. 저자들은 평가자가 전문성을 개발하고 이를 실무에 적용하는 환경이 점점 더 복잡해지고 있다고 강조하면서, 평생 학습을 지원하는 효과적인 교육 기회가 반드시 필요하다고 주장합니다.

왜 평가자 교육이 중요한가?

  • 평가(Evaluation)는 다양한 분야와 산업에서 널리 활용되므로, 유능한 평가자를 양성하는 것이 필수적입니다.
  • 평가자 교육에서 효과적인 교수 전략에 대한 실증적 근거가 부족한 상황입니다.
  • **국제 평가 교육 학회(International Society for Evaluation Education)**가 2018년에 설립되었으며, 이는 전 세계적으로 평가자 교육에 대한 관심이 증가하고 있음을 보여줍니다.
  • 2018년 Gullickson 외 연구자들이 주최한 학술대회에서는 평가자 교육에서 역량 기반 접근(Competency-Based Approach, CBA)의 가치를 강조했습니다.

역량 기반 접근(CBA)이란?

저자들은 **역량 기반 교육(Competency-Based Education, CBE)**이 이미 의학교육(Medical Education) 등 다양한 분야에서 성공적으로 적용되고 있다고 설명합니다. CBE의 주요 특징은 다음과 같습니다.

  • 학습자가 **습득해야 할 역량(Competencies)**을 명확히 정의합니다.
  • 개별 학습자의 성장 속도를 고려하여 초보자에서 전문가로 발전하는 과정을 지원합니다.
  • 일정한 교육 기간을 강요하지 않고, 학습자가 자기 속도에 맞춰 성장할 수 있도록 유연성을 보장합니다.

하지만 평가자 교육에서 CBA의 효과를 검증한 실증적 연구는 거의 없는 상황입니다. 본 연구는 캐나다의 박사 과정에서 CBA 기반으로 설계된 평가 교육 과정이 학습자에게 미친 영향을 분석함으로써, 이 연구 공백을 메우는 것을 목표로 합니다.

이 연구가 중요한 이유

  • 연구 대상이 된 박사 과정 평가 교육 과정은 10년 동안 개선되어 온 과정입니다.
  • **Stufflebeam의 CIPP 모델(Context, Input, Process, Product)**을 **시스템적 관점(Systems Perspective)**에서 적용하여, 교육 과정이 학습자에게 미친 영향을 분석합니다.
  • **혼합 연구 방법(Mixed Methods Approach, 양적·질적 연구 병행)**을 사용하여 학습 효과를 측정합니다.
  • 평가자 교육에서 역량 기반 학습이 어떻게 효과적으로 통합될 수 있는지에 대한 실용적 시사점을 제공합니다.

2. 평가자 교육 연구의 공백(Evaluator Education Scholarship Gaps)

이 연구는 기존 문헌에서 다루지 못한 부분과 평가자 교육의 도전 과제를 강조합니다.

평가자 교육 연구의 부족

  • 지난 10년 동안 평가자 교육을 어떻게 가르쳐야 하는지에 대한 연구는 일부 존재하지만, 대부분 이론적 논의에 집중되어 있으며 실증 연구는 부족합니다.
  • 캐나다에서는 프로그램 평가를 전문적으로 다루는 대학 과정이 거의 없습니다(CUEE, 2008).
  • 평가자 교육에서는 **성인 학습 모델(Adult Learning Model)**이 많이 사용되며, 이 모델은 다음 요소를 강조합니다.
    • 경험 학습(Experiential Learning): 인턴십, 실습 과정
    • 개별 맞춤 학습(Individualized Learning): 학습자의 과거 경험을 반영한 교육 설계
    • 실제 평가 경험(Hands-on Experience): 평가가 이루어지는 실제 환경에서 학습

대학원 수준의 평가자 교육에서의 도전 과제

  • Davis, Altschuld, Thomas 등의 연구자들은 평가자가 되려면 실무 경험이 필수적이라고 주장하지만, 대학원 과정에서는 여전히 이론 중심 교육이 많습니다.
  • 일부 연구에서는 학생들이 실제 기관과 협력하여 평가 프로젝트를 수행하는 것이 교육 효과를 높인다고 강조합니다.
  • 그러나 많은 교수진은 역량 기반 교육을 어떻게 적용해야 할지 명확한 가이드라인이 부족한 상황입니다.
  • 평가자 교육은 이론과 실무의 균형이 중요합니다.
    • 이론(Theory): 평가 접근법과 방법론 이해
    • 실무(Practice): 실제 평가 계획 개발 및 이해관계자와 협력 경험

앞으로 연구해야 할 사항

논문에서는 평가자 교육의 실제 효과를 분석하는 연구가 더 필요하다고 강조합니다. 연구에서 다뤄야 할 핵심 질문은 다음과 같습니다.

  • 학생들은 시간이 지남에 따라 평가 역량을 어떻게 개발하는가?
  • 평가 역량 개발을 효과적으로 지원하는 교수 설계 방식은 무엇인가?
  • 평가자 교육에서 맥락적 요인(Contextual Factors)(예: 교수진의 기대, 기관의 지원, 학습자의 배경)이 학습 경험에 어떤 영향을 미치는가?

시스템 관점을 활용한 접근 방식

본 연구는 CIPP 모델(Context, Input, Process, Product)을 시스템적 관점에서 적용하여 평가자 교육의 복잡성을 분석합니다. 저자들은 다음과 같이 주장합니다.

  • 평가자 교육은 선형적이지 않으며(interdependent factors), 다양한 요소가 상호작용합니다.
  • **시스템적 접근(Systems Approach)**을 활용하면, 교육 과정의 설계, 학습자의 배경, 학습 환경, 교수 전략이 어떻게 상호작용하는지 더 잘 분석할 수 있습니다.
  • 이전 연구(Darabi, 2002)에 따르면, 시스템 접근법을 적용하면 교수진이 더 효과적으로 강의 내용을 조직하고 학습 성과를 개선할 수 있습니다.

이 연구의 차별점

  • 10년 이상 발전해 온 박사 과정 평가 교육을 분석합니다.
  • 실제 학생들의 학습 경험과 평가 역량 개발을 다각도로 분석합니다.
  • **혼합 연구 방법(Mixed Methods Case Study)**을 적용하여 **양적 데이터(자기 평가)와 질적 데이터(학생의 반성적 사고 및 경험)**를 결합하여 연구를 진행합니다.

핵심 요약 (Key Takeaways)

  • 평가자 교육은 여전히 신흥 연구 분야이며, 최적의 교수법에 대한 실증 연구가 부족합니다.
  • 역량 기반 접근(CBA)은 유망한 방법이지만, 그 효과를 입증하는 더 많은 연구가 필요합니다.
  • 실습 중심 학습이 필수적이지만, 여전히 많은 대학원 과정이 이론 중심으로 운영되고 있습니다.
  • CIPP 모델을 활용한 시스템적 접근 방식을 적용하면, 평가자 교육의 설계를 더 효과적으로 개선할 수 있습니다.
  • 본 연구는 장기적이고 역량 중심적인 박사 과정의 실제 학습 경험을 분석함으로써 중요한 연구 공백을 메우고 있습니다.

 

3. 평가 과정의 영향과 경험을 측정하는 방법 (Methods for Assessing Course Impacts and Experiences)

이 섹션에서는 연구에서 사용된 **연구 설계(research design)와 방법론(methodology)**을 설명합니다. 본 연구는 역량 기반 평가 교육 과정이 학습자에게 미친 영향을 분석하는 것을 목표로 하며, 이를 위해 **혼합 연구 방법 사례 연구(mixed methods case study approach)**를 사용하여 데이터를 수집하고 분석합니다.

3.1. 팀 기반 접근법 (Team-Based Approach)

이 연구는 **주요 연구자 두 명(Poth & Searle)**이 세 명의 대학원생 연구팀과 함께 협력하여 수행되었습니다.
이러한 협력적(team-based) 연구 접근법을 선택한 이유는 다음과 같습니다.

✔ 다양한 전문성(Diverse expertise)

  • 주요 연구자들은 평가, 역량 기반 교육, 질적·양적 연구 분야에서 오랜 경험을 보유하고 있습니다.
    ✔ 다양한 관점(Multiple perspectives)
  • 대학원생 연구팀은 평가 교육을 직접 수강한 경험을 바탕으로 연구에 참여하였습니다.
    ✔ 신뢰성과 타당성 확보(Reliability and validity)
  • 연구팀 전체가 데이터 분석 과정에 참여함으로써 편향을 줄이고 해석의 정확성을 높였습니다.

두 명의 주요 연구자는:

  • 총 25년 이상의 평가 경험을 보유하고 있습니다.
  • 강의 경험(Classroom teaching), 평가 박사 과정 교육(doctoral training in evaluation), 평가 역량 개발(competency development) 활동에 적극 참여해 왔습니다.
  • 연구 대상인 교육 과정의 실제 강사 중 한 명이었으나, 외부 조교(research assistant)를 통해 데이터 수집을 진행하여 연구자의 편향을 줄이는 조치를 취했습니다.

3.2. 혼합 연구 방법 사례 연구 설계 (Mixed Methods Case Study Design)

본 연구는 **혼합 연구 방법 사례 연구(mixed methods case study design)**를 사용하였습니다.
즉,

  • 질적 데이터(qualitative data)와 양적 데이터(quantitative data)를 통합하여 분석합니다.
  • 단일 사례(single case, 즉 박사 과정 평가 교육 과정)에 초점을 맞추되, 심층적으로 탐색합니다.

혼합 연구 방법을 사용하는 이유:
✔ 질적 데이터(Qualitative data) – 학생들의 경험을 더 깊이 이해할 수 있도록 반성적 자기 평가(reflections), 포커스 그룹 토론(focus group discussions) 등을 활용
✔ 양적 데이터(Quantitative data) – **사전·사후 자기 평가(pre- and post-course self-assessments)**를 통해 역량 수준 변화를 정량적으로 측정
✔ 두 가지 데이터를 결합함으로써 교육 과정의 영향을 보다 종합적으로 평가

연구 범위:

  • 연구는 13주 동안 진행된 박사 과정 수업을 중심으로 이루어졌습니다.
  • 총 11명의 학생이 자발적으로 연구에 참여했습니다.

수집된 데이터 유형:

1️⃣ 사전 자기 평가(Pre-course competency self-assessments): 학생들이 강의 시작 전 자신의 평가 역량을 평가
2️⃣ 사후 자기 평가(Post-course competency self-assessments): 강의 종료 후 다시 자신의 평가 역량을 평가
3️⃣ 최종 반성 과제(End-of-course reflection assignments): 학습 과정에서의 경험을 기술한 과제
4️⃣ 포커스 그룹 토론(Focus group discussion): 학생들이 강의를 어떻게 경험했는지 논의

이 모든 데이터는 혼합 연구 방법을 통해 통합 분석하여 패턴과 핵심 주제를 도출하였습니다.

3.3. 윤리적 고려 사항 (Ethical Considerations)

본 연구는 학생들의 학습 경험을 분석하기 때문에 몇 가지 윤리적 문제(ethical concerns)를 해결해야 했습니다.

✔ 사전 동의(Informed Consent)

  • 모든 학생들은 연구에 대한 정보를 수업 시작 전 제공받았으며, 연구 참여 여부를 **자유롭게 선택(opt-out)**할 수 있었습니다.
  • 연구 대상 모집은 강사가 아닌 연구 조교(research assistant)가 담당하여 학생들이 강사의 눈치를 보지 않도록 배려하였습니다.

✔ 익명성 및 기밀 유지(Confidentiality & Anonymity)

  • 학생 이름을 가명(pseudonyms)으로 변환하여 분석이 이루어졌습니다.
  • 강사는 최종 성적이 제출된 이후까지 연구 참여 학생이 누구인지 알지 못하도록 조치하였습니다.

✔ 편향 최소화(Reducing Bias)

  • 강사가 연구자 중 한 명이었기 때문에 객관성을 유지하기 위한 추가적인 조치가 필요했습니다.
  • 데이터 수집을 외부 조교가 담당하였으며, 연구팀은 다양한 관점을 반영하여 분석을 진행함으로써 단일 연구자의 편향을 줄였습니다.

3.4. 연구 참여자 모집 및 특성 (Participants and Recruitment)

  • 총 11명의 박사 과정 학생이 연구에 자발적으로 참여했습니다.
  • 참가자들은 교육학(Faculty of Education) 또는 간호학(Faculty of Nursing) 박사 과정에 재학 중이었습니다.
  • 대부분 연구 설계(research design)에 대한 경험은 있었지만, 프로그램 평가(program evaluation) 경험은 거의 없었습니다.

참여자들의 배경:
✔ 모든 학생이 연구 설계 기초 과정을 이수한 경험이 있음
✔ 양적 연구 경험이 많은 학생이 더 많았으며, 질적 연구 경험은 적은 편이었음
✔ 평가 경험이 중간 또는 높은 수준인 학생은 없었음
✔ 수업을 듣는 주요 목표:

  1. 평가 계획 설계 능력 배우기
  2. 평가 이론 이해하기
  3. 실무 평가 경험 얻기

3.5. 양적 데이터 분석 방법 (Quantitative Strand Data Procedures)

**사전·사후 자기 평가(self-assessments)**를 통해 학생들의 역량 변화를 측정했습니다.

자기 평가에서 측정한 항목:

  • 학생들은 자신의 평가 역량 수준을 4단계 리커트 척도(four-point Likert scale)로 평가하였습니다.
    1️⃣ Minimal (1) – 지식 및 역량 없음
    2️⃣ Some (2) – 일부 지식 보유, 아직 역량 없음
    3️⃣ Moderate (3) – 지식 보유 및 일부 역량 있음
    4️⃣ High (4) – 지식 보유 및 충분한 역량 있음
  • 측정된 다섯 가지 역량 영역:
    1️⃣ 반성적 사고(Reflective Practice) – 평가자로서의 자기 인식
    2️⃣ 기술적 역량(Technical Skills) – 평가 설계 및 수행 기술
    3️⃣ 상황 대응 역량(Situational Awareness) – 조직 및 정책적 맥락 이해
    4️⃣ 관리 역량(Management Skills) – 평가 프로젝트 관리 능력
    5️⃣ 대인관계 역량(Interpersonal Skills) – 의사소통, 협업, 협상 능력

데이터 분석 방법:

✔ 평균(mean), 표준편차(standard deviation) 등의 기술 통계(descriptive statistics) 분석
✔ 대응 표본 t-검정(paired sample t-tests), 효과 크기(effect size) 분석을 통해 통계적으로 유의미한 변화 확인

3.6. 질적 데이터 분석 방법 (Qualitative Strand Data Procedures)

✔ 자기 평가 이유 설명(Self-assessment explanations)
✔ 반성적 질문 응답(Open-ended reflections)
✔ 포커스 그룹 토론(Focus group discussion) 기록 분석

3단계 질적 코딩 방법 적용:
1️⃣ 데이터 읽기 및 익숙해지기(Familiarization)
2️⃣ 초기 코딩(Initial Coding): 개별 문장을 분석하여 주요 개념 도출
3️⃣ 주제별 분류(Thematic Coding): 관련 개념을 묶어 최종 분석

핵심 요약 (Key Takeaways)

✔ 혼합 연구 방법 사례 연구를 통해 역량 기반 평가 교육의 영향을 분석
✔ 양적·질적 데이터 통합 분석
✔ 철저한 윤리적 고려 및 연구 편향 방지 조치 적용
✔ 객관적·체계적인 연구 방법으로 신뢰성과 타당성 확보

4. 역량 기반 평가 교육 과정의 맥락과 투입 요소 (Contexts and Inputs for the Competency-Based Evaluation Course)

이 섹션에서는 학습 환경, 강의 설계, 평가 구조가 학생들의 학습 경험에 어떻게 영향을 미쳤는지를 설명합니다.

저자들은 학습은 독립적으로 이루어지는 것이 아니라 다양한 요소의 상호작용 속에서 이루어진다고 주장합니다. 이러한 요소에는 교수자, 학생, 학습 활동, 외부 환경이 포함됩니다.

본 연구에서는 전통적인 **CIPP 모델(Context, Input, Process, Product)**에서 Context(맥락)와 Input(투입 요소)를 별도로 다루지 않고 통합하여 분석하였습니다. 그 이유는 다음과 같습니다.

  1. 강의의 투입 요소(예: 교수 전략, 평가 방식)는 학습 맥락을 고려해야만 의미를 가질 수 있기 때문입니다.
  2. 평가자 교육은 복잡하고 상호의존적인 시스템에서 이루어지며, 개별 요소들이 서로 영향을 미칩니다.

4.1. 강의에 기여한 주요 요소 및 상호작용 (Course Contributors and Interactions)

이 평가 교육 과정의 성공은 다음 네 가지 주요 요소에 의해 결정되었습니다.

1️⃣ 교수자(Instructor) – 강의 설계 및 진행을 담당
2️⃣ 학생(Students) – 다양한 경험을 가진 학습자
3️⃣ 커뮤니티 파트너(Community Partners) – 실제 평가 프로젝트를 제공하는 외부 기관
4️⃣ 캐나다 평가 협회(Canadian Evaluation Society, CES) – 평가 역량 프레임워크를 제공

1. 교수자의 역할 (The Instructor’s Role)

  • 교수자는 평가, 역량 기반 교육, 교수법에 대한 폭넓은 경험을 갖춘 전문가였습니다.
  • 구성주의(Constructivist) 교수법을 활용하여 학생들이 능동적으로 지식을 구성할 수 있도록 설계하였습니다.
  • 교수자의 교육 철학은 다음 이론에 기반하였습니다.
    • Kolb의 경험 학습 이론(Experiential Learning Theory) – 경험, 반성, 적용을 통한 학습 순환 과정
    • Fink의 의미 있는 학습 모델(Significant Learning Model) – 지식 습득, 실습, 개인적 성장의 통합
  • 교수자의 역할은 단순한 정보 전달자가 아니라 **학습 촉진자(facilitator)**로서 다음과 같은 방식으로 학생들을 지원했습니다.
    • 인터랙티브 활동(interactive activities) 설계
    • 학습 반성(reflection) 유도
    • 지속적인 피드백 제공

2. 학생들의 역할 (The Students’ Role)

  • 본 과정에는 교육학(Education) 및 간호학(Nursing) 박사 과정 학생 11명이 참여하였습니다.
  • 대부분 양적 연구 경험은 있었으나, 프로그램 평가 경험은 부족했습니다.
  • 학생들의 학습은 이전 경험, 전문적 배경, 진로 목표에 의해 영향을 받았습니다.
  • 학생들은 서로 피드백을 주고받으며 학습을 보완하였습니다.

3. 커뮤니티 파트너의 역할 (The Role of Community Partners)

  • 학생들은 실제 기관과 협력하여 평가 프로젝트를 수행하였습니다.
  • 파트너 기관의 분야는 다양했으며, 예를 들면 다음과 같습니다.
    • 상담 프로그램(Counseling programs)
    • 포용적 유아 교육(Inclusive early childhood education)
    • 전문직 교육(Professional training)
    • 보호자 지원 서비스(Respite care services)
  • 학생들은 각 기관에 맞춘 평가 계획을 설계하며, 수업에서 배운 개념을 실전에 적용하였습니다.

4. 캐나다 평가 협회(CES)의 역할 (The Influence of the Canadian Evaluation Society)

  • 본 과정은 CES의 '캐나다 평가 실천 역량(Competencies for Canadian Evaluation Practice)'을 기반으로 설계되었습니다.
  • CES 역량 체계는 49개 핵심 역량을 다음 5가지 영역으로 구분합니다.
    1. 반성적 실천(Reflective Practice) – 자기 인식 및 윤리적 실천
    2. 기술적 실천(Technical Practice) – 평가 설계, 실행, 분석 능력
    3. 상황적 실천(Situational Practice) – 정치적·조직적·사회적 맥락 이해
    4. 관리적 실천(Management Practice) – 평가 프로젝트 관리 능력
    5. 대인 관계 실천(Interpersonal Practice) – 커뮤니케이션, 협상, 협업 역량
  • 본 과정은 이 중 15개의 역량 개발을 목표로 설정하였으며, 관리적 실천(Management Practice)은 포함되지 않았습니다.

🔹 핵심 포인트:
이 네 가지 요소의 상호작용을 통해 학생들은 이론과 실습을 동시에 경험하는 학습 환경을 가질 수 있었습니다.

4.2. 교육 과정의 목표 역량 (Intended Course Competency Outcomes)

이 과정은 특정한 평가 역량을 개발하는 것을 목표로 설계되었습니다. 특히 반성적, 기술적, 상황적, 대인 관계 역량에 중점을 두었습니다.

역량 영역 학습 초점 역량 개수

반성적 실천(Reflective Practice) 전문적 자기 인식 및 윤리적 고려 1개(의도됨), 6개(부수적으로 습득됨)
기술적 실천(Technical Practice) 평가 설계, 데이터 수집 및 분석 6개(의도됨), 10개(부수적으로 습득됨)
상황적 실천(Situational Practice) 맥락 및 이해관계자 분석 3개(의도됨), 6개(부수적으로 습득됨)
대인 관계 실천(Interpersonal Practice) 커뮤니케이션 및 협업 4개(의도됨), 6개(부수적으로 습득됨)
관리적 실천(Management Practice) 프로젝트 관리 및 예산 관리 0개(불포함)
  • 과정 설계에서 명확한 교수 전략을 활용하여 15개의 주요 역량을 개발하는 것을 목표로 삼았습니다.
  • 그러나 학습자들은 의도하지 않았던 추가 역량(예: 프로젝트 관리 기술)도 자연스럽게 습득하였습니다.

🔹 핵심 포인트:
이 과정은 실제 평가 실무와 연계된 핵심 역량을 개발하도록 철저히 설계되었으며, 실습을 통해 부수적인 역량도 습득할 수 있도록 구성되었습니다.

4.3. 평가 방법과 학습 목표의 정렬 (Alignment of Course Assessments with Learning Outcomes)

연구에서는 과정 내 다양한 평가 방법이 어떻게 역량 개발을 측정하도록 설계되었는지를 분석하였습니다.

평가 유형 목적 평가 방식 비중(%)

평가 설계(Evaluation Design) 실제 환경에서 평가 역량 적용 기관별 맞춤 평가 계획 작성 35%
이슈 분석(Issue Examination) 특정 평가 이슈 조사 구조화된 토론 게시물 작성 및 발표 30%
토론 주도(Discussion Facilitation) 평가 이론에 대한 이해도 증명 특정 평가 접근법에 대한 발표 20%
역량 반성(Competency Reflection) 자기 성찰을 통한 역량 평가 학습 과정에 대한 반성적 에세이 작성 15%

🔹 핵심 포인트:
이 과정의 평가 방식은 CES 역량 체계에 맞춰 정밀하게 설계되었으며, 학습자가 실제 평가 상황에서 필수적인 기술을 익힐 수 있도록 구성되었습니다.

5. 역량 기반 평가 교육 과정의 과정과 성과 (Processes and Products of the Competency-Based Evaluation Course)

이 섹션에서는 본 과정이 어떻게 실행되었는지(과정, Processes) 그리고 **어떤 결과를 만들어냈는지(성과, Products)**를 다룹니다.

전통적인 **CIPP 모델(Context, Input, Process, Product)**에서는 과정(Process)과 성과(Product)를 별도로 구분하지만, 본 연구에서는 이 두 요소를 상호 연결된 개념으로 분석하였습니다.
즉, 학습 과정 자체가 학습 결과에 직접적인 영향을 미친다는 점을 강조합니다.

5.1. 데이터 통합을 위한 과정 및 결과 (Processes and Outcomes of Data Integration)

본 연구에서는 다양한 데이터 소스를 활용하여 평가 교육 과정이 학생들의 역량 개발(Competency Development)에 미친 영향을 분석하였습니다.
연구의 신뢰성을 높이기 위해 다음과 같은 분석 전략이 적용되었습니다.

1. 양적 데이터 분석에서 다중 지표 활용 (Using Multiple Indicators for Quantitative Data)

✔ 사전-사후 자기 평가(Pre- and Post-Course Self-Assessments)를 통해 역량 변화를 측정
✔ 역량 향상 정도에 따라 두 그룹으로 구분

  • 큰 향상(Greater Gains): 자기 평가 점수가 1점 이상 증가한 경우
  • 작은 향상(Lesser Gains): 자기 평가 점수가 1점 미만 증가한 경우
    ✔ Cohen’s d 효과 크기(effect size) 분석을 통해 교육 과정의 영향을 정량적으로 측정

2. 질적 데이터 분석을 위한 주제별 코딩 가이드 개발 (Developing a Thematic Coding Guide for Qualitative Data)

✔ 학생들의 **반성적 자기 평가(reflections), 포커스 그룹 토론(focus group discussions)**을 3단계 코딩 방식으로 분석

  • 초기 코딩(Initial Coding): 주요 개념을 도출
  • 주제별 분류(Thematic Categorization): 유사한 개념을 그룹화
  • 최종 종합(Final Synthesis): 최종 분석을 통해 연구 결과 도출
    ✔ 주요 주제 예시:
  • 이전 경험(Prior Experiences): 학생들의 학습 배경이 과정에서 어떤 영향을 미쳤는가?
  • 지원 환경(Supportive Environment): 과정 설계가 학습을 어떻게 촉진했는가?

3. 혼합 연구 방법을 활용한 데이터 시각화 (Visualizing Mixed Methods Integration)

✔ 질적 연구 결과를 양적 분석과 연결하여 역량 개발의 패턴을 도출
✔ **공동 분석 표(Joint Displays, 표 및 그래프)**를 활용하여 다양한 데이터 소스를 비교 및 통합

🔹 핵심 포인트:
양적 및 질적 데이터를 통합적으로 분석함으로써, 평가 교육 과정이 학생들의 학습에 어떤 영향을 미쳤는지를 보다 포괄적으로 이해할 수 있었습니다.

5.2. 역량 영역별 변화 분석 (Products and Insights from the Domain-Level Integrated Competency Findings)

이 부분에서는 학생들의 평가 역량이 어떻게 변화했는지, 특히 CES(캐나다 평가 협회)에서 정의한 4가지 핵심 역량 영역을 중심으로 분석하였습니다.

주요 연구 결과 (Competency Domain-Level Analysis)

역량 영역 사전 평균 점수 사후 평균 점수 향상도 Cohen’s d (효과 크기)

반성적 역량(Reflective) 1.84 2.69 +0.84 1.86 (큰 효과)
기술적 역량(Technical) 1.68 2.58 +0.91 2.84 (큰 효과)
상황적 역량(Situational) 1.25 2.32 +1.07 2.68 (큰 효과)
대인 관계 역량(Interpersonal) 2.31 3.05 +0.75 1.01 (큰 효과)

결과 해석 (Interpretation of the Findings)

✔ 가장 큰 향상이 나타난 영역: 상황적 역량(Situational)과 기술적 역량(Technical)

  • 상황적 역량(Situational Practice, +1.07점 증가) → 학생들이 실제 평가 환경에서 조직 및 정책적 맥락을 이해하는 능력이 크게 향상됨
  • 기술적 역량(Technical Practice, +0.91점 증가) → 평가 설계 및 실행 역량이 유의미하게 증가

✔ 상대적으로 작은 향상이 나타난 영역: 대인 관계 역량(Interpersonal)과 반성적 역량(Reflective)

  • 학생들은 이미 대인관계 기술이 상대적으로 높은 상태에서 시작했기 때문에, 향상도가 낮게 나타남
  • 반성적 역량(Reflective Practice)도 교육학 및 심리학 전공 학생들이 기존에 가지고 있던 역량이었기 때문에 향상 폭이 제한적

✔ 학생들의 배경이 역량 개발에 영향을 미침

  • 연구 경험이 있는 학생들은 기술적 역량(Technical)에서 더 빠른 발전을 보임
  • 심리학 또는 상담 경험이 있는 학생들은 사전 평가에서 대인 관계 역량(Interpersonal)이 높게 나타남

🔹 핵심 포인트:
실제 평가 프로젝트 경험이 학생들의 기술적 및 상황적 역량 개발에 가장 큰 영향을 미쳤으며, 이는 실무 중심 학습의 효과를 입증합니다.

5.3. 개별 역량 분석 (Products and Insights from the Individual-Level Integrated Competency Findings)

이 부분에서는 개별 역량 수준에서 가장 큰 향상과 가장 작은 향상이 나타난 역량을 분석하였습니다.

가장 큰 향상이 나타난 역량 (Competencies with the Greatest Gains)

역량 사전 점수 사후 점수 향상도 효과 크기

평가 설계(Developing Evaluation Designs) 1.50 3.00 +1.50 큰 효과
평가 목적 설정(Determining the Purpose of an Evaluation) 1.55 3.10 +1.55 큰 효과
평가 질문 설정(Framing Evaluation Questions) 1.55 3.10 +1.55 큰 효과
조직 및 정책적 맥락 이해(Understanding Organizational & Political Contexts) 1.30 2.80 +1.50 큰 효과

✔ 평가 계획 수립과 관련된 역량이 가장 크게 향상됨
✔ 과정 설계가 실제 평가 설계 기술을 개발하는 데 효과적이었음을 입증

가장 작은 향상이 나타난 역량 (Competencies with the Smallest Gains)

역량 사전 점수 사후 점수 향상도

글쓰기 능력(Written Communication Skills) 2.80 3.10 +0.30
평가 기술 활용(Using Evaluation Technology) 2.50 2.80 +0.30
협상 기술(Negotiation Skills) 2.30 2.60 +0.30

✔ 이 역량들은 이미 학생들이 어느 정도 보유하고 있었기 때문에 향상 폭이 작았음

핵심 요약 (Key Takeaways)

✔ 실제 평가 프로젝트가 가장 큰 학습 효과를 냄
✔ 기술적 및 상황적 역량에서 가장 큰 향상이 나타남
✔ 학생들의 기존 경험이 학습 경로에 영향을 미침
✔ 역량 기반 학습이 효과적으로 이루어지려면 체계적인 과정 설계가 필요

6. 결론 (Conclusions)

이 마지막 섹션에서는 연구의 주요 결과를 요약하고, 이론적, 실용적, 방법론적 시사점을 강조합니다. 또한 연구의 한계를 논의하고, 역량 기반 접근법(CBA)을 평가자 교육에 적용하면서 얻은 교훈을 정리합니다.

6.1. 이론적, 실용적, 방법론적 시사점 (Theoretical, Practical, and Methodological Implications)

본 연구는 세 가지 주요 영역에서 기여합니다: 이론, 실용적 교육 적용, 연구 방법론

이론적 기여 (Theoretical Contributions)

✔ 평가 학습(Evaluation Learning)은 복잡하며 선형적이지 않음

  • 학습은 단계별로 순차적으로 이루어지는 것이 아니라, 여러 요소가 상호작용하면서 발전합니다.
  • 역량 개발(Competency Development)은 기존 경험, 교수 설계, 학습 상호작용에 의해 영향을 받음

✔ 시스템 관점(Systems Perspective)이 이러한 복잡성을 포착하는 데 도움을 줌

  • CIPP 모델을 시스템 접근법과 통합함으로써, 역량이 어떻게 개발되는지를 보다 정확히 설명
  • 학습 과정에서는 강의 설계(Inputs)와 학습 활동(Processes)이 서로 동적인 방식으로 영향을 주고받음

✔ 새로운 역량 기반 평가자 교육 정의 제안

"역량 기반 평가자 교육(Competency-Based Evaluator Education)이란, 실무에서 평가를 수행할 수 있도록 준비시키고, 평가자의 지속적인 전문성 개발을 지원하는 접근 방식이다. 이는 사회적 요구 분석을 기반으로 한 평가 역량을 중심으로 조직되며, 학습자가 점진적으로 숙련도를 높일 수 있도록 하는 학습자 중심 모델이다."

실용적 기여 (Practical Contributions)

✔ 본 연구에서 설계된 교육 과정은 역량 기반 평가 교육의 모범 사례가 될 수 있음

  • 핵심 교수 전략:
    • 평가 기준(competency domains)과 평가 방법을 정렬(Aligning Assessments with Competency Goals)
    • 실제 평가 프로젝트 수행(Providing Real-World Evaluation Opportunities)
    • 반성적 사고와 피드백 제공(Encouraging Reflection and Feedback)
  • 이 모델은 다른 대학과 전문 교육 프로그램에서도 활용 가능

✔ 평가자 교육자는 학습자의 배경을 고려하여 교수법을 맞춤형으로 설계해야 함

  • 학생들은 각기 다른 역량 수준에서 교육을 시작하기 때문에, **개별화된 학습 경로(Personalized Learning Pathways)**가 필요

✔ 경험 학습(Experiential Learning)은 평가 역량 개발에 핵심적인 역할을 함

  • **커뮤니티 파트너와 협력(Working with Community Partners)**하며 실무 평가 경험을 쌓는 것이, 특히 상황적(Situational) 및 기술적(Technical) 역량 개발에 효과적이었음

방법론적 기여 (Methodological Contributions)

✔ 혼합 연구 방법(Mixed Methods Research)은 평가자 교육의 학습 효과를 총체적으로 이해하는 데 기여

  • 양적 연구(Quantitative Self-Assessments) → 평가 역량 변화의 폭을 측정
  • 질적 연구(Qualitative Reflections) → 학생들이 왜 특정 역량에서 발전했는지를 설명

✔ 사례 연구 접근법(Case Study Approach)은 평가 교육이 실제로 어떻게 운영되는지를 심층적으로 분석하는 데 유용

  • 단일 박사 과정 수업을 상세히 분석함으로써 교육 과정 설계에 대한 구체적인 모델을 제시

6.2. 연구의 한계 및 향후 연구 방향 (Limitations and Future Directions)

본 연구는 평가자 교육에 대한 귀중한 통찰(insights)을 제공했지만, 몇 가지 한계가 존재합니다.

연구의 한계 (Limitations)

1️⃣ 자기 평가(Self-Reported Data)는 주관적일 수 있음

  • 학생들이 자신의 역량 수준을 직접 평가했기 때문에 실제 역량과 다르게 측정될 가능성이 있음
  • 일부 학생은 자신의 능력을 과소평가하거나 과대평가할 수도 있음

2️⃣ 표본 크기의 한계 (Limited Sample Size, N=11)

  • 본 연구는 한 대학의 단일 과정에서 이루어졌기 때문에, 연구 결과를 모든 평가 교육 프로그램에 일반화하기 어려움

3️⃣ 단기 평가(Short-Term Assessment)

  • 교육이 끝난 직후 역량 변화를 측정했기 때문에, 장기적인 영향(Long-Term Impact)에 대한 분석이 부족
  • 향후 연구에서는 교육 수료 후 몇 년 뒤에도 역량이 유지되는지를 분석할 필요

향후 연구 방향 (Future Research Directions)

1️⃣ 외부 전문가가 직접 역량을 평가하는 연구가 필요

  • 자기 평가 대신 **전문가 검토(Expert Review)**를 통해 학습자의 실제 역량을 객관적으로 평가하는 연구 필요

2️⃣ 다른 대학과 기관에서 유사한 연구 진행

  • 다른 대학 및 교육 기관에서도 유사한 프로그램을 연구하여, 평가자 교육 모델을 비교 분석

3️⃣ 장기 연구(Longitudinal Study)를 통한 지속적 역량 개발 분석

  • 수업을 수료한 후 몇 년이 지난 시점에서 평가 역량이 어떻게 유지되는지를 연구

6.3. 평가자 교육을 위한 교훈 (Lessons Learned for Evaluator Education)

본 연구는 평가자 교육을 설계하고 개선하는 데 도움이 될 몇 가지 실용적인 교훈을 제공합니다.

1️⃣ 역량 기반 교육(Competency-Based Education)에는 세심한 교수 설계가 필요함

✔ 역량은 자동으로 개발되지 않으며, 철저한 교수 계획이 필요
✔ 최적의 교수 전략:

  • 목표 역량을 명확하게 정의(Clearly Defining Intended Competencies)
  • 평가 기준과 평가 방법을 정렬(Aligning Assessments with Competency Goals)
  • 실제 평가 경험 제공(Providing Real-World Learning Experiences)
  • 자기 성찰과 피드백을 강조(Encouraging Self-Reflection and Feedback)

2️⃣ 평가자 교육은 학습자 맞춤형으로 운영되어야 함

✔ 학생들은 각기 다른 역량 수준에서 시작하므로, 유연한 학습 경로(Flexible Learning Pathways) 제공 필요

3️⃣ 실무 경험은 필수적임

✔ 이론 수업만으로는 충분하지 않으며, 실제 평가 프로젝트 경험이 중요
✔ 실제 기관과 협력하는 커뮤니티 기반 프로젝트가 가장 효과적인 학습 방법이었음

4️⃣ 역량 개발은 교육이 끝난 후에도 지속됨

✔ 많은 학생들이 교육 과정이 끝난 후에도 평가 역량을 더 개발하고 싶다고 응답
✔ 평가자 교육은 단기적인 학습이 아니라, 평생 학습(Lifelong Learning)의 개념을 포함해야 함

5️⃣ 시스템적 접근(Systems Perspective)이 필요함

✔ 학습은 다양한 요소(학생의 배경, 교수자의 지도, 실무 경험 등)가 상호작용하면서 이루어짐
✔ 역량 기반 교육을 효과적으로 운영하려면, 이러한 복잡성을 반영하는 시스템적 접근이 필요

최종 결론: 이 연구가 중요한 이유 (Final Thoughts: Why This Study Matters)

✔ 평가자 교육은 아직 발전하는 중이며, 본 연구는 역량 기반 접근법이 교육의 질을 어떻게 향상시킬 수 있는지에 대한 실증적 증거를 제공합니다.
✔ 혼합 연구 방법을 적용하여, 양적·질적 데이터를 통합 분석하였습니다.
✔ 연구 결과는 대학, 전문 기관, 평가자 교육 프로그램이 평가 교육을 개선하는 데 활용될 수 있음을 시사합니다.

핵심 요약 (Summary of Key Takeaways)

✔ 역량 기반 접근법이 평가자 교육의 효과를 높임
✔ 실무 중심 학습이 가장 효과적
✔ 학생들의 배경이 역량 개발 경로에 영향을 미침
✔ 향후 연구에서는 장기적 효과 분석이 필요

 

 

 

'논문 읽기 (with AI)' 카테고리의 다른 글

해석학에서 이중언어성으로: ‘환자의 관점’ 재고찰  (0) 2025.02.27
빠른 사고와 느린 사고를 넘어서: 변이이론적 임상추론 및 오류 모델이 교육, 평가, 그리고 연구에 미치는 영향  (0) 2025.02.25
정보기반 근거이론 (Informed Grounded Theory)  (0) 2025.02.25
존재, 성장, 그리고 소속감: 의학에서의 전문직 정체성 형성의 재개념화  (0) 2025.02.25
근거기반실무 교육 개입의 보고 완전성: 체계적 검토  (0) 2025.02.25

'논문 읽기 (with AI)'의 다른글

  • 현재글역량 기반 평가 교육 과정의 영향 평가: 혼합 연구 방법을 활용한 사례 연구

관련글

댓글

티스토리툴바