🎯 시스템 엔지니어링(Systems Engineering)으로 바라본 보건의료 교육 평가

안녕하세요! 오늘은 보건의료 교육(Health Professions Education, HPE) 프로그램 평가에 대한 흥미로운 논문을 소개해 드리려고 합니다. 기존의 평가 방식에서 한 걸음 나아가 시스템 엔지니어링(Systems Engineering)의 개념을 적용하면 어떻게 달라질까? 이 논문은 바로 이 질문에 대한 답을 찾고 있습니다. 🤔

1️⃣ 기존의 평가 방식, 한계가 있다?

보건의료 교육 프로그램을 평가하는 이유는 이 프로그램이 효과적인가? 가치를 갖고 있는가? 등을 확인하기 위해서입니다. 전통적인 평가 방식은 주로 **감소주의적 접근(Reductionist Approach)**을 사용해 개별적인 요소들을 평가했는데요. 하지만 프로그램이 돌아가는 방식은 훨씬 더 복잡합니다.

 

예를 들어, 학생과 교수진의 참여 수준, 예상치 못한 학습 효과 같은 것들은 기존 평가 방식에서 놓치기 쉽습니다. 그래서 최근에는 "홀리스틱 평가(Holistic Programme Evaluation)" 개념이 등장했습니다. 즉, 프로그램에서 발생하는 모든 요소(예정된 것과 예상치 못한 것)를 통합적으로 분석하자는 것이죠. 🌱

2️⃣ 시스템 엔지니어링을 활용한 새로운 접근법

🔍 시스템 엔지니어링이란?

시스템 엔지니어링은 복잡한 시스템을 이해하고 분석하는 공학적 접근법입니다. 단순한 기계 설계가 아니라, 여러 요소들이 어떻게 연결되고 상호작용하는지를 연구하는 분야인데요. 보건의료 교육 프로그램도 결국 사람(학생, 교수, 행정팀 등)과 자원(강의, 실습, 기술 등)이 얽혀 있는 복잡한 시스템이라고 볼 수 있습니다.

 

🚀 나사의 아폴로 13 프로젝트를 생각해 보면 이해가 쉬울 것 같습니다. 여러 공학 분야의 전문가들이 협력하여 문제를 해결했던 것처럼, 보건의료 교육 프로그램도 다양한 요소를 함께 고려해야 합니다.

🏗️ 핵심 도구: 추상적 분해 공간(Abstract Decomposition Space, ADS)

시스템 엔지니어들은 **ADS(추상적 분해 공간)**라는 도구를 사용해 복잡한 시스템을 분석합니다. 이 논문에서는 교육 프로그램에 ADS를 적용하는 방법을 설명하고 있는데요. 프로그램을 단순한 절차의 집합이 아니라, 끊임없이 변화하는 역동적인 시스템으로 바라보자는 것이 핵심입니다.

 

📌 ADS에서 고려하는 핵심 요소

  1. 프로그램 목표(Programme Goals)
  2. 평가 도구(Assessment Tools)
  3. 학습 경험(Knowledge & Experience Acquired)
  4. 교수 및 학습 방법(Teaching & Learning Afforded by Resources)
  5. 자원(Resources: 교수진, 강의 자료, 시설 등)

이 요소들을 분석하면서 계획된 요소(Planned Elements)와 예상치 못한 요소(Emergent Elements)를 구분할 수 있습니다.

3️⃣ 평가의 새로운 패러다임: 계획된 것 vs. 예상치 못한 것

시스템 엔지니어링을 적용한 프로그램 평가에서 가장 중요한 개념이 바로 **"예상치 못한 요소(Emergent Elements)"**입니다.

✅ 기존 평가 방식:

  • 프로그램이 의도한 과정(Planned Processes)과 목표(Planned Outcomes)만 분석
  • 예를 들어, "이 강의가 목표한 내용을 전달했는가?" 같은 질문을 던짐

✅ 시스템 엔지니어링 접근법:

  • 예상치 못한 과정(Emergent Processes)과 결과(Emergent Outcomes)까지 분석
  • 예를 들어, "학생들이 예상보다 더 많이 토론을 하며 학습하는 모습이 보였다" 같은 새로운 학습 패턴을 발견

🧮 이를 정량적으로 나타낼 수 있는 간단한 수식이 논문에서 제시되었습니다.

 

📏 Emergent Elements = Total Observed Elements – Planned Elements

 

즉, 실제로 관찰된 것에서 미리 계획된 것을 빼면, 예상치 못한 요소들이 드러난다는 것이죠! 🔎

4️⃣ 실제 적용 사례: 봉합술(Suturing) 교육 프로그램

이 논문에서는 가상의 예시로 의료 교육 프로그램에서 봉합술(Suturing)을 가르치는 과정을 평가하는 방법을 설명합니다. 🏥✂️

 

🔹 프로그램 개요

  • 플립러닝(Flipped Classroom) 방식과 전문가 피드백을 활용한 교육
  • 학생들이 봉합술을 익히면서 **"모르면 바로 질문하기(Speak up when you don’t know)"**라는 태도도 배우도록 설계

🔹 시스템 엔지니어링 평가를 해보니...!

  1. 예상치 못한 학습 과정 발견!
    • 학생들이 자발적으로 **또래 학습(Peer-to-Peer Learning)**을 하는 모습이 나타남
    • 강의 계획에는 없었지만, 실제로 매우 효과적인 학습 방식이었음
  2. 의도한 학습 목표가 잘 달성되지 않음!
    • "모르면 바로 질문하기" 목표가 학생들에게 제대로 전달되지 않음
    • 이 목표가 실질적으로 작동하도록 프로그램을 보완할 필요가 있음

📌 이처럼, 시스템 엔지니어링을 활용하면 프로그램이 예상대로 진행되는지, 또는 새로운 패턴이 나타나는지를 더 면밀히 분석할 수 있습니다.

5️⃣ 다른 평가 프레임워크와 비교하면?

이 논문에서는 기존의 평가 프레임워크와 시스템 엔지니어링 접근법을 비교하며 장단점을 설명합니다. 🏗️📊

 

평가 방식  특징 한계
로직 모델(Logic Model) 입력-활동-결과 간 선형 관계 분석 비선형적인 상호작용 분석 불가
CIPP 모델(Context, Input, Process, Product) 맥락, 입력, 과정, 결과로 나눠 분석 과정(Process)과 결과(Product) 간 연결 부족
리얼리스트 평가(Realist Evaluation) 특정 맥락(Context)에서 기전(Mechanism)이 어떻게 작동하는지 분석 전체 시스템보다는 개별 요소에 초점
시스템 엔지니어링 평가 전체 시스템과 예상치 못한 요소까지 포괄적 분석 구체적인 방법론이 아직 정립 중

 

💡 결론: 시스템 엔지니어링 접근법은 기존 평가 방식의 한계를 보완할 수 있는 강력한 도구가 될 수 있습니다.

🚀 마무리: 앞으로의 과제

이 논문은 시스템 엔지니어링을 활용한 보건의료 교육 평가의 가능성을 열어주는 중요한 시도입니다. 하지만 이 방법론이 더 정교하게 다듬어지려면, 다양한 교육 프로그램에서의 실증 연구가 필요합니다.

💬 여러분은 어떻게 생각하시나요?
보건의료 교육 평가에서 예상치 못한 요소를 고려하는 것이 왜 중요할까요? 여러분의 경험과 의견을 댓글로 남겨 주세요! 😊💬

소개 (INTRODUCTION)

프로그램 평가(Programme evaluation)는 체계적인 데이터 수집 및 분석 접근 방식을 포함하며, 일반적으로 프로그램의 효과성과 관련된 질문에 답하는 데 사용된다. 건강 직업 교육(Health Professions Education, HPE)에서의 평가는 고품질 프로그램을 보장하는 핵심 요소로 인정받고 있다. 그러나 HPE에서의 전통적인 프로그램 평가 프레임워크는 교육 프로그램과 관련된 과정과 결과에 영향을 미치는 여러 요인(예: 학생 및 교수진의 참여 수준 차이)을 충분히 반영하지 못할 수 있다. 이러한 모든 관련 요소 간의 상호작용을 평가하기 위해, HPE 분야의 연구자들은 프로그램 평가를 새롭게 개념화하여 "이 프로그램은 어떻게 그리고 왜 효과적인가?", "프로그램 내에서 또 다른 어떤 일이 발생하고 있는가?"와 같은 질문을 해결하려고 시도하고 있다. Haji 등은 "총체적 프로그램 평가(holistic program evaluation)"의 개념적 기반을 설명하였으나, 이를 실행하기 위한 프레임워크, 방법론, 도구를 구체적으로 제시하지는 않았다. 본 논문에서는 시스템 엔지니어링이 교육 프로그램의 복잡성을 고려한 프로그램 평가를 수행하는 데 필요한 프레임워크와 도구를 제공할 수 있다고 주장한다.

 

Programme evaluation involves a systematic approach to data collection and analysis, and is generally used to address questions relating to a programme’s effectiveness. Evaluation in health professions education (HPE) is recognised as a key element of assuring high-quality programmes. However, traditional programme evaluation frameworks in HPE may not address the multiple factors affecting the processes and outcomes associated with educational programmes, such as differing levels of student and faculty member engagement. To evaluate the interplay between all relevant factors, scholars in HPE have reconceptualised programme evaluation to answer questions such as: How and why is the programme working? What else is happening within a programme? Beyond outlining the conceptual basis for their ‘holistic program evaluation’, Haji et al. did not provide any framework, methods or tools for how to implement it. In this paper, we argue that systems engineering provides a framework and tools that evaluators can use to conduct programme evaluation that addresses the complexity of educational programmes.

HPE의 전통적인 프로그램 평가 프레임워크는 시대별로 영향을 받은 주요 이론들에 따라 발전해 왔다. 초기에는 환원주의(reductionism)의 영향을 받았으며, 이후 시스템 이론(systems theory), 그리고 복잡성 이론(complexity theory)으로 발전해 왔다. 복잡한 프로그램을 평가할 때, 현재의 표준 접근 방식은 발전적 평가(developmental evaluation)이며, 이는 복잡성 이론과 시스템 사고 개념을 활용하여 사회적 상호작용의 혼란스러움과 불확실성을 해결하고자 한다. 발전적 평가 모델은 '창발성(emergence)'이라는 개념을 포함하며, 이는 프로그램과 그 이해관계자들이 환경적 특성에 적응하는 과정에서 발생한다고 본다. Haji 등도 HPE에서의 창발성을 중요한 분석 요소로 언급하면서, 교육 프로그램이 계획된 과정(planned processes), 계획된 결과(planned outcomes), 창발적 과정(emergent processes), 창발적 결과(emergent outcomes)을 포함한다고 제안하였다. 그들은 평가자들에게 이 네 가지 유형의 데이터를 모두 수집하고 분석할 것을 권장하며, 이를 통해 프로그램이 어떻게 그리고 왜 효과적인지를 파악하고, 프로그램 내에서 그리고 프로그램으로 인해 발생하는 다른 요소들을 탐색할 수 있도록 한다.

 

Traditional programme evaluation frameworks in HPE have been influenced by the prominent theories of different eras, from reductionism to systems theory to complexity theory. When evaluating complex programmes, the current standard is developmental evaluation, which uses complexity theory and concepts of systems thinking to address the messiness of social interactions and associated uncertainties. The developmental evaluation model includes the construct of emergence, which is thought to result from a programme and its stakeholders adapting to environmental characteristics. In HPE, Haji et al. also note emergence as a key dimension of analysis, suggesting that educational programmes contain planned processes, planned outcomes, emergent processes and emergent outcomes. They advise evaluators to collect and analyse all four types of data, to discern how and why the programme is working, as well as what else happens within and because of the programme.

본 연구에서는 시스템 엔지니어링 원칙을 활용하여 창발성을 개념화하는 방식을 정교화하고, 계획된 과정, 계획된 결과, 창발적 과정, 창발적 결과를 포착하는 방법을 식별할 것을 제안한다. 우리의 제안은 기존의 발전적 평가 문헌에서 다루어진 복잡성, 시스템 사고, 창발성 개념을 기반으로 하면서도, 시스템 엔지니어링 학문에서 독자적으로 발전한 원칙과 도구를 추가하는 것이다. 먼저, 인지 시스템 엔지니어링(cognitive systems engineering)과 시스템 사고를 위한 관련 프레임워크를 설명할 것이다. 이후, 프로그램 평가의 방법론적 공백을 해결할 수 있는 적절한 엔지니어링 도구를 탐색하는 과정에서 우리가 내린 여러 가지 결정을 설명한다. 그런 다음, 선정된 도구를 개괄적으로 소개하고, 교육 프로그램에서 계획된 요소와 창발적 요소의 개념을 보다 정교화하여 제시한다. 마지막으로, 시스템 엔지니어링을 기반으로 한 프로그램 평가 프레임워크를 HPE에서 현재 사용되고 있는 다른 평가 프레임워크와 비교하며, 공통점과 차별점을 강조할 것이다.

 

We propose using systems engineering principles to refine how to conceptualise emergence, and how to identify methods for capturing planned processes, planned outcomes, emergent processes and emergent outcomes. Our proposal builds on previous discussions of complexity, systems thinking and emergence in the literature on developmental evaluation, adding principles and tools unique to scholarship in systems engineering. We first describe cognitive systems engineering, and the associated frameworks for thinking about systems. Next, we elaborate on the various decisions we made during our journey to identify an engineering tool that will help address the methodological gap. We then provide an overview of that tool, and propose refined conceptualisations of planned and emergent elements in an educational programme. Lastly, we compare our systems engineering informed programme evaluation framework with alternative frameworks currently used in HPE, highlighting areas of commonality and distinction.

 

개념적 프레임워크 (CONCEPTUAL FRAMEWORK)

시스템 엔지니어링 (Systems engineering)

공학적 문제 해결 접근법은 일반적으로 기초 과학을 활용하여 구체적인 해결책을 창출하는 방식으로 이루어진다. 대부분의 공학 하위 분야는 과학의 특정 문제만을 다룬다. 예를 들어, 토목 공학자는 도로, 교량, 운하 및 건물과 같은 물리적 및 자연적으로 구축된 환경의 설계, 건설 및 유지 관리에 주로 집중한다. 마찬가지로, 전자 공학자는 시뮬레이터, 의료 지원 시스템 및 휴대전화와 같은 기술 관련 솔루션의 설계, 개발 및 구현에 초점을 맞춘다. 반면, 시스템 엔지니어는 특정 분야에 국한되지 않고, 여러 공학 하위 분야가 협력해야 해결할 수 있는 복잡한 문제를 다룬다. 시스템 엔지니어는 각 공학 하위 분야의 고유한 전문 지식을 이해하고, 각 분야가 문제 해결 접근법에 어떻게 기여할지를 분석하며, 다양한 팀 구성원이 시스템적 관점을 바탕으로 협력할 필요성을 인식하도록 조정해야 한다. 시스템 엔지니어링에서는 게슈탈트 원칙(Gestalt principle)에 따라 "전체는 부분의 합보다 크다"는 개념이 중요하다. 이를 대표하는 사례로 아폴로 13 프로젝트를 들 수 있는데, 이 프로젝트에서는 여러 공학 하위 분야의 엔지니어들이 협력하여 우주비행사를 지구로 안전하게 귀환시키는 복잡한 문제를 해결하였다. 이 과정에서 시스템 엔지니어들은 프로젝트를 조율하고 강력한 해결책을 개발하는 역할을 수행했다.

 

Engineering approaches to problem-solving typically involve using basic sciences to create a tangible solution. Most engineering subdisciplines focus only on specific problems in the spectrum of science. Civil engineers, for example, work primarily on the design, construction and maintenance of physical and naturally built environments, such as roads, bridges, canals and buildings. Similarly, electronic engineers focus primarily on the design, development and implementation of technology-related solutions such as simulators, medical support systems and the phone in your pocket. By contrast, systems engineers do not focus on a specific area, and instead address complex problems requiring multiple engineering subdisciplines to work together. Systems engineers must understand the unique expertise of each engineering subdiscipline, they must analyse how each will inform the problem-solving approach, and they must ensure the different team members understand the need to collaborate using a systems perspective. For systems engineering, as the Gestalt principle suggests, the whole is greater than the sum of the parts. A famous example is the Apollo 13 Project, wherein engineers from multiple subdisciplines worked together to solve the highly complex problem of bringing astronauts back to earth. Systems engineers coordinated that project to develop a robust solution.

인지 시스템 엔지니어링 (Cognitive systems engineering)

인지 시스템 엔지니어링(Cognitive systems engineering)은 시스템 엔지니어링의 한 분야로, 시스템을 이해관계자와 자원의 연합체(stakeholder–resources alliance)로 개념화하도록 유도하며, 이러한 시스템을 사회-기술 시스템(socio-technical system)이라고 부른다. 여기서 기술적 요인은 물리적 자원뿐만 아니라 시스템을 구성하는 조직 구조 및 프로세스를 포함하며, 사회적 요인은 기술적 요소와 상호작용하거나 그 영향을 받는 모든 이해관계자를 의미한다. 인지 시스템 엔지니어들은 이러한 기술적 및 사회적 요소 간의 상호작용을 연구하여 시스템의 동작 방식을 보다 깊이 이해하려 한다. 시스템이 복잡하다고 정의되는 것은 사회적 및 기술적 요소가 예상치 못한 행동을 보일 때이다.

 

Cognitive systems engineering, a type of systems engineering, prompts engineers to conceptualise systems as a stakeholder–resources alliance, often called a socio-technical system. The technical factor refers to the available resources (e.g. physical materials), as well as the organisational structures and processes binding the system. The societal factor refers to all stakeholders who interact with or get shaped by the technical factors. Cognitive systems engineers study the interaction between the technical and the societal factors to better understand a system’s behaviour. Such systems are defined as complex when the societal and technical factors interact to exhibit unexpected behaviours.

복잡한 사회-기술 시스템의 엔지니어링 (Engineering complex socio-technical systems)

아래 그림 1은 사회-기술 시스템을 엔지니어링하는 일반적인 5단계 프레임워크를 보여준다. 모든 단계가 동일하게 중요하지만, 본 논문에서는 이미 실행 중인 HPE 시스템을 연구하는 데 초점을 맞추기 위해 초기 "준비 및 구성(preparation and framing)" 단계를 생략하고, 대신 "지식 추출(knowledge elicitation)" 단계에 집중하였다. 이 단계에서 엔지니어들은 시스템 요소에 대한 강력한 설명을 도출하는 작업을 수행한다. 인지 시스템 엔지니어링에서 활용되는 다양한 지식 추출 도구가 있지만, 사회-기술 시스템을 분석하는 데에는 인지 작업 분석(cognitive work analysis)이 가장 적절한 도구라고 제안한다.

 

Figure 1 illustrates a common five-stage framework for engineering socio-technical systems. Although all stages are equally important, for the purposes of this paper we limited our scope to using the framework to study systems in HPE that are already implemented and ongoing. Thus, we moved past the initial ‘preparation and framing’ stage to focus on the ‘knowledge elicitation’ stage, in which engineers work to produce a robust description of system elements. Although there are many knowledge elicitation tools employed in cognitive systems engineering, we suggest that cognitive work analysis includes an ideal toolbox for analysing socio-technical systems.

 

엔지니어들은 인지 작업 분석을 통해 복잡한 사회-기술 시스템을 모델링하며, 각 시스템의 특정 특성을 조사하고 이를 표현하는 방식으로 작업한다. 이러한 분석을 통해 도출된 모델을 작업 도메인(work domain)이라고 한다. 작업 도메인은 특정 사회-기술 시스템의 자원, 정책, 공간적 및 사회적 특성을 강조한다. 인지 작업 분석을 수행할 때, 엔지니어들은 기술적 특성이 시스템 내에서 수행되는 과업 유형과 관계없이 대체로 일정하게 유지된다고 가정한다. 예를 들어, 교육 프로그램의 경우, 사용 가능한 자원, 장소, 정책 및 지원 인력은 학생들이 목표를 달성하기 위해 어떤 선택을 하든 변함없이 유지된다. 이러한 사례에서 학생들이 시스템의 나머지 요소들과 상호작용하는 다양한 방식은 엔지니어들이 시스템을 복잡한 것으로 정의하는 기준에 부합한다.

 

Engineers use cognitive work analysis to model complex socio-technical systems by inspecting and representing each system’s specific characteristics, and refer to the resulting model as a work domain. A work domain highlights the resources, policies and spatial and societal characteristics of a given socio-technical system. When conducting a cognitive work analysis, engineers assume that the system’s technical characteristics will largely remain constant no matter the type of task performed by the societal factors. For example, in an educational programme, the resources, location, policies and support personnel will remain the same despite the different choices students may make to achieve their goals. In this example, the many possible ways the students might interact with the rest of the system meets the criteria engineers use to define the system as complex.

엔지니어들은 작업 도메인이 "사건 독립적(event independent)"인지 여부를 평가하여 그 강건성을 판단한다. 즉, 사회적 요인의 행동이 작업 도메인에 의미 있는 영향을 미치지 않는다면, 시스템의 특성이 포괄적으로 정의된 것으로 간주된다. 정확한 작업 도메인은 시스템 내에서 발생할 수 있는 행동과 사건(계획된 것과 창발적인 것 모두)을 분석할 수 있는 기반을 제공한다.

 

Engineers judge a work domain as robust if it is ‘event independent’, meaning actions of the societal factor do not influence the work domain meaningfully, and therefore, the system characteristics have been specified comprehensively. Accurate work domains provide a platform to analyse the possible behaviours and events (planned and emergent) that might be carried out within the system.

 

추상적 분해 공간 (Abstract decomposition space)

작업 도메인 분석을 수행할 때, 시스템 엔지니어들은 **추상적 분해 공간(Abstract Decomposition Space, ADS)**을 데이터 수집 도구로 활용한다. ADS는 작업 도메인의 다양한 특성을 시스템의 목표와 연관시키는 역할을 하며, 이러한 특성들이 목표 달성을 어떻게 지원하는지를 평가하는 데 사용된다. ADS를 개발할 때, 엔지니어들은 데이터를 **추상적 차원(abstract dimension)**과 **분해 차원(decomposition dimension)**이라는 두 개의 직교하는 차원으로 표현한다. 아래 표 1은 시스템 엔지니어들이 특정 시스템의 고유한 특성을 반영한 맞춤형 ADS를 개발하는 데 활용하는 기본적인 ADS 구조를 보여준다.

 

When conducting a work domain analysis, system engineers use the abstract decomposition space (ADS) as their data collection instrument. The ADS is used to relate a work domain’s various characteristics to the system’s goals, and to examine whether those characteristics support the different goals. When developing the ADS, engineers represent data along two orthogonal dimensions: the abstract dimension and the decomposition dimension. Table 1 presents the foundational ADS that systems engineers use as a foundation for developing a customised ADS representing the unique characteristics of the system under analysis.

 

ADS의 **추상적 차원(abstract dimension)**에서는 시스템 내에서 존재하는 **수단-목표 관계(means–ends relationships)**를 바탕으로 시스템을 여러 단계로 구분해야 한다. 표 1에는 엔지니어링 ADS에서 제안하는 다섯 가지 초기 추상화 수준이 제시되어 있으며, 이는 절대적인 것이 아니며 필수적인 것도 아니다. ADS의 추상적 차원을 개발하는 과정에서는 상향식(bottom-up)과 하향식(top-down) 접근 방식을 결합하는 것이 필요하다. 즉, 시스템의 목표를 식별하는 것에서 출발하는 하향식 접근과 시스템 내의 자원을 식별하는 것에서 출발하는 상향식 접근을 동시에 활용한다. ADS를 개발하는 궁극적인 목적은 시스템을 깊이 탐색하고, 해당 시스템에 최적화된 추상화 수준을 도출하여 시스템 내 자원이 목표 달성에 기여하는 방식을 분석하는 것이다.

The abstract dimension of the ADS requires dividing a system according to the means–ends relationships that exist within it. Table 1 presents and defines the five initial levels of abstraction suggested in the foundational engineering ADS. These levels are by no means rigid or mandatory. Developing the abstract dimension of an ADS requires mixing a top-down approach starting with identifying goals of the system with a bottom-up approach starting with identifying system resources. Thus, the aim is to explore the system and refine the ADS so that the abstraction levels are optimised for that specific system, which informs the analysis of whether the resources available in the system support achieving the system goals.

**분해 차원(decomposition dimension)**을 살펴보면, 이는 시스템을 **확대 및 축소(zooming in and out)**하는 과정과 유사하다. 즉, 전체 시스템에서 개별 하위 시스템 또는 구성 요소로 초점을 이동시키는 과정이라고 할 수 있다. 분해 차원은 시스템 내에서 이해관계자가 수행하는 기능과 관련된 주의의 폭(attention span)을 반영하는 개념으로 볼 수 있다. 예를 들어, 대부분의 교육 프로그램은 여러 요소로 구성되어 있으며, 학습자는 상황에 따라 특정 요소에 집중하거나 전체적인 맥락을 고려해야 한다.

 

의과대학의 임상실습(clerkship) 과정을 예로 들면, 학생들은 여러 개의 실습(rotations)을 거치게 된다. 각 실습은 서로 다른 모듈, 강의, 실습 기회 및 학습 경험을 포함한다. 학생들은 전체적으로 임상실습에서 좋은 성적을 받는 것을 목표로 하지만, 실습을 수행하는 동안에는 특정 모듈이나 개별 활동에 대한 집중력이 높아지게 된다(즉, "확대(zooming in)").

 

분해 차원을 개발하는 과정에서 시스템의 다양한 요소들이 서로 어떻게 연관되는지를 파악하는 것이 핵심이다. 이를 통해 시스템 전체 수준에서 문제가 발생하는 것인지, 아니면 특정 요소 수준에서만 문제가 존재하는지를 구별할 수 있으며, 이를 바탕으로 보다 초점을 맞춘 해결 방안을 모색할 수 있다.

 

Working through the decomposition levels (see Table 1), can be likened to ‘zooming in and out’ of the system, where the focus varies from the whole system to the sub-systems or factors that constitute the system. The decomposition dimension can be described as reflecting the attention span required of stakeholders as they function in the system. Most educational programmes, for example, are comprised of numerous factors that trainees must zoom in and out of, depending on the situation. For example, during the clerkship year of medical school, students complete several rotations and each of those rotations will have different modules, lectures, hands-on practice opportunities and learning experiences. The students may focus generally on achieving a good mark in their clerkship, but while they are going through the different rotations, their attention span will likely shift to the modules or specific activities that are required to successfully complete the individual rotation (i.e. zooming in). Working towards understanding how the factors of a system relate to each other as well as to the whole system, developing the decomposition portion of the ADS, helps to identify if there are problems at the system level, or if instead, the problems are at a factor level, which informs more focused attempts to resolve system issues.

 

인지 시스템 엔지니어링 개념을 활용한 프로그램 평가 적용 (APPLYING COGNITIVE SYSTEMS ENGINEERING CONCEPTS TO CONDUCT A PROGRAMME EVALUATION)

우리는 앞서 논의한 **시스템 엔지니어링 원칙을 활용하여 교육 프로그램을 복잡한 사회-기술 시스템(complex socio-technical systems)**으로 개념화할 것을 제안한다. 교육 프로그램은 이러한 시스템의 필수 조건을 충족한다. 즉, 교육 프로그램에는 사회적 요소(societal factor)(훈련생, 교사, 프로그램 관리자 및 기타 이해관계자)와 기술적 요소(technical factor)(교육 자료, 학습 자원, 기술 및 교육과정 정책)가 포함된다. 더욱이, 교육 프로그램을 복잡한 사회-기술 시스템으로 설정하면 **창발적 특성(emergent properties)**이 나타나며, 이는 주로 이해관계자(사회적 요소), 자원(기술적 요소), 그리고 프로그램을 운영하는 정책(맥락) 간의 상호작용에 의해 결정된다.

 

We propose using the systems engineering principles above to conceptualise educational programmes as complex socio-technical systems. Educational programmes satisfy the necessary conditions: they include a societal factor (i.e. trainees, teachers, programme directors and any other stakeholders) and a technical factor (i.e. teaching resources, learning resources, technologies and curriculum policies). Moreover, framing educational programmes as complex socio-technical systems implies they will exhibit emergent properties that will depend primarily on interactions between the stakeholders (i.e. societal factor), resources (i.e. technical factor) and policies that govern the programme (i.e. context).

우리의 시스템 엔지니어링 프레임워크는 **작업 도메인 분석(work domain analysis, WDA)**을 수행하여 **프로그램별 추상적 분해 공간(programme-specific ADS)**을 도출하는 것에서 시작된다. 우리가 제안하는 강력한 프로그램별 ADS는 평가자들이 프로그램의 특정 특성이 이해관계자의 행동을 어떻게 형성하는지, 그리고 프로그램의 자원이 프로그램 목표 달성을 지원하는지 여부를 연구할 수 있도록 한다.

 

그러나 우리는 시스템 엔지니어링 개념이 교육 분야에 완전히 일대일로 적용되지는 않을 것임을 인식하고 있다. 따라서, 프로그램별 ADS는 관련 요소, 과정 및 결과의 대부분을 포착할 수는 있지만, 모든 요소를 포함할 수는 없을 것이다. 이에 대해 Kenneth Burke는 다음과 같이 말한 바 있다. "어떤 방식으로 본다는 것은 동시에 어떤 방식으로 보지 않는 것이기도 하다."

 

Our systems engineering framework begins with conducting a work domain analysis to produce a programme-specific ADS. We propose that a robust programme-specific ADS will allow evaluators to study how the programme’s specific characteristics shape the behaviours of the stakeholders, and whether programme resources support achieving programme goals. We understand that our systems engineering thinking will not translate seamlessly into education; therefore, we anticipate a programme-specific ADS of an educational programme will capture most, but not all, relevant elements, processes and outcomes. As Kenneth Burke stated: ‘Every way of seeing is also a way of not seeing’.

창발성과 창발적 요소의 작동 방식 (Operationalising emergence and emergent elements)

연구자들은 다양한 학문 분야에서 **창발성(emergence)**을 다르게 정의하고 측정한다. HPE에서 Cristancho 등은 **외과적 의사결정(surgical decision-making)**에서의 창발성을 연구하면서, 외과의와 그들이 속한 맥락이 분리될 수 없기 때문에 모든 임상적 결정이 창발적인 것으로 간주될 수 있다고 주장했다. 이는 Mintzberg가 주장한 "창발적 전략(emergent strategy)은 완전히 의도성이 없는(total absence of intention) 상태에서 나타난다"는 관점과 유사하다.

 

반면, 엔지니어들은 창발적 요소를 두 가지 형태로 정의한다.

  1. 시스템 내의 서로 다른 요소들이 상호작용할 때 창발성이 발생한다.
    • 예: 실습생이 새로운 전자의무기록(order-set) 사용자 인터페이스와 상호작용할 때, 잘못된 약물 처방(dosage errors)이 발생할 수 있다.
  2. "전체(whole)" 시스템이 환경과 상호작용할 때 창발성이 발생한다.
    • 예: 병원이 새로운 **임상 교육 유닛(clinical teaching unit)**을 조직 구조 내에 도입할 경우, 예상치 못한 행위나 과정이 새롭게 나타날 수 있다.

이러한 두 관점을 조화시키기 위해, 우리는 **"창발성을 식별하는 핵심은 계획된 것과 실제 관찰된 것의 차이를 이해하는 것"**이라고 제안한다. 이는 다음 두 가지 핵심 개념과 일치한다.

  1. 창발적 요소는 의도적이지 않다.
  2. 시스템의 요소, 과정, 상호작용(창발적인 것이든 아니든)은 관찰하고 문서화할 수 있다.

이를 실제 적용하기 위해, 우리는 다음과 같은 수식을 통해 창발적 요소를 정의할 수 있다고 본다.

 

Emergent elements=Total observed elements−Planned elements

 

즉, 프로그램 내에서 **계획된 요소(planned elements)**와 **실제 관찰된 요소(total observed elements)**를 비교하여, 프로그램 설계자 및 이해관계자의 의도에서 벗어난 요소들을 **창발적 요소(emergent elements)**로 간주할 수 있다.

 

Researchers from different fields define and measure the concept of emergence differently. In HPE, Cristancho et al. have studied emergence in surgical decision making, suggesting surgeons and their context are so inseparable that all clinical decisions can be characterised as emergent, given they arise via the constant exchange between the surgeon and other system elements. This view resonates strongly with Mintzberg’s position that emergent strategies are those with a ‘total absence of intention’. Engineers offer a different view, describing two forms of emergent elements within systems. First, emergence arises when different elements within a system interact. For example, incorrect drug dosage orders may arise when trainees interact with a new order-set user interface. Second, emergence arises when the ‘whole’ system interacts with its environment. For example, unexpected practices and processes may arise when a hospital introduces a new clinical teaching unit into its organisational structure. In our attempt to harmonise these perspectives, we propose that identifying emergence requires understanding the difference between what was planned and what is observed. This arithmetic approach aligns with two main ideas: that emergent elements are unintentional; and that system elements, processes and interactions, emergent or otherwise, can be observed and documented. In operationalising this, we propose that elements arising in a system, found after considering all the planned elements alongside all observed elements in the programme-specific ADS, can be defined as emergent, given the absence of the programme designer’s and other stakeholders’ intentions (see proposed simple equation above for identifying emergent elements).

우리의 제안된 프레임워크를 활용하면, 평가자들은 프로그램을 고립된 단위로서의 계획된 과정과 계획된 결과만이 아니라, 복잡하게 상호작용하는 시스템으로 분석할 수 있다. 즉, 프로그램이 전개됨에 따라 창발적 과정(emergent processes)과 창발적 결과(emergent outcomes)이 추가적으로 생성될 수 있음을 고려할 수 있다.

 

Using our proposed framework, evaluators will be able to analyse programmes not as isolated units with planned processes and planned outcomes, but as unfolding, complicated, interactive systems that generate additional emergent processes and emergent outcomes.

 

시스템 엔지니어링을 반영한 프로그램 평가의 예비 방법론
Preliminary methods of programme evaluation informed by system engineering

공학 프로젝트는 매우 고유한 특성을 가지기 때문에, 이전 연구자들은 ADS(Abstract Decomposition Space, 추상적 분해 공간)를 개발하는 데 있어 표준 방법이 존재하지 않으며, 분석 대상 시스템에 맞게 조정되어야 한다고 제안한 바 있다. 따라서 시스템 엔지니어링을 활용한 프로그램 평가의 일환으로 ADS를 적용하기 위해, 우리는 공학과 교육 간의 지식 전이를 용이하게 하는 기본적인 교육용 ADS(Fig. 2)를 개발하였다.

 

Given that engineering projects can be so unique, previous researchers have suggested there is no standard method for creating an ADS, and instead the process must be adapted to the system under analysis. To use the ADS as part of a systems engineering informed programme evaluation, we have created a basic educational ADS (Fig. 2) to facilitate knowledge translation from engineering to education.

 

우리가 제안하는 프레임워크에서는 평가자가 기본적인 교육용 ADS(Fig. 2)를 출발점으로 삼아, 여러 번의 데이터 수집 과정을 거쳐 프로그램별 ADS를 개발해야 한다. 이를 위한 데이터 수집 방법으로는 문서 분석(document analysis), 구조화된 관찰(structured observations), 반구조화된 인터뷰(semi-structured interviews) 등을 포함하며, 추가적인 데이터 수집 방식도 활용될 수 있다.

 

평가자는 먼저 프로그램과 관련된 모든 기존 문서(예: 강의계획서, 교재, 보고서, 이전 평가자료)를 분석한다. 이후, 프로그램의 모든 차원(즉, 계획된 과정, 계획된 결과, 창발적 과정, 창발적 결과)을 탐색하기 위해 일련의 관찰을 수행한다. 가능하다면, 여러 기수(cohort)에서 반복되는 과정에서 관찰을 수행하여 프로그램별 ADS를 지속적으로 업데이트하고 정교화해야 한다.

 

관찰과 병행하여, 우리는 평가자가 모든 주요 프로그램 이해관계자(예: 훈련생, 교수진, 과정 책임자 등)와 반구조화된 인터뷰를 수행할 것을 권장한다. 이러한 데이터 수집의 모든 단계에서 ADS는 전체 시스템과 개별 요소를 보다 정확하게 반영할 수 있도록 지속적으로 수정 및 업데이트된다.

 

Our proposed framework requires that the evaluator starts with a basic educational ADS (Fig. 2) and collects several iterations of data to develop a programme-specific ADS. Our proposed methods of data collection include document analysis, structured observations and semi-structured interviews, although additional forms of data could be utilised. An evaluator begins by analysing all the existing documentation related to the programme (e.g. syllabus, written materials, reports and previous evaluations). The evaluator then conducts a series of observations to explore all the dimensions of the programme (i.e. planned processes, planned outcomes, emergent processes and emergent outcomes). Where possible (e.g. in courses that are repeated with several cohorts), the evaluator conducts observations during several iterations of the programme, updating and refining the programme-specific ADS each time. Concurrent with the observations, we recommend that the evaluator should also conduct semi-structured interviews with a sample of all relevant programme stakeholders (i.e. trainees, faculty members, course directors, and so on). Throughout all phases of data collection, the ADS is refined and updated to better represent the whole system as well as its elements.

데이터 수집 과정에서 ADS를 지속적으로 수정하고 업데이트하는 과정은 연역적(deductive) 및 귀납적(inductive) 데이터 분석의 조합을 필요로 한다.

  1. 연역적 분석(deductive analysis)
    • 평가자는 먼저 수집된 모든 데이터를 분석하여, 이를 기본 교육용 ADS의 기존 요소들과 비교한다.
    • 이 과정에서, 수집된 데이터가 ADS와 어느 정도 일치하는지를 검토한다.
  2. 귀납적 분석(inductive analysis)
    • 만약 평가자가 ADS와의 불일치(misalignment)를 발견한다면, 프로그램의 특성을 보다 잘 반영하도록 ADS를 수정해야 한다.
    • 이때, 기존의 연역적 분석에 귀납적 분석을 추가하여 수집된 모든 데이터를 반영한다.

이러한 과정은 데이터 수집이 반복될 때마다 연역적-귀납적 분석의 순환 과정으로 수행되며, 새로운 관찰 및 인터뷰 데이터를 추가해도 프로그램별 ADS에 의미 있는 변화가 발생하지 않는 지점(즉, 정보 포화점(information saturation))에 도달할 때까지 지속된다. 엄격한 평가 방법론을 보장하기 위해, 우리는 평가자가 데이터 해석과 분석을 지원할 수 있는 전문가 팀(team of evaluators)을 구성할 것을 권장한다.

 

Throughout all phases of data collection, the ADS is refined and updated to better represent the programme as well as its elements. This refinement process requires a combination of deductive and inductive data analyses. An evaluator first analyses all collected data deductively, seeking factors from the basic educational ADS, to verify the degree to which the collected data align with the ADS. Where the evaluator detects misalignment, the ADS is refined to better address the specifics of the programme by adding an inductive analysis of all collected data to the previous deductive analysis. The evaluator repeats this cycle, from deductive to inductive analyses, during every data collection iteration until additional observation and interview data do not result in meaningful changes to the programme-specific ADS (i.e. information saturation is reached). To ensure rigour with these methodologies, we suggest the evaluator seeks support from a team that can assist in data interpretation and analyses.

이후 평가팀은 수집된 데이터를 분석하여, ADS의 추상적 차원(abstract dimension) 내에서 각 요소를 계획된 요소(planned elements)와 창발적 요소(emergent elements)로 분류한다. 이를 위해 **Eqn 1(창발적 요소 = 총 관찰된 요소 - 계획된 요소)**을 활용하여 어떤 요소들이 예상치 못하게 등장했는지를 판단해야 한다. 뿐만 아니라, **특정 요소가 지속적으로 관찰되지 않는 경우(consistent absence)**에도 주목해야 한다. 즉, 평가팀이 특정 계획된 요소(planned element)에 대한 데이터를 수집하지 못했다면, 그 요소의 부재(absence) 또한 창발적 특성으로 간주해야 한다.

 

The evaluation team then inspects the data collected and assigned to each category of the abstract dimension, with the aim of judging which programme elements are planned and which are emergent, using Eqn 1. In addition to the unexpected presence of various elements, they must document consistent absence of elements. That is, if the team does not observe data related to a planned element during data collection and analysis, then they would consider its absence as emergent.

마지막으로, 우리의 분석에서는 시스템 내 모든 요소 간의 관계를 매핑(mapping)하는 것이 핵심이다.

  • 각 범주 내 요소들 간의 관계뿐만 아니라,
  • 다른 범주 간의 관계도 분석하여 시스템 전반에서 어떤 일이 벌어지고 있는지를 명확히 파악해야 한다.

이러한 철저한 데이터 수집 및 분석 과정은 평가팀이 교육 프로그램에서 실제로 "무슨 일이 일어나고 있는가"에 대한 포괄적인 지도를 개발할 수 있도록 설계되었다.

 

After defining the planned and emergent elements of the system, our analysis requires mapping the relationships between all elements within each category as well as between categories. Such a thorough data collection and analysis process is designed to allow the evaluation team to develop a comprehensive map of ‘what is happening’ in the educational programme.

 

가상의 시스템 엔지니어링 기반 프로그램 평가
HYPOTHETICAL SYSTEMS ENGINEERING INFORMED PROGRAMME EVALUATION

가상의 사례를 고려해보자. 이 사례는 의료 훈련생(medical trainees)에게 봉합술(suturing skills)을 가르치는 코스이며, 플립드 클래스(flipped classroom) 접근법과 전문가 지원 학습(expert-supported learning)을 활용한다. 이 과정에서는 기술적 숙련도뿐만 아니라, 훈련생들이 자신이 어떤 기술을 수행할 수 없는 경우 이를 솔직하게 말할 수 있도록 교육하는 것을 목표로 한다. 이를 통해 적절한 피드백과 지도를 받을 수 있도록 한다.

 

이 예시가 단순한 기술 교육 과정처럼 보일 수도 있지만, 시스템 엔지니어들은 사회적 요소(societal factors)와 기술적 요소(technical factors)의 상호작용이 복잡성을 유발하며 창발적 특성을 생성할 수 있다고 본다.

 

Consider a hypothetical course designed to teach medical trainees suturing skills using a flipped classroom approach and expert-supported learning. In addition to teaching the technical skill, the course director also aims to teach trainees to speak up when they do not know how to perform a skill, so they can receive proper guidance and feedback. We remind readers that although this hypothetical example might seem like a simple course for teaching technical skills, systems engineers would view the potential interactions between societal and technical factors as complex and able to generate emergent properties.

이 예제를 단순하게 유지하기 위해, Figure 3에서는 ADS(추상적 분해 공간)의 추상적 차원에서 세 가지 수준만을 제시하였다.

  1. 과정 목표(course goals)
  2. 자원이 제공하는 교수 및 학습 과정(teaching and learning afforded by resources)
  3. 과정 자원(course resources)

각 수준에는 가상의, 그러나 현실적인 요소들이 포함되어 있으며, 해당 수준에서 관찰되고 코드화될 수 있는 요소들을 나타낸다. 이 사례에서, 프로그램 개발자는 교육용 ADS(Fig. 2)의 두 가지 핵심 측면을 구체적으로 명시하지 않았다.
즉,

  • 학습자가 습득해야 할 지식과 기술이 무엇인지,
  • 해당 결과를 측정할 **평가 도구(assessment tools)**가 무엇인지 정의되지 않았다.

이러한 점을 고려할 때, 프로그램별 ADS를 개발하는 과정에서 추상적 차원의 수준이 더 많거나 적어질 수 있으며, 평가자가 분석 경험에 따라 각 수준에 대해 자체적인 명칭을 부여할 수도 있다. 예를 들어, **"잠재적 목표(potential objectives)"**라는 추가적인 수준을 설정할 수도 있다.

각 수준이 정의되면, 특정한 방법을 사용하여 요소들이 구성된다.

  • **계획된 요소(planned elements)**는 문서 분석(document analysis), 관찰(observations), 인터뷰(interviews) 등을 통해 도출된다.
  • 관찰 데이터 분석을 통해 각 요소들이 서로 어떻게 연결되는지를 확인하며, Figure 3에서는 이를 실선(solid arrows)과 점선(dashed arrows)으로 나타낸다.

평가팀은 이후 **Eqn 1(창발적 요소 = 총 관찰된 요소 - 계획된 요소)**을 적용하여, 각 **추상적 차원의 수준마다 창발적 요소(emergent elements)**를 식별한다. 이때, 창발성은 새롭게 나타난 요소뿐만 아니라 예상했던 요소가 존재하지 않는 경우도 포함됨을 명심해야 한다.

 

To keep the example simple, Figure 3 only illustrates three levels on the ADS abstract dimension: course goals, teaching and learning afforded by resources, and course resources. The different levels in Figure 3 are populated with hypothetical, yet realistic, elements that might be observed and coded under each level. In this example, we imply that the programme developers did not outline two key aspects of the basic educational ADS (Fig. 2), namely what knowledge or skills the learners are expected to acquire or the assessment tools to measure such outcomes. Thus, producing a programme-specific ADS might result in more or fewer abstract dimension levels, and evaluators might produce their own labels for these levels, depending on their experience in the analysis (e.g. one might produce a level of ‘potential objectives’). Once levels are defined, the elements are populated using specific methods; for example, planned elements result from document analysis, observations and interviews. Analyses of the observational data, in particular, would determine how the different elements connect, or not, as shown with the solid and dashed arrows in Figure 3. The evaluation team would then apply Eqn 1 individually for each of the abstract dimension levels of the course-specific ADS, to identify the emergent elements, remembering that emergence is defined by both the presence and absence of elements.

 

과정 자원(course resources) 분석

**과정 자원 수준(course resources level)**을 분석한 결과, 모든 요소가 계획된 요소임이 확인되었다. 이는 체계적으로 계획된 교육 프로그램에서는 자원이 창발적으로 생성될 가능성이 낮기 때문이다. 그러나 과정 자원은 단순한 물리적 자원(material resources)에 국한되지 않는다.

  • 강사(instructors), 훈련생(trainees), 지원 인력(support personnel)과 같은 인적 요소(human elements) 또한 과정 자원의 일부로 포함된다.

이 수준을 더욱 면밀히 분석한 결과, 일부 요소들이 상위 수준인 "자원이 제공하는 교수 및 학습 과정(teaching and learning afforded by resources)"과 연결되지 않았다. 즉, 일부 자원이 특정 학습 과정과 연결되지 않는 상태이다. 이 경우, 평가자는 다음과 같은 결정을 내릴 수 있다.

  1. 연결되지 않은 자원이 필요 없는 자원인지 판단하여 제거할 것인가?
  2. 향후 프로그램 반복(iterations)에서 해당 자원을 의미 있게 연결할 방법을 찾을 것인가?

An analysis of the course resources level shows that all elements are planned, which might be expected because it is unlikely that resources would emerge in a well-planned programme. Notably, programme resources are not only tangible, material elements, but also include human elements such as instructors, trainees and support personnel. Further analysis of this level would show some elements are not connected to elements in the teaching and learning afforded by resources level. An evaluator might judge that such unconnected resources might not be needed in the programme, or that connections need to be formed in future iterations to justify their presence.

교수 및 학습 과정 분석

"자원이 제공하는 교수 및 학습 과정" 수준을 분석한 결과, 두 가지 **창발적 학습 과정(emergent learning processes)**이 확인되었다.

  1. 자기조절 학습(self-regulated learning)
  2. 동료 간 학습(peer-to-peer learning)

이 두 가지 요소는 과정 설계 단계에서 명확하게 계획되지 않았지만, 훈련생들이 과정 목표를 달성하기 위해 자연스럽게 사용하고 있는 과정이다. 향후 프로그램 반복(iterations)에서 평가자와 과정 설계자는 이러한 학습 과정을 설계에 반영하여 이를 충분히 지원할 수 있도록 해야 한다. 추가 분석 결과, 플립드 클래스(flipped classroom) 과정이 다른 요소들과 연결되지 않았다.


즉, 과정 개발자는 플립드 클래스 접근법을 공식적으로 문서화했지만,

  • 이를 지원하는 자원(resources)이 부족하거나,
  • 과정 목표 달성에 실질적으로 기여하지 않는 상태이다.

이러한 단절(disconnect)은 중요한 문제이며, 과정 개발자는 다음과 같은 선택을 해야 한다.

  1. 기존의 교육 방법을 수정하고 다른 교수법을 활용할 것인가?
  2. 현재의 교수법을 유지하되, 이를 지원하는 자원을 추가할 것인가?

Analysing the teaching and learning afforded by resources level reveals two emergent teaching and learning processes (self-regulated and peer-to-peer learning) that were not planned explicitly in the course design. The appearance of these emergent elements shows that trainees are using different processes as they work to reach some of the course goals. Evaluators and course designers, in future iterations of the programme, would account for these processes as part of the design by, for example, ensuring there are enough resources to support them. Further analysis at this level would show that the ‘flipped classroom’ process is not connected to any other element, suggesting that although the course designers documented using this underpinning educational process, the programme does not appear to have the resources required to support it, and it does not appear to help achieve any programme goals. This disconnect is important because course designers could either redesign the programme with different underpinning educational processes (redirect resources associated with the disconnected process) or develop connections between that process and supportive resources that help achieve at least one programme goal.

 

과정 목표 수준(course goals level) 분석

**과정 목표 수준(course goals level)**을 분석한 결과, 두 가지 중요한 발견이 있었다.

  1. 창발적 목표(emergent goal) 발생
    • 훈련생들은 또래(peer)와 강한 관계를 형성하는 것을 목표로 삼았다.
    • 이는 초기 과정 설계 단계에서는 고려되지 않았던 목표였으나, 과정이 진행되면서 자연스럽게 발생한 것이다.
    • 이 발견을 통해 과정 설계자와 이해관계자들은 이 목표를 공식화하여 향후 과정 반복(iterations)에서 이를 지원할지 결정할 수 있다.
  2. 계획된 목표(planned goal) 미달성
    • 과정 목표 중 하나였던 "모르는 것이 있으면 말하기(speak up when you don’t know)" 목표가 ADS 내에서 어떤 요소와도 연결되지 않았다.
    • 즉, 현재의 과정에서는 이 목표가 달성되지 않고 있다는 것을 시사한다.
    • 평가자와 과정 설계자는 이 목표가 왜 달성되지 않는지 분석하고, 과정을 조정하여 이를 달성할 것인지, 아니면 목표 자체를 수정할 것인지 결정해야 한다.

Analysing the course goals level reveals two important findings. The first finding is the emergent goal, which is that trainees aimed to create strong relationships with their peers. Although this goal was not considered in the initial course design, course designers and stakeholders would now be aware that it may develop as the course unfolds, and they can decide whether to formalise and support that goal in future course iterations. The second finding is that the planned ‘speak up when you don’t know’ goal has no connections in the ADS, suggesting it is not being achieved in this course iteration. Evaluators and course designers may wish to analyse why this goal is not being achieved, and either refine the course to achieve this goal or change the goals of the course.

제안된 방법론의 한계 및 향후 방향
Preliminary method limitations and future directions

우리의 제안된 방법론은 예비적(preliminary) 접근법이며, 이러한 유형의 프로그램 평가를 수행하는 단계별(step-by-step) 절차를 제공할 만큼 충분한 데이터가 확보되지 않았다. 그러나, 시스템 엔지니어링(SI), 특히 우리가 제안한 프레임워크(인지 작업 분석, ADS 및 창발적 요소 분석)가 향후 HPE 프로그램 평가 연구를 발전시키는 데 기여할 수 있을 것이라 본다. 이를 통해 교육 프로그램의 효율성과 효과성을 최적화할 수 있는 새로운 방법이 제공될 가능성이 크다.

 

Our proposed method is preliminary, and we do not yet have the necessary data to provide a step-by-step process for how to conduct this type of programme evaluation. We suggest that systems engineering, specifically the framework we proposed here (i.e. cognitive work analysis, ADS and analysis of emergent elements), could inform future programme evaluation initiatives and offer a new method for optimising the efficiency and effectiveness of programmes in HPE.

우리가 제시한 방법론은 단일 교육 과정(small-scale course)뿐만 아니라, 전체 프로그램(full programme) 및 교육과정(curriculum) 평가에도 적용될 수 있다.

  • "프로그램별 ADS(programme-specific ADS)"는 더 많은 추상적 차원 및 분해 차원을 포함할 것이다.
  • 보다 강력한 데이터 수집 절차가 필요하며, 각 수준에서 요소들을 포착하기 위해 보다 체계적인 분석이 요구된다.
  • 이 과정에서, Figure 3과 같은 다중 모델(multiple models)이 생성될 것이며, 특히 ADS의 분해 차원의 각 수준은 Figure 3과 같은 개별적인 다이어그램으로 나타낼 수 있다.

Beyond the small-scale course we present in our example, we argue that evaluators can use our framework to evaluate full programmes and curricula, wherein the ‘programme-specific’ ADS would contain more levels in both the abstract and decomposition dimensions. Such an evaluation would require a more robust data collection procedure to capture elements for each of the levels proposed by the programme-specific ADS. The process would generate multiple models like the one shown in Figure 3; specifically, each level in the decomposition dimension of the more comprehensive ADS would result in a diagram like Figure 3.

우리의 시스템 엔지니어링 기반 프로그램 평가 프레임워크와 기존 평가 프레임워크 비교
COMPARING OUR SYSTEMS ENGINEERING INFORMED PROGRAMME EVALUATION FRAMEWORK WITH ALTERNATIVE PROGRAMME EVALUATION FRAMEWORKS

시스템 엔지니어링 원칙과 도구를 프로그램 평가에 적용하는 것은 새로운 접근법이다. 그러나 우리는 복잡성(complexity)과 창발성(emergence) 개념이 이미 여러 기존의 프로그램 평가 프레임워크에도 포함되어 있다는 점을 인정한다. 이 섹션에서는 HPE에서 일반적으로 사용되는 특정 평가 대안들과 우리의 프레임워크를 비교한다(표 2 참조). 우리는 결과만을 중점적으로 다루는 프로그램 평가 프레임워크는 포함하지 않았다. 그 이유는 효과적인 HPE 평가에서는 단순한 결과 측정에서 벗어나, 프로그램의 모든 요소를 이해하는 방향으로 전환할 필요가 있기 때문이다.

 

Using systems engineering principles and tools is novel for programme evaluation, yet we recognise concepts like complexity and emergence are included in other programme evaluation frameworks. In this section, we contrast our framework with specific evaluation alternatives common in HPE (see Table 2). We chose not to include programme evaluation frameworks that focus only on outcomes, because effective HPE evaluations must shift to frameworks aimed at understanding all programme elements, not simply outcomes.

 



 

기존 프로그램 평가 프레임워크와의 비교

우리는 다음 네 가지 주요 프로그램 평가 프레임워크를 분석한다.

  1. 논리 모델(logic models)
  2. 맥락, 투입, 과정, 산출(CIPP: Context, Input, Process, Product) 평가 모델
  3. 실재론적 평가(realist evaluation)
  4. 우리의 제안된 시스템 엔지니어링 기반 프레임워크

각 프레임워크를 간략히 설명한 후, 그 **강점(strengths)과 한계(limitations)**를 분석한다. 우리는 이 평가 프레임워크들 간의 위계(hierarchy)를 설정하려는 것이 아니다. 오히려, 이해관계자들은 자신의 평가 목적, 예상 일정(expected timeline), 사용 가능한 자원(resource availability), 기대하는 평가 결과(expected evaluation outcome)에 따라 적절한 평가 프레임워크를 선택해야 한다고 제안한다.

 

In our analysis, we briefly describe each framework, and note their strengths and limitations. We focus on: (i) logic models, (ii) context, input, process, product (CIPP), (iii) realist evaluation and (iv) our proposed framework. We do not intend to present a hierarchy of the different evaluation frameworks. Ultimately, we suggest that stakeholders select a programme evaluation framework based on their evaluation purpose, expected timeline, resource availability and expected evaluation outcome.

 

결론 (CONCLUSION)

우리는 시스템 엔지니어링 기반 프로그램 평가 프레임워크를 설계하여, **Haji et al.**이 설명한 **계획된 요소(planned elements)와 창발적 요소(emergent elements)**를 포착할 수 있도록 지원하고자 했다. 이를 위해, 평가자들이 프로그램별 ADS를 생성하기 전에 활용할 수 있도록 **기본 교육용 ADS(basic educational ADS)**를 개발하였다.

 

ADS를 반복적으로 수정(refining)하며 프로그램을 구체화하는 과정을 통해, 평가자들은 프로그램을 보다 강력한 시스템적 관점(systemic perspective)에서 표현할 수 있으며, 이는 기존 HPE 평가 프레임워크와의 차별점이 된다. (예: CIPP 모델은 특정 평가 요소들에 초점을 맞추어 사전에 정해진 평가 기준을 따름).

 

HPE 교육 프로그램은 소속 기관 및 교육 환경에 따라 근본적으로 다를 수 있기 때문에, 우리의 프레임워크는 프로그램 평가자들이 개별 프로그램의 특성을 반영할 수 있도록 평가 차원을 설계할 수 있는 유연성을 제공한다. 더 나아가, 교육 프로그램을 복잡한 사회-기술 시스템(complex socio-technical systems)으로 개념화함으로써, 프로그램 내에서 발생하는 다양한 상호작용이 창발적 요소로 이어지는 과정을 분석하는 데 도움을 줄 수 있다.

 

We designed our proposed systems engineering programme evaluation framework to help evaluators capture the planned and emergent elements described by Haji et al. We developed a basic educational ADS to serve as the starting point for evaluators before they create a programme-specific ADS. By specifying the programme iteratively using the ADS, evaluators create a robust representation of the system, which is key in distinguishing it from the other programme evaluation frameworks used in HPE, where evaluation parameters are predefined (e.g. CIPP has a very specific focus). Educational programmes in HPE can be fundamentally different depending on the institution or setting in which they are embedded; hence, we feel our framework provides programme evaluators with another way to shape the dimensions of their analysis to capture a programme’s unique characteristics. Furthermore, by conceptualising educational programmes as complex socio-technical systems, our framework will help evaluators attend to how possible interactions in a programme may lead to emergent elements.

우리는 HPE에서 사용되는 기존 평가 프레임워크들이 창발적 결과(emergent outcomes)를 포착하는 것을 목표로 한다는 점을 인정한다. 그러나 우리의 프레임워크는 창발적 과정(emergent processes)과 창발적 결과(emergent outcomes) 모두를 포착할 수 있도록 설계된 점에서 차별화된다.

 

또한, 우리는 평가 방법을 구체적으로 규정하는 것을 피했다. 그 이유는 ADS를 개발하거나 프로그램의 창발적 요소를 포착하는 "단 하나의 방법(one way)"은 존재하지 않기 때문이다. 이 논문에서 제시한 **가상의 사례(hypothetical case)**는 독자가 우리의 프레임워크를 활용하여 도출할 수 있는 최종 결과물을 시각적으로 이해하는 데 도움을 주기 위한 것이다.

 

표 2(Table 2)에서 수행한 평가 프레임워크 비교 분석을 통해, 평가자들은 자신의 평가 목적, 프로그램의 수명 주기, 사용 가능한 자원, 이해관계자의 참여 여부, 그리고 기대하는 평가 결과의 깊이와 범위를 고려하여 적절한 평가 프레임워크를 선택할 수 있도록 돕고자 했다.

 

우리는 평가자들이 하나의 평가 프레임워크만을 선택하기보다는, 둘 이상의 프레임워크를 결합하여(blended approach) 다양한 원칙, 도구, 방법을 활용할 가능성이 높다고 본다. 이러한 접근 방식에서, 우리의 프레임워크는 창발적 요소를 개념화하는 새로운 방법을 제공하며, 기존 접근법과 상호 보완적으로 적용될 수 있다.

 

We are aware that other evaluation frameworks used in HPE aim to capture emergent outcomes, and for those our framework provides methods aimed at capturing emergent processes as well as emergent outcomes. We avoided prescribing specific methods for our programme evaluation framework because we understand that there is no ‘one way’ of creating an ADS or of capturing a programme’s emergent elements. Our hypothetical case was a constructed example to help the reader visualise the final product that might be generated using our framework. Our comparison in Table 2 aimed to help evaluators choose which framework to use, and to emphasise that their decision should be based on the purpose of the evaluation, where the programme is at in its lifecycle, the resources available, the willingness and ability of stakeholders to participate in the evaluation, and the depth and breadth of the expected evaluation outcomes. We expect that evaluators might choose two or more frameworks to use in a blended approach, selecting principles, tools and methods to address their evaluation question. We believe our framework adds a unique and complementary conceptualisation of emergent elements to such a blended approach.

향후 연구 방향 (Future research directions)

우리의 방법론은 **추가적인 정교화(refinement)**가 필요하다.
이를 위해, 향후 연구에서는 다양한 시스템에서 여러 유형의 프로그램을 평가할 때, 우리의 프레임워크가 어떻게 적용될 수 있는지 분석해야 한다.

특히, 다음과 같은 연구가 필요하다.

  1. 데이터 수집 원천(data sources)의 명확화 및 정교화
    • 평가자들이 창발적 요소를 포착하기 위해 어떤 유형의 데이터(qualitative, quantitative)를 수집해야 하는지를 보다 구체적으로 정의해야 한다.
  2. 분석 방법 및 결과 해석 방식의 발전
    • 창발적 요소를 분석하는 방법을 체계적으로 확립하고,
    • 분석 결과를 교육 프로그램 개선에 적용하는 절차(translating results into recommendations)를 개발할 필요가 있다.
  3. 정량적 데이터의 역할 분석
    • 현재 우리의 프레임워크는 질적 데이터(qualitative data) 중심으로 구성되어 있지만,
    • 향후 연구에서는 훈련생의 성적, 낙제율, 출석률과 같은 정량적 데이터(quantitative data)가 ADS 개발 및 창발적 요소 분석에 미치는 영향을 연구할 필요가 있다.

궁극적으로, 우리의 연구 목표는 HPE에서 시스템 엔지니어링 기반 프로그램 평가의 최적 실천(best practices)을 정의하는 것이며, 이를 통해 "창발성(emergence)"이 HPE 연구에서 유용한 개념으로 자리 잡을 수 있도록 기여하는 것이다.

 

Our methods will need to be refined. Further research should apply principles from our framework to evaluate a variety of programmes in different systems, and to clarify and refine the sources of data collection, the methods of analysis and the processes for translating results into recommendations. We believe a body of research will help to further refine how we define emergence, which will help evaluators understand the dynamics of their programmes in HPE. Further research should also analyse the impact of including quantitative data (e.g. trainees’ grades, number of fails and attendance) when developing the programme-specific ADS, and when analysing the data to generate emergent processes and outcomes. Ultimately, our research goal is to define a set of best practices for systems engineering informed programme evaluation in HPE, while also advancing our understanding of ‘emergence’ as a useful construct in HPE research.

 

Rojas, D., Grierson, L., Mylopoulos, M., Trbovich, P., Bagli, D., & Brydges, R. (2018). How can systems engineering inform the methods of programme evaluation in health professions education?. Medical Education, 52(4), 364-375.

 

 

'논문 읽기 (with AI)' 카테고리의 다른 글

Mediverse의 탄생: 가상 클리닉이 의료 공간을 어떻게 재구성하는가 (Adv Health Sci Educ Theory Pract. 2025)  (0) 2025.03.08
훈련 중인 의료 전문가들의 (비)동기부여적 상호작용 스타일 이해: 프로파일 접근법 (Adv Health Sci Educ Theory Pract. 2025)  (0) 2025.03.06
불확실성 수용력은 부수적 현상인가? (Med Educ, 2022)  (0) 2025.03.02
경쟁하는 담론, 논쟁적인 역할: 의학교육에서의 전자 건강 기록(EHR) (Med Educ, 2024)  (0) 2025.02.27
비교를 넘어서: 실험적 교수 설계 연구의 영향력 있는 접근  (0) 2025.02.27

+ Recent posts

티스토리툴바