더 많고, 더 나은 피드백을 부탁해: 학습 분석 대시보드(LAD)는 사악한 문제에 대한 해결책인가? (Adv Health Sci Educ Theory Pract. 2025 )

Adv Health Sci Educ Theory Pract. 2025 Feb;30(1):69-85. doi: 10.1007/s10459-024-10358-8. Epub 2024 Aug 26.

More, better feedback please: are learning analytics dashboards (LAD) the solution to a wicked problem?

Simon Kitto 1, H L Michelle Chiang 1, Olivia Ng 1, Jennifer Cleland 2 3

 

 

 

📊 "더 많고, 더 나은 피드백을 주세요!" LAD는 과연 정답일까요?

안녕하세요! 오늘은 의학교육(Health Professions Education)에서 뜨거운 감자인 학습 분석 대시보드(LAD)에 대해 아주 날카로운 질문을 던지는 논문 하나를 함께 살펴보려고 해요. 논문 제목부터 심상치 않죠?

"More, better feedback please: are learning analytics dashboards (LAD) the solution to a wicked problem?"

 

우리는 흔히 "학생들에게 데이터를 시각화해서 보여주면(LAD), 자기 주도적으로 학습하고 성적도 오르겠지?"라고 기대하잖아요. 그런데 이 연구진은 "잠깐, 그렇게 단순한 문제가 아니야"라고 말합니다.

🧐 기술 사회(Technological Society)의 눈으로 본 LAD

이 논문의 핵심은 LAD를 단순한 '도구'가 아니라, 학생들을 통제하고 형성하는 '정치적 기술(Political Technology)'로 바라본다는 점이에요. 좀 어렵게 들릴 수 있지만, 쉽게 말해서 "대시보드가 학생들에게 은근히 압박을 주고, 정해진 모범생처럼 행동하게 만든다"는 뜻이죠.

연구진은 LAD가 본질적으로 정치적이라고 말합니다.

"이 렌즈를 사용하면, LAD는 본질적으로 정치적인 것으로 개념화되며, 개인이 스스로를 처신할 수 있는 가능성의 조건을 창출한다는 푸코적인 의미에서 통치의 기술로 기능합니다."

"Using this lens, a LAD is conceptualised as being inherently political, and functions as a technology of governing in the Foucauldian sense of creating the conditions of possibility in which individuals can conduct themselves."

👁️ 전자 판옵티콘(Electronic Panopticon): 나를 지켜보는 눈

LAD는 학생의 성적, 출석, 클릭 수까지 보여줍니다. 이게 마치 감옥의 판옵티콘(Panopticon)처럼 학생들을 감시하고, 다른 학생들과 비교하게 만들어서 '정상적인(Normal)' 범주에 들어가도록 압박한다는 거예요. 학생들은 "아, 내가 로그인을 덜 했네? 빨리 접속해서 성실한 학생임을 증명해야지"라고 생각하게 되죠. 연구진은 이것을 일종의 정규화(Normalization) 과정이라고 봅니다.

🤖 블랙박스(Blackbox)가 된 알고리즘

더 큰 문제는 AI나 머신러닝이 도입되면서 피드백 과정이 '블랙박스(Blackbox)'가 되어버린다는 점이에요. 왜 내 성적이 위험군(At-risk)인지, 왜 이 공부를 더 하라고 추천(Recommendation)하는지 학생은 알 길이 없어요. 그냥 기계가 시키는 대로 따르게 되죠.

 

연구진은 이 부분에 대해 아주 강력하게 경고합니다.

"본질적으로, LAD 피드백 기능의 완전 자동화 사례에서, 선진 자유주의 기술 사회의 '전문가' 역할은 맥락에 기반한 해석이 배제된 비인간 알고리즘인 자동화된 피드백 기능에 위임되고 있습니다."

"In essence, in instances of the full automation of the feedback function in the LAD the role of ‘expert’ in advanced liberal Technological society is being delegated to the automated feedback functions, to non-human algorithms divorced of interpretation informed by context."

 

이렇게 되면 학생들은 비판적인 사고 없이 기계의 추천을 맹신하거나, 반대로 자신의 현실과 맞지 않는 데이터 때문에 시스템을 불신하게 될 수도 있습니다.

💡 결론: 기술적 해결책(Technical Fix)은 없다

그래서 결론이 뭐냐고요? LAD를 쓰지 말자는 게 아닙니다. 다만, 기술이 모든 걸 해결해 줄 거라는 '기술적 해결책(Technical Fix)'의 환상에서 벗어나야 한다는 거죠.

이 논문의 가장 핵심적인 메시지를 인용하며 마무리할게요. 우리가 고민해야 할 건 '더 많은 피드백'이 아니라 '적절한 피드백'입니다.

"피드백에 관한 핵심적이고 진행 중인 질문은 더 많은 피드백이라는 문제에 대한 '기술적 해결책'을 만드는 것이 아니라, 학습자와 그들의 학습 상황에 대한 적절한 피드백의 본질, 타이밍 및 배포에 우리의 관심이 집중되어야 합니다."

"The core and ongoing question concerning feedback does not concern the creation of a ‘technical fix’ to the problem of more feedback..., rather our attention should be focused on the nature, timing and deployment of appropriate feedback to the learner and their learning situation."

 

결국 우리는 시스템을 설계하는 게 아니라, 미래의 의사라는 '사람을 설계(Designing of people)'하고 있다는 사실을 잊지 말아야겠습니다. 🏥

---

 

서론 (Introduction)

 

효과적인 피드백(Effective feedback)은 오랫동안 효과적인 학습(effective learning)을 위한 근본적인 촉매제(fundamental catalyst)로 인식되어 왔습니다(Butler & Winne, 1995; Hattie & Timperley, 2007). 그러나 고등교육(higher education) 및 보건의료전문직교육(health professions education, HPE)의 학습자들은 지속적으로 피드백에 불만족(dissatisfied)해하며 피드백 제공이 불충분하다고 보고하는데, 이는 지도교수(supervisors)들에 의해 지속적으로 반박되는 개념이자 피드백 전달(feedback delivery)을 개선하기 위한 많은 개입(interventions)들이 이를 바로잡는 데 완전히 성공하지 못했다는 것을 의미합니다(Boud & Molloy, 2013; Carless, 2006; Deeley et al., 2019; Ossenberg et al., 2019).

 

교육 기술(educational technologies)과 학습 데이터 분석(learning data analytics)의 발전은 학습자에게 개별화된 피드백(personalised feedback)을 효율적으로 구조화하고 전달할 수 있는 새로운 기회를 제공합니다. 실제로 지난 수십 년 동안, 고등교육 문헌은 교육 기술이 강사(lecturers)와 학생(students) 사이의 관계를 재구성하고 학생 학습의 학습 행동(learning behaviour) 자체를 변화시킬 잠재력이 있으며 이미 변화시키고 있다는 비판적 논평과 연구로 특징지어졌습니다(Kitto, 2003). 고등교육 및 보건의료전문직교육(HPE)에서 학습 분석(learning analytics), 머신 러닝(machine learning), 인공지능(artificial intelligence, AI)과 같은 교육 기술의 잠재력은 낙관적인 주의(optimistic caution)로 다루어지고 있습니다(Kitto et al., 2024). 그러나 이 문헌에서 주로 부재한 것은 이러한 기술적 도구(technological tools)들의 본질을 사회 질서(social order)의 조직, 더 구체적으로는 보건의료전문직교육(health professions education) 그 자체의 수행(conduct) 내에서 그것들이 갖는 더 큰 역할의 관점에서 이론화(theorization)하는 것입니다.

 

우리의 초점은 학생 대면형(student-facing), 기술 매개형(technology-mediated) 학습 분석 대시보드(learning analytics dashboards, LADs)라는 하나의 특정 학습 기술(learning technology)에 있습니다. 고찰(Reflections) 기고문으로서, 이 논문은 서론, 방법, 결과 및 고찰이라는 전통적인 과학적 형식(scientific format)을 따르지 않습니다. 대신 이것은 오랜 시간에 걸쳐 이루어진 많은 논의의 요약이며, 광범위한 문헌을 참조하고 우리가 국지적으로 LAD를 개발하고 구현하는 과정의 일부로서 씨름해 온 많은 고려 사항들을 담고 있습니다.

 

LAD는 문헌 내에서 피드백 개입(feedback intervention)으로 위치 지어지며(Clow, 2013), 일반적으로 다음과 같이 제시됩니다: "학습자, 학습 과정 또는 학습 맥락에 대한 다양한 지표(indicators)를 하나 또는 여러 시각화(visualizations)로 집계한 단일 디스플레이(single displays)"로서 정보를 한눈에 모니터링할 수 있도록 합니다(Schwendimann et al., 2017).

• 가장 기본적인 형태의 LAD는 학습자의 진척도(progress)에 대한 개요를 제공하기 위해 기술적 분석(descriptive analytics)을 사용하는 반면,
• (이 논문 작성 시점의) 최신 LAD는 여러 데이터 소스(예: 평가(assessment), 출석(attendance), 임상 술기 체크리스트 데이터(clinical skills checklists data) 등)와 여러 분석 수준(analytical levels)을 통합합니다(e.g., (Few, 2007); see also (Boscardin et al., 2018), 추후 논의됨).

 

우리가 LAD를 무엇으로 정의하는지 설명하기 위해, 우리는 문헌에서 발견된 그림과 설명, 그리고 가능한 LAD 설계 가능성의 혼합물(amalgam)로 우리가 만든 '사례 연구(case study)' 예시들을 조합하여 활용했습니다(LAD의 예시는 Fig. 1 참조).

 

Fig. 1 학생 진척도에 대한 포괄적이고 시각적인 개요를 제시하는 의학교육에서의 학습 분석 대시보드(LAD) 예시 (Boscardin et al., 2018)

 

• 학습자들에게 LAD는 시각화(visualization)를 통해 자기 성찰적 학습(self-reflective learning)을 촉진하고, 주요 수행 순간(key performance moments)을 강조하며, 종종 개인의 성과를 학급 평균(class averages)과 비교하는 것으로 가정됩니다(Susnjak et al., 2022).
• 교수자(instructors)들에게 LAD는 학습자의 성과와 진척도에 대한 통찰력(insights)을 구성하여 학업 지도(academic advising) 및 학습 계획 개발을 지원합니다(Gutiérrez et al., 2020). 일부 LAD는 예측 머신 러닝 알고리즘(predictive, machine learning algorithms)을 사용하여 위험군(at-risk)임을 나타내는 잠재적으로 문제가 있는 행동을 감지하고, 식별된 학업 문제를 기반으로 한 교정(remediation) 제안과 같은 학업적 권장 사항(academic recommendations)을 생성하기도 합니다.
• 기관 수준(institutional level)에서, LAD로부터 수집된 데이터는 규제(regulatory) 또는 인증(accreditation) 요구를 충족시키는 교육 전략의 맞춤화(customisation)를 지원할 수 있습니다.

요약하자면, 학생 성과에 대한 여러 데이터 소스와 분석 수준을 통합함으로써 LAD는 학생들의 학습 과정에 대한 더 깊은 이해와 더 나은 촉진(facilitation)을 제공하고, 의사소통을 강화하며, 의사결정(decision-making)을 지원하고, 학습자와 교수자 모두를 위한 학업 성과(academic outcomes)를 향상시키도록 되어 있습니다(Bodily & Verbert, 2017; Masiello et al., 2024). 간단히 말해, LAD는 질 높은 피드백(high quality feedback)을 제공하거나 제공한다고 주장됩니다.

 

일반적으로 LAD 문헌은 대시보드 아키텍처 및 구성 요소(Bodily et al., 2018), 설계 및 기술적 고려 사항, 구현에서 얻은 교훈(Durojaiye et al., 2018; Herodotou et al., 2019)에 초점을 맞추어 꽤 제한적이었습니다. 또한 LAD의 정확성과 효과성을 향상시키기 위해 대시보드 콘텐츠 및 시각화와 학습 과학(learning science) 개념을 연결하는 필요성과 방법(Sedrakyan et al., 2019; Teasley, 2018), 그리고 보건의료전문직교육(HPE)에서의 LAD 개발 및 구현(Boscardin et al., 2018)에 집중해 왔습니다. 더 넓은 문헌에는 최근 몇 가지 예외가 있지만(e.g., (Paulsen & Lindsay, 2024)),

• 전체적으로 볼 때 현재까지의 이 연구 분야는 LAD의 가능성을 도구적이고 기계적인 방식(instrumental mechanistic manner)으로, 즉 피드백에 대한 효율적이고 다소 무해한(benign) 기술적 접근 방식(technological approach)으로 프레임화하는 경향이 있습니다(Banihashem et al., 2022).
• LAD가 학습자의 성과와 동료, 교수자 또는 그들이 등록된 교육 기관과의 관계에 어떤 역할과 영향(role and effects)을 미칠 수 있는지에 대한 비판적 분석(critical analyses)은 거의 전무합니다.
• 오히려 문헌은 유혹적인 어조(seductive tone)를 띠며, 피드백(Deeley et al., 2019)과 같은 교육적 '사악한(wicked)' 문제(Rittel, 1973)들이 의도하지 않은 결과(unintended consequences) 없이 기술적 인공물(technological artifact, 즉 LAD)의 적용을 통해 해결될 수 있다는 믿음에 기반하여, LAD가 '기술적 해결책(technical fix)'의 모든 약속을 제공할 수 있음을 시사합니다(Robins & Webster, 1989).

우리는 기술 사회(technological society)라는 렌즈(lens)를 사용하여 문헌의 이러한 공백을 해결하고자 합니다(Barry, 2001). Barry의 발견적 프레임워크(heuristic framework)를 LAD와 의학교육의 통치(governing) 사이의 관계를 탐구하기 위한 개념적으로 일관된 수단으로 사용하여, 우리는 LAD가 가질 수 있는 역할과 영향, 그리고 그것들이 학생과 교수자에게 어떻게 직접적으로 작용할 수 있는지에 대한 논의를 엽니다.

• 먼저, 우리는 기술 사회(Technological Society)의 개념을 개괄하고 이를 정보 기술, 이 경우에는 LAD를 통한 의대생들의 자기 통치(self-governance)를 장려하려는 명시적인 의제(explicit agenda)와 연결합니다.
• 우리는 이 개념적 프레임워크를 사용하는 것이 의대생 집단에 대한 LAD의 기능 및 배포(deployment) 이면에 있는 가정(assumptions)들의 잠재적 영향을 풀어내는 데 어떻게 기여할 수 있는지 보여줄 것입니다.
• 구체적으로, 우리는 기술적 장치(technical device)로서의 LAD가 기술, 학생, 강사 간의 학습 관계를 형성하는 데 있어 어떻게 정치적 기술(political technology)로 작용하는지(뒤에서 설명), 그리고 이렇게 재형성된 관계가 학생 행동에 미칠 수 있는 파급 효과(downstream effects)를 고려할 것입니다.
• 그렇게 하기에 앞서, 우리는 이 주제에 대한 우리의 관심에 대해 성찰합니다.

 

우리의 위치성 (Our positionality)

 

위치성(Positionality)은 "연구자가 주어진 연구 내에서 채택하기로 선택한 위치를 반영"합니다(Savin-Baden & Major, 2013, p.71). 이는 연구가 수행되는 방식, 그 성과(outcomes), 그리고 결과(results) 모두에 영향을 미칩니다(Rowe, 2014). 이 연구는 초기에 의학 학부 학위 프로그램(MBBS)에 프로그램 기반 평가(programmatic assessment, PA)(Schuwirth & Van der Vleuten, 2011)를 도입하고 다양한 소스에서 수집된 평가 정보를 LAD를 통해 학습자에게 제시하는 것에 대한 지속적이고 국지적인 논의에서 개발되었습니다. 이 과정의 일환으로 우리는 LAD에 관한 광범위한 문헌에 접근했으며, 그 비판성(criticality)과 이론화(theorization)의 결여에 놀랐습니다.

 

우리는 이 문헌에 대한 우리의 위치와 관계, 그리고 (이 기사 초안 작성 당시 아직 완료 및 평가되지 않은) 국지적 목적을 위해 LAD를 개발하는 초기 단계의 "현장(on-the-ground)" 경험을 우리의 학문적 배경(심리학이지만 의학교육 분야 종사 [JC], 사회학 [SK], 공학 [ON], 영어 [MC]), 보건의료전문직교육의 평가 및 피드백, 그리고 학습 분석에 대한 지식 수준과 관점에 비추어 지속적이고 비판적으로 고려했습니다. 예를 들어, ON의 역할 중 상당 부분은 지역적으로 LAD의 개발 및 구현을 지원하는 것이었으므로, 그녀는 학습 분석 및 그 시각화의 가능성과 한계에 대한 많은 이해를 가져왔습니다. JC, MC, SK는 기술적 전문 지식은 적었지만 더 "외부자적(etic)"이고 비판적인 견해를 가지고 있었습니다.

 

 

기술 사회 내에 LAD 위치시키기 (Positioning LADs within a technological society)

 

정보 기술(information technologies)과 현대 서구 사회의 통치(governing) 사이의 관계는 널리 탐구되어 왔습니다. 30여 년 전, 현대 사회에서의 권력 작동에 관한 미셸 푸코(Michel Foucault)의 아이디어와 저작에 영감을 받아, 피터 밀러(Peter Miller)와 니콜라스 로즈(Nikolas Rose)(Miller & Rose, 1990; Rose & Miller, 1992)는 정치적 합리성(political rationalities)과 통치 기술(technologies of government)의 본질에 대한 설명을 통해 정보 기술의 인프라적 성격(infrastructural nature)을 암시했습니다. 정치적 합리성은 권력이 행사되고 그 권력 행사에 대한 도덕적 정당화(moral justifications)가 이루어지는 담론(discourses)입니다(Rose & Miller, 1992). 통치의 문제가 되는 측면(예: 피드백의 질과 양에 대한 학생의 불만)이 식별되면, 정치적 합리성은 사회 부문을 바람직하고 구현 가능한 형태로 형성하는 통치 기술(technologies of government)로 번역됩니다(Miller & Rose, 1990). 이러한 기술을 통해, 권위(authority)는 자신의 목표와 욕망(예: 피드백이 전달되는 방식을 지시하기 위해 특정 방식으로 LAD를 설계하거나, 학습자가 직장에서 유능한 전문가가 되기 위한 지식과 기술을 습득하기 위해 대시보드와 상호작용하는 방식)을 달성하면서 "타인의 처신(conduct), 사고, 결정 및 열망을 형성, 정규화(normalize) 및 도구화(instrumentalize)"하려고 합니다(Miller & Rose, 1990, p.8).

 

앤드류 배리(Andrew Barry)의 기술 사회(Technological Society) 개념은 정보 기술을 통치의 중심에 두는데, 여기서 시민들은 이제 자신의 삶의 수행에 있어 선택(choices)을 극대화하고 숙달(mastery)과 자기 책임(self-responsibility)을 증명하기 위해 기술을 능동적으로 사용하고 상호작용해야 합니다(Barry, 2001). 이 렌즈를 사용하면, LAD는 본질적으로 정치적(political)인 것으로 개념화되며, 개인이 스스로를 처신할 수 있는 가능성의 조건(conditions of possibility)을 창출한다는 푸코적인 의미에서 통치의 기술로 기능합니다(Foucault, 1991; Hamann, 2009). 기술 사회에 LAD를 위치시키는 것은 그 이중적 본질(dual nature)을 강조합니다:

‘…물질적 또는 비물질적 인공물로 생각되는 기술적 장치(technical device)이자, 고립된 장치뿐만 아니라 그것의 사용을 가능하게 하는 지식의 형태, 기술(skill), 도표(diagrams), 차트, 계산 및 에너지를 지칭하는 개념인 기술(technology)’ (Barry, 2001, p.9) (see also (Akrich, 1992; Deleuze, 1988)).

 

기술적 역량(통치적)을 가진 도구적 물질 대상으로서의 기술적 장치라는 이 개념과 그것이 행동으로 번역될 때의 가변성(mutability)은 교육 전달의 사회-기술적 구성(socio-technical configurations), 교수진의 사용, 그리고 고등교육 부문 내 학생들의 수용 및 사용을 연구하는 데 활용되어 왔습니다. 이러한 연구들은 기술적 장치의 의도하지 않은 효과들을 발견했는데, 그 범위는 학습 및 평가

• 과정에서의 학생들의 부도덕한 행동(purportedly unethical behaviour),
• 학생·교수진·대학 간 관계의 재조직(re-organisation),
• 교육 기술과 관련된 학생 자유의 반어적 수행(ironic performances), 그리고
• 때로는 학생 행동의 부정적 재현(adverse re-representation)과 그에 수반되는 학생 주체성(subjectivity)(즉, '착한' 또는 '나쁜')의 구성에까지 이릅니다(Kitto, 2003; Kitto & Higgins, 2003, 2009, 2010; Kitto & Saltmarsh, 2007).

예를 들어, 1990년대 후반 고등교육 부문에서 온라인 교육의 도래를 생각해 보십시오.

• 거리의 폭정(tyranny of distance)을 극복하여 교육을 민주화하고 성인 학습자들의 평생 학습(lifelong learning)을 촉진하기 위해 설계된 온라인 교육은 고등교육 전달에 영향을 미치는 사회의 많은 변화들(세계화의 위협, 교육 전달을 위한 정보 기술 사용 증가, 평생 학습 강조, 인구 통계 변화, 학생들의 요구/선택)에 대한 해결책으로 위치 지어졌습니다. 이전에 권리를 박탈당했던 학습자들(풀타임 근로자, 시골 빈곤층)은 이제 자신의 시간 프레임에 맞춰 더 비용 효율적으로 원거리에서 최상위권 고등교육에 접근할 수 있게 되었습니다(Robins & Webster, 2002).
• 그러나 그러한 기술적 장치들은 원거리에서 정치적 프로그램을 실행(enact)할 수 있는 반면, 의도한 정치적 목표에 반하는 결과를 초래할 수도 있습니다(Barry, 2001). 온라인 교육 부문에서 이것은 평판이 나쁜 '디지털 학위 공장(digital diploma mills)'(Noble, 1998)의 부상이라는 형태를 취했으며, 이는 여전히 전 세계적으로 해당 부문을 괴롭히는 평판 손상(reputational damage)으로 이어졌습니다.

 

보건의료전문직교육에서의 학습 분석 대시보드 (Learning analytics dashboards in health professions education)

 

LAD는 학습자의 허브(hub)에서 시각화된 평가 데이터 포인트(assessment data points)를 통합하여 학습자의 진척도에 대한 전체론적 관점(holistic view)을 제공한다고 여겨집니다(Boscardin et al., 2018). 주장은 LAD가 평가(총괄평가 및 형성평가), 출석, 임상 술기 체크리스트 데이터 등을 통합함으로써 학습자와 교육자가 개별 학습자의 성과를 더 잘 이해하도록 촉진한다는 것입니다. 역량(competencies)과 평가(assessment) 사이의 연결을 시각화할 수 있는 능력은 표면적으로는 인증(accreditation) 요구에 기반한 교육 전략의 맞춤화(customisation)를 가능하게 합니다(Chan et al., 2018). 이러한 능력은 기술적(descriptive), 진단적(diagnostic), 예측적(predictive), 처방적(prescriptive) 분석을 포함한 다양한 수준의 학습 분석을 통해 가능해지며, 각 수준은 데이터 패턴에 대한 고유한 통찰력을 제공하고 정보에 입각한 의사결정을 촉진합니다. 우리는 이러한 다양한 수준의 학습 분석을 차례로 논의합니다.

 

 

진단적 및 기술적 분석: 기술 사회 내의 판옵티콘적 기법 (Diagnostic and descriptive analytics: a panoptic technique within a technological society)

 

피드백의 가장 일반적이고 단순한 기능과 형태는 기술적 분석(descriptive analytics)입니다. 예를 들어, (Han et al., 2021)은 학생들에게 그들의 참여 수준(engagement levels)과 동료와의 상호작용을 알려주는 학생 대시보드를 개발했습니다. 진단적 분석(diagnostic analytics)은 일반적으로 데이터 내의 패턴과 추세를 식별하여 어떤 일이 왜 발생했는지에 대한 통찰력을 제공함으로써 기술적 분석에 추가적인 차원을 더한다고 여겨집니다. 예를 들어, (Aljohani et al., 2019)은 학습 관리 시스템(LMS)의 로그 데이터(log data)를 활용하여 학생의 행동 패턴과 태도를 밝혀내는 LAD를 제시했습니다. 이는 각 학생의 참여 수준을 동료들의 수준과 비교하여, 학급 평균 및 최상위 성과 동료들과의 비교와 함께 개인화된 학습 통계를 제공함으로써 자기 인식(self-awareness)을 증진하고 성과 평가를 지원했습니다.

 

이러한 기능들에 기술 사회(technological society) 렌즈를 적용하면 세 가지 정치적 기능과 통치 기법(techniques of government)의 발현이 강조됩니다:

• (1) 기술 사회에서 학생들이 기술적 수단을 통해 자기 통치적(self-governing) 방식으로 상호작용(interact)할 것이라는 개념은 핵심적인 정치적 합리성입니다.
• (2) 이러한 상호작용을 통해 그들은 스스로를 작업(work on themselves)하기 위해 기술적 중개자(technological intermediaries)를 통해 자신을 알게 될 것으로 기대됩니다.
• (3) 이를 위해 그들은 다른 사람들, 기관들, 그리고 지식의 형태들과의 확장된 연결망(web of connections) 속에 자신을 위치시킴으로써 그 상호작용을 지시해야 합니다(Barry, 2001).

이 경우, LAD는 진단적 기능과 기술적 기능을 결합함으로써 이미 그들을 그러한 연결망 속에 위치시킵니다. 학생의 성과에 대한 소위 고충실도(high-fidelity) 데이터가 분석되고, 편집되며, 시각적 형태로 (재)현((re)represented)되어 개별 성과와 그들의 진척도가 학생 집단(class of students)과의 관계 속에서 어디에 위치하는지를 보여줍니다(Fig. 2 참조).

 

이러한 측면에서, LAD는 푸코적 판옵티콘(panopticon), 즉 '전자 판옵티콘(electronic panopticon)'의 모든 특징을 포함하고 있습니다(Kitto, 2003):

그것은 개별 행동을 비교의 장(field of comparison)이자, 구별의 공간(space of differentiation)이며, 따라야 할 규칙의 원칙인 전체(whole)로 참조합니다. 그것은 개인들을 서로 구별합니다…. 그것은 개인의 능력, 수준, '본성'을 양적 용어로 측정하고 가치의 측면에서 위계화(hierarchises)합니다. 그것은 이 '가치 부여(value-giving)' 척도를 통해 달성해야 할 순응(conformity)이라는 제약을 도입합니다.. 그것은 비교하고, 구별하고, 위계화하고, 균질화(homogenizes)하고, 배제(excludes)합니다. 요컨대, 그것은 정규화(normalizes)합니다. (Foucault, 1977, p.182–183).

 

1. "개별 행동을 비교의 장이자, 구별의 공간이며... 전체로 참조합니다." 쉬운 뜻: "너 혼자 공부하는 게 아니다. 너의 점수는 **'우리 반 전체 평균'**이라는 거대한 기준 속에서만 의미가 있다." 상황: 대시보드에 내 점수만 나오는 게 아니라, **'학급 평균'**이나 **'상위 10%의 그래프'**가 같이 뜹니다. 내 행동은 이제 나만의 것이 아니라, 남들과 비교당하는 데이터가 됩니다. 2. "개인들을 서로 구별합니다... 양적 용어로 측정하고 위계화합니다." 쉬운 뜻: "너는 1등, 쟤는 꼴등. 너는 출석률 90%, 쟤는 50%. 숫자로 **등급(위계)**을 매긴다." 상황: 학생의 성격, 창의성, 잠재력 같은 복잡한 '본성'은 싹 무시되고, 오로지 **점수, 접속 횟수, 과제 제출률 같은 '숫자(양적 용어)'**로만 평가받습니다. 이 숫자로 우등생과 열등생이 **계급(위계)**처럼 나뉩니다. 3. "순응이라는 제약을 도입합니다... 균질화하고... 정규화합니다." 쉬운 뜻: "남들만큼은 해야지? 튀지 말고 **표준(Normal)**에 맞춰라." 상황: 내가 만약 평균보다 로그인 횟수가 적다면? 불안해서 괜히 더 접속하게 됩니다. 반대로 너무 튀는 행동을 하기도 어렵습니다. 결국 학생들은 대시보드가 보여주는 '이상적인 학생의 모습'에 맞춰 비슷비슷해집니다(균질화). 정규화(Normalizes): 여기서 'Normal'은 '평범하다'는 뜻이 아니라, **'정상 범주(규범) 안에 들어오게 만든다'**는 뜻입니다. 시스템이 정한 '정상 학생'의 기준에 나를 끼워 맞추게 된다는 거죠. 4. "배제합니다." 쉬운 뜻: "기준에 못 미치면 넌 아웃이야." 상황: 이 숫자 기준(정규 분포)에 들어오지 못하는 학생(예: 성적은 낮은데 창의적인 학생, 접속은 안 하지만 혼자 공부 잘하는 학생)은 **'위험군(At-risk)'**이나 **'부적응자'**로 낙인찍혀 시스템 밖으로 밀려납니다.

 

Fig. 2 가상의 LAD에 제시된 개인 - 코호트 비교 (Individual - Cohort comparison)

 

LAD는 의과대학 대표자들이 필요할 때 학생 개입(interventions)을 수행할 수 있도록 이러한 유형의 '정규화 시선(normalising gaze)'을 제공함과 동시에, 학생에게는 코호트 내에서의 자신의 '정상성(normality)'에 대한 그림을 제공하도록 설계될 수 있습니다(Fig. 2 참조). LAD, 혹은 더 정확하게는 LAD에 의해 제시된 데이터는, 학교에 의한 개입, 학생 스스로에 의한 고립된 개입, 또는 학생 성과를 향상시키기 위해 서로 협력하는 개입의 출발점으로 작용할 수 있습니다.

 

학생 인구 집단을 정규화하기 위해 기술적 수단을 통해 교육에 판옵티콘적 기법을 구성한다는 이 개념은 학문적으로 잘 다져진 길입니다(Foucault, 1977; Kitto, 2003). 여기서 새로운 점은 기술 사회 렌즈를 통해 볼 때, 기술 사회에서의 정보 통신 기술(information communication technologies)을 통한 통치 조건 하에서 판옵티콘적 기법들의 결합이 갖는 문제적 측면이 명백해진다는 것입니다. 이제 여러 형태의 데이터가 연결되어 학생 시험 성적뿐만 아니라 교과 과정 활동 내에서의, 그리고 LAD 자체와의 상호작용성(interactivity) 수준에 대한 '진단(diagnosis)'을 제공합니다.

• 학생들이 모든 활동을 완료하고 있는가?
• 그들은 자기 개선(self-improvement)을 추구하는 훌륭한 상호작용적 기술 학생-시민(interactive technological student-citizen)임을 증명하기 위해 충분한 빈도로 LAD와 상호작용하고 있는가(학생 로그 데이터로 가시화됨)? (Fig. 3 참조).

 

Fig. 3 가상의 LAD를 통해 시각화된 학생 로그 데이터 및 완료율

LAD는 푸코적인 규율 사회(disciplinary society)의 단순한 기법(너는 이것을 해야만 한다)이 아닙니다. 통치적인 기술 사회에서, 그것들은 규제된 선택(regulated choices)을 통해 학생들의 자기 통치 역량(self-governing capacities)(너는 이것을 할 수도 있다)을 창출하고자 하는 선진 자유주의 기술(advanced liberal technologies)입니다. 최적의 자기 통치(optimal self-governance)를 위한 가능성의 조건(Rose, 1993)은 학습자를 특정 방식으로 관리하고 형성함으로써 LAD에 의해 제공됩니다. 물론 LAD의 데이터가 통치하는 자들에 의해 어떻게 사용되는지는 의과대학 자체의 국지적인 문화적, 구조적 특이성(리더들의 성향, 인증 압력 등)에 달려 있습니다. 예를 들어, 술기 체크리스트를 완료하지 않은 '반항적인(recalcitrant)' 학생들에게 권장되는 교정 세션(remediation sessions)을 생각해 보십시오. 그러한 권장의 임계값(threshold)과 정확히 무엇이 권장되는지는 기관마다 다를 것입니다: 기술적 수단을 통한 통치는 항상 맥락에 구속(context bound)됩니다(Barry, 2001).

 

LAD에서의 예측적 및 처방적 분석 (Predictive and prescriptive analytics in LADs)

 

두 가지 기능 - 예측적(predictive) 및 처방적(prescriptive) 분석 - 은 복잡성의 층위를 더하며, LAD를 학생 인구와 개별 행동을 형성하는 단순한 판옵티콘적 기법 이상의 것으로 만듭니다. 그것들은 또한 학생-시민이 자기 통치를 할 수 있는 최적의 조건을 제공하는 방법에 대한 사고방식으로 포화되어 있으며, 학생-시민들은 적절히 자기 통치하기 위해 이를 탐색하는 법을 배워야 합니다.

 

선진 자유주의 통치(advanced liberal government) 하에서, '자유로운' 시민은 아이러니하게도 항상 자신의 성과뿐만 아니라 기관의 성과를 평가하는 기준을 설정하는 통치의 결합체(assemblages of governing) 내에서 시공간적으로 묶여 있습니다(의과대학 인증 기준 및 관행을 생각해 보십시오). 이를 위해서는 개인/기관이 적절히 자기 통치할 수 있는 탐색 시스템이 필요하며, 전문 지식(expertise)과 전문가(experts)가 필요합니다:

자신의 존재를 수행하는(conducting) 특정한 문명화된 방식들이 정상적인 것으로 식별되며, 동시에 그 기준(norm)을 정의하고 개인들에게 정상성을 성취할 삶의 방식들을 지도할 '인간 영혼의 엔지니어(engineers of the human soul)'들에게 묶여야 한다. (Rose, 1999, p.76).

 

예측적 및 처방적 분석을 통해 이 관계는 매우 복잡해집니다.

• 예측적 분석은 현재 또는 과거의 데이터를 사용하여 미래의 결과를 알립니다 – 종종 머신 러닝 알고리즘(machine learning algorithms)을 통해. 단순히 원시 로그 데이터(raw log data)를 제시하는 대신, 많은 대시보드는 머신 러닝 모델이나 알고리즘을 사용하여 이 정보를 처리하여 통찰력을 제공합니다(Afzaal et al., 2021; Gutiérrez et al., 2020).
  • 예를 들어, Herodotou et al. (2019)은 LMS 로그 데이터를 사용하여 학생의 과제 제출 및 과정 완료를 예측하고, "위험군(at risk)"으로 간주되는 학생들을 식별했습니다(see also (Gutiérrez et al., 2020; Mavrikis et al., 2019)) (이 마지막 항목은 선진 자유주의 사회에서의 지속적인 선점 관심사입니다).
• 처방적 분석(Prescriptive analytics)은 어떤 조치를 취해야 할지 결정하기 위한 해결책을 제공하는 것을 목표로 합니다. 그들은 종종 긍정적인 결과로 이어지는 잠재적인 조치를 추론하기 위해 예측적 분석을 활용하며, 주로 LMS와 같은 다양한 소스에서 수집된 데이터를 기반으로 한 권장 사항(recommendations)의 형태를 취합니다. 예로는 (Bodily et al., 2018)과 (Sansom et al., 2020)이 도입한 실시간 추천형(recommender-type) 대시보드가 있습니다.

앞서 언급했듯이, 기술 사회에서 선진 자유주의 통치 방식의 핵심 측면은 개인의 능동적이고 자기 책임적인(self-responsiblized) 처신을 위한 가능성의 조건을 창출할 수 있는 통치 프로그램(programmes of government)을 제정하는 것입니다(Barry, 2001). LAD의 예측적 및 처방적 기능과 통치 기술로서의 설계에 대한 위의 설명에서 흥미로운 점은, 이것이 겉보기에는 사회 조직의 두 가지 핵심 도표(diagrams)인 판옵티콘(panopticon)(Foucault, 1977)과 올리고옵티콘(oligopticon)(Latour, 2005) 사이의 모순적인 상호작용의 토대를 마련한다는 것입니다. 앞서 설명한 바와 같이,

• 판옵티콘은 분류(classification)와 판단(judgement)으로 특징지어지는 지속적이고 명확한 감시 시스템을 통해 개인화하고 정규화하는 정치적 기술입니다. 그것은 순응(compliance)을 주입하고 개인의 사회적, 경제적 효용(utility)을 극대화하기 위해 개인의 역량을 최적화함으로써 인구 집단을 통치합니다(Rose, 1999). 판옵티콘의 파노라마적 시야(panoramic view)(그리고 관찰당하는 자가 그 존재를 아는 것)는 올리고옵티콘과 극명하게 대조됩니다.
• 올리고옵티콘은 가장 작은 혼란에도 눈이 멀 수 있는 복잡하고 연결된 풍경에 대한 여러 개의 좁은 시야들(multiple narrow views)로 구성됩니다(Gad & Lauritsen, 2009). 본질적으로 취약한(fragile) "그들은 너무 적게 보지만… 그들이 보는 것은 잘 본다… (연결된) 전체에 대한 견고하지만 극도로 좁은 시야들은 연결이 유지되는 한 가능하다(Latour, 2005, p.181). 정보 기술 맥락에서, 올리고옵티콘적 '감시의 성공은 인간과 비인간(nonhumans)을 포함하는 상황에 위치한(situated), 협력적인 작업의 결과이다. 효과적인 감시는 개별 행위자에 의해 확립되는 것이 아니라 네트워크에 의해 수반된다'(Gad & Lauritsen, 2009, p.53).

LAD가 피드백의 메커니즘으로 배포될 때 이러한 연결의 취약성은 항상 존재합니다(everpresent). LAD의 소통 채널(communication channel) 또는 피드백 메커니즘 이면에 있는 논리를 좀 더 자세히 살펴봅시다. 목표는 피드백 프로세스의 전체 또는 부분 자동화(full or partial automation)와 간소화를 통해 개인화된 학습(personalized learning)을 향상시키는 것입니다. 일반적으로 목표는 의대 학위 과정과 같은 학습 프로그램 전체에 걸쳐 이를 종단적으로(longitudinally) 제도화하는 것이며, 레지던트 과정(대학원) 및 선발 과정으로 확장될 가능성도 있습니다. 아이디어는 이것이 자신의 의학교육 여정에 대한 재현(representation)을 제공하여 학생들이 자신과 자신의 교육적 필요를 이해하는 데 도움을 줄 것이라는 점입니다. 이것은 기술 사회에서의 통치 기술의 특징인데, 여기서 개인 시민들의 활동을 조직하는 핵심 메커니즘 뒤에 있는 정치적 합리성은 기술적으로 매개된 "지속적인 형태의 피드백"에 의해 지원되는 자기 주도적 평생 학습(self-directed lifelong learning)입니다(Barry, 2001). 그러나 모든 통치 기술과 마찬가지로, 그것은 '선천적으로 실패하는 작동(congenitally failing operation)'(Miller & Rose, 1990)이며, 따라서 "맥락, 장소(locale) 또는 지식의 다른 문제들이 고려되어야 할 것입니다"(Barry, 2001, p.16).

 

LAD는 역량과 평가 사이의 연결을 시각화할 수 있습니다(Fig. 2 참조). 교육자들에게는 매혹적인 제안이지만, 이 가정은 학생들이 스스로의 '전문가'가 될 수 있는 시각적 디스플레이(visual displays)를 형성하는 연결을 누가 또는 무엇이 만들고 있는지를 조사하는 데 실패합니다. 디스플레이의 힘은 데이터를 해석하고 연결에 의미를 부여하는 알고리즘(algorithms)에 의해 명백해지며, 이는 대시보드와의 상호작용을 통해 학생 자신에 의해, 때로는 피드백 형태의 교수진의 도움으로 학생의 신체(body) 내에 위치하게 됩니다. 이것은 복잡한 사회-기술적 결합체(socio-technical assemblage)인데, 왜냐하면 그것은 신체와 기계 사이의 관계를 포함하고 있으며, 이는 다음과 같은 여러 피드백 수행(performances)의 순간들 속에서 다중 번역 지점(multiple translation points)으로 작용할 수 있기 때문입니다 -

• (1) 자신의 성과를 '평가'하고 자동화된 피드백을 해석하기 위해 LAD와 상호작용하는 개별 학생
• (2) 학생의 성과를 '평가'하고 자동화된 피드백의 추가적인 해석에 참여하기 위해 LAD와 상호작용하는 임상 강사
• (3) 성과에 대한 '평가'의 시각적 디스플레이와 자동화된 권장 학습 필요에 대한 공유된 의미(shared meaning)를 구성하기 위해 LAD와 함께 상호작용하는 학생과 강사.

1. "완벽한 자율주행"을 꿈꾸지만, "태생적으로 고장 난" 내비게이션 원문 내용: "목표는 피드백의 자동화... 자기 주도적 평생 학습... 그러나 선천적으로 실패하는 작동... 맥락이 고려되어야..." 쉽게 풀이: 학교의 꿈: 학교는 학생들이 의대 입학부터 레지던트가 될 때까지, 교수님이 일일이 잔소리하지 않아도 LAD(데이터)만 보고 "아, 내가 부족하네?" 하고 알아서 공부하는(자기 주도적 평생 학습) 사람이 되길 원합니다. 이것이 이 기술을 도입하는 **정치적 목적(통치 기술)**입니다. 현실의 한계: 하지만 이 시스템은 **"태생적으로 실패할 운명(Congenitally failing operation)"**을 타고났습니다. 왜냐고요? 기계는 **'맥락(Context)'**을 모르기 때문입니다. 예시: 학생이 도서관에 안 갔다는 데이터가 잡혔습니다. 기계는 "불성실함"이라고 판단하겠죠. 하지만 사실 그 학생이 집에서 밤새 논문을 읽었다면? 기계는 그 '맥락'을 놓칩니다. 그래서 이 시스템은 항상 **취약(Fragile)**합니다. 2. "누가 이 그래프를 그렸는가?" (보이지 않는 손) 원문 내용: "시각적 디스플레이를 형성하는 연결을 누가 또는 무엇이 만들고 있는지를 조사하는 데 실패... 알고리즘에 의해 명백해지며..." 쉽게 풀이: 우리는 화면에 예쁜 그래프가 나오면 "와, 이게 나구나!" 하고 맹신하게 됩니다. 하지만 연구진은 질문을 던집니다. "이 점수와 저 역량을 연결한 건 누구지?" 그건 교수님도, 학생도 아닌 **'알고리즘(기계의 논리)'**입니다. 우리는 알고리즘이 왜 그렇게 판단했는지도 모른 채, 기계가 보여주는 화면(Display)을 나의 진짜 모습(Body, 신체)으로 받아들이게 됩니다. 즉, **"기계가 정의한 나"**를 **"진짜 나"**로 착각하게 되는 위험이 있습니다. 3. "번역이 필요한 세 가지 순간" (사회-기술적 결합체) 원문 내용: "사회-기술적 결합체... 다중 번역 지점... (1) 개별 학생 (2) 임상 강사 (3) 학생과 강사" 쉽게 풀이: LAD는 그냥 기계 덩어리가 아니라, 사람과 기계가 뒤엉킨 **복잡한 실타래(사회-기술적 결합체)**입니다. 여기서 데이터라는 '외계어'를 '의미'로 **번역(해석)**해야 하는 세 가지 어색한 순간이 발생합니다. 상황 (1) 학생 vs 기계 (나 혼자 볼 때): 학생: "내 성실성 점수가 40점? 나 쓰레기인가?" (기계의 숫자를 보고 스스로를 '번역'하며 자괴감에 빠지거나 맹신함) 상황 (2) 교수님 vs 기계 (교수님이 나를 볼 때): 교수님: "데이터를 보니 김철수 학생은 환자 공감 능력이 떨어지는군." (실제 철수를 보지 않고, 기계의 데이터를 통해 철수를 '번역'하고 평가함) 상황 (3) 학생 + 교수님 + 기계 (셋이 같이 볼 때): 교수님 & 학생: (화면을 같이 보며) "그래프가 이렇게 나왔네? 이걸 어떻게 해석해야 할까? 네 생각은 어때?" (기계가 던져준 숙제를 놓고, 두 사람이 합의점을 찾기 위해 '번역' 싸움을 함) 🍎 한 줄 요약 "LAD는 학생을 '자동 성장 머신'으로 만들고 싶어 하지만, 기계는 맥락을 모르는 '바보'일 수 있습니다. 그런데도 우리는 기계가 만든 그래프를 맹신하게 되고, 결국 학생, 교수, 기계 셋이 모여서 '이 그래프가 도대체 무슨 뜻이냐'며 눈치 게임(번역)을 하게 됩니다."

 

사회-물질적(socio-material) 용어로 볼 때, 이러한 사회-기술적 결합체의 수행은 학생의 신체적 수행(bodily performance)에 대한 재현을 생성하지만, '사회적 행위자[학생]는 결코 신체에만, 그리고 신체 단독으로 위치하지 않습니다'(Law, 1992, p.382–384), 그들은 사이보그(cyborgs), 즉 인간과 비인간의 혼종(hybrids)(Harraway, 1991)이며, 시공간의 다른 지점에서 인간 또는 기술적인 것으로 안정화되고 '정화(purified)'(Latour, 1993)됩니다. 종종 그들은 '[우리가] 그들의 혼종성(hybridity)에 대해 심문할 기회를 갖기도 전에 정화됩니다'(Michael, 1998, p.134). 이것은 실제 신체적 수행에서 추상화된 데이터베이스(databases)를 통한 인간 실천의 번역과 해석이(see (Lyon, 2001)), 기술 사회 내에서 인구 통치와 개인 훈련 과정에서 어떻게 형성되고 사용되는지에 직접적인 영향을 미칩니다(Barry, 2001; Deleuze, 1992; Poster, 1990). 학생의 성과가 신체들의 배열, 데이터베이스, 텍스트 및 시각적 디스플레이와 같은 재현 장치(representational devices), 그리고 실제 현장의(in situ) 오프라인 수행(LAD에 반영되지 않는)의 결과물이라면, 문제는 학생의 성과가 정확히 어디에 위치하는가에 대한 것입니다. 그리고 실패의 경우, 책임은 누구에게 있는가 - 기계인가 인간인가?

 

실제로, 예를 들어 의과대학 맥락 내에서, 우리는 이것이 학생, LAD, 강사 간의 관계 수행(performance of the relationship)에 있어서 '권력의 미시물리학(microphysics of power)'(Foucault, 1977)의 구성을 통해 상호작용 속에서 해결될 가능성이 높다고 주장합니다. LAD는 의과대학의 판단(judgement)의 중재자(mediator)로 서 있도록 배포되며, 이는 때때로 강사의 해석에 의해 보완됩니다. 표시된 데이터는 학생 그 자체(is the student)입니다. 그러나 학생의 성과를 더욱 구성하는 다양한 형태의 데이터 간의 연결을 생성하는 알고리즘의 역할은 어떻습니까? 이것이 선진 자유주의 기술 사회 내의 새로운 '전문가(expert)' Rose (1999)입니까? 주류 LAD 문헌 내에서 LAD의 이러한 측면은 '블랙박스화(blackboxed)'(Akrich, 1992; Callon, 1990, 1992; Callon & Latour, 1982; Callon & Law, 1989)된 것으로 보이며, 이전 가능(transfer ready)한 보건의료전문직 교육 인프라의 자연스러운 일부일 정도로 정규화되었습니다. 이것은 다음의 문제입니다:

'…그 역사가 아무리 논란이 많더라도, 내부 작동이 아무리 복잡하더라도, 그것들을 지탱하는 상업적 또는 학술적 네트워크가 아무리 거대하더라도, 오직 그것들의 입력(input)과 출력(output)만이 중요하다' (Latour, 1987, p.3).

 

1. 나는 '인간'인가, 아니면 '데이터 덩어리(사이보그)'인가? 원문 내용: "사회적 행위자는 결코 신체에만 위치하지 않습니다... 그들은 사이보그, 즉 인간과 비인간의 혼종이며..." 쉬운 풀이: 우리는 보통 "나는 나, 컴퓨터는 컴퓨터"라고 생각합니다. 하지만 학교 시스템 안에서 '나'라는 존재는 내 몸뚱이 하나로 증명되지 않습니다. 학교 속의 나 = (내 육체) + (학번) + (로그인 기록) + (과제 제출 파일) + (성적 데이터) 이 모든 게 합쳐져야 비로소 '학생'으로 인정받습니다. 연구진은 이것을 '사이보그(Cyborg)' 또는 **'혼종(Hybrid)'**이라고 부릅니다. 문제점(정화, Purification): 그런데 사람들은 자꾸 이걸 분리하려고 합니다. 대시보드 화면(데이터)을 보고서는 "이게 너야"라고 말하죠. 데이터는 내 복잡한 삶의 일부일 뿐인데, 마치 **'순수한 나'**인 것처럼 취급받습니다(정화됩니다). 2. 내가 실패한 걸까, 기계가 실패한 걸까? (책임의 소재) 원문 내용: "학생의 성과가 신체... 데이터베이스... 오프라인 수행의 결과물이라면... 실패의 경우 책임은 누구에게 있는가?" 쉬운 풀이: 만약 학생이 시험을 망쳤다고 칩시다. 그런데 그 이유가 학생이 공부를 안 해서가 아니라, 마우스 클릭을 잘못했거나, 인터넷이 끊겼거나, 대시보드의 점수 산정 방식이 이상해서였다면? 이 '성적(성과)'은 학생의 머리에서 나온 걸까요, 아니면 컴퓨터 시스템에서 나온 걸까요? LAD 환경에서는 이 경계가 모호합니다. 하지만 대시보드는 무조건 **"네 점수가 낮으니 네 책임이야"**라고 말합니다. 진짜 책임이 기계에 있을 수도 있는데도 말이죠. 3. '블랙박스'가 된 새로운 권력자 (입력과 출력만 중요해!) 원문 내용: "데이터 간의 연결을 생성하는 알고리즘의 역할은 어떻습니까?... 블랙박스화된 것으로 보이며... 오직 입력과 출력만이 중요하다." 쉬운 풀이: 예전에는 교수님이 권력자였습니다. "너 점수 왜 이래?" 하고 물어보면 변명이라도 할 수 있었죠. 이제는 **'알고리즘'**이 새로운 권력자(전문가)가 되었습니다. 대시보드가 "너는 위험군이야"라고 판결을 내립니다. 블랙박스(Blackbox): 학생이 "왜 제가 위험군이에요? 어떤 계산식으로 나온 거죠?"라고 물어도, 아무도 대답해 주지 않습니다. 그 계산 과정(내부 작동)은 깜깜한 상자(블랙박스) 속에 숨겨져 있거든요. 입력과 출력(Latour의 명언): 학교는 그 복잡한 계산 과정에는 관심이 없습니다. 입력(Input): 학생이 로그인을 했는가? 출력(Output): 그래서 점수가 몇 점인가? 이 두 가지만 중요하게 여깁니다. 그 과정에서 학생의 사정이나 기계의 오류는 무시됩니다.

🍎 한 줄 요약

"학교 시스템 안에서 학생은 '인간+데이터(사이보그)'로 존재합니다. 그런데 학교는 '데이터'만 쏙 뽑아서 그게 진짜 너라고 믿습니다. 그 데이터를 만든 건 속을 알 수 없는 '알고리즘(블랙박스)'인데도 말이죠. 결국, 기계가 뱉어낸 결과(출력)가 곧 학생의 운명을 결정하는 절대적인 권력이 되어버립니다."

---

 

보건의료전문직교육에서의 LAD의 경우, 입력은 학생의 상호작용성(interactivity)(기술 사회의 사회 조직 도표(Barry, 2001))이고, 출력은 그들의 학습 성과에 대한 계산(calculation)입니다. 여담으로, 이러한 종류의 입력과 출력은 단순한 사건(events)(예: 수업 출석)에 대해서는 실행 가능할지 모르지만, 전문직간 교육(interprofessional education)이나 직업전문성(professionalism)과 같은 복잡하고, 상황에 위치하며, 해석적인 학습 과정(processes)이 어떻게 어느 정도의 충실도(fidelity)를 가지고 정량화 가능하고 비교 가능한 척도로 '평탄화(flattened)'될 수 있는지 이해하기 어렵습니다.

 

본질적으로, LAD 피드백 기능의 완전 자동화(full automation) 사례에서, 선진 자유주의 기술 사회의 '전문가' 역할은 맥락에 기반한 해석이 배제된(divorced of interpretation) 비인간 알고리즘인 자동화된 피드백 기능에 위임되고 있습니다. 시각적 디스플레이에 재현된 학생 성과의 계산과 권장 사항은 학생이 혼자서는 풀어낼 수 없는 '블랙박스(blackbox)'입니다(예시 Fig. 4 참조). 학습 권장 사항의 출처와 진실성(veracity)은 의심될 수 없으며, 협상될 수 없습니다. 인공지능(Artificial Intelligence, AI)이 LAD에 표시되는 데이터 해석의 중심이 되는 가까운 미래의 맥락에서, 의심할 수 없고 협상할 수 없는 LAD 권장 사항이라는 문제적 상황은 학생과 강사에게 전달되는 AI 환각(AI hallucinations)의 가능성, 즉 의심스러운 학습 교정 권장 사항(learning remediation recommendations)의 형태로 인해 더욱 악화될 수 있습니다.

 

Fig. 4 가상의 LAD 피드백 시각적 디스플레이 (Hypothetical LAD Feedback Visual Display)

우리의 입장에서 볼 때, 의학교육에서 LAD 피드백의 완전 자동화는 세 가지 잠재적 결과를 초래할 수 있습니다.

• 첫째, Kitto et al. (2024)이 개략한 바와 같이 교육 및 훈련 단계에 따라 학습자는 LAD 유형의 머신 러닝 지도(guidance)에 더 성향적으로 기울어질(predisposed) 수 있습니다(학부 의학교육(UGME)의 첫 임상실습(clerkship) 년도로 전환하는 시기를 생각해 보십시오).
  • 끊임없이 진화하는 헬스케어 지식과 기술에 대한 숙달(mastery)의 불가능성에 대한 불안과 불확실성, 자신의 격차(gaps)와 지식에 대한 불확실성, 그리고 임상 강사의 진료 및 교육 스타일의 다양성에 대한 불확실성에 직면하여, 학위를 통해 진보할 방법에 대한 확실성을 찾는 학생들은 비판 없이 LAD 지도를 받아들이기 위해 서두를 수 있습니다.
  • 이러한 경향에 대항하기 위해, 보건의료전문직 학생 학습의 사회-문화적 맥락(socio-cultural context)을 삽입하는 것이 LAD 학습 권장 사항과 학생들의 순응(compliance) 간의 연결을 강화하는 방법이 될 수 있습니다. 문제는 이것을 어떻게 고충실도(high-fidelity) 방식으로 수행할 것인가, 이것이 사회-기술적 결합체로서 LAD에 어떻게 내장될 수 있는가 하는 것입니다.
  • '환각(hallucination)' 우려를 감안할 때, 학생들에게 잘못된 학습 행동(erroneous learning behaviour)을 피하기 위해(Kitto, 2024) 초기 단계의 머신 러닝 도구들의 환각 및 기타 결함의 가능성을 설명하는(account for) 방법을 가르치는 것, 그리고 이 경우 잘못된 정보를 바탕으로 한 LAD 학습 권장 사항에 순응하는 것을 피하는 방법을 가르치는 것이 중요합니다.
  • 그러나 (인간에 의해 중재되지 않는) 완전 자동화된 LAD 학습 권장 알고리즘이 배포되는 경우, LAD에서 생성된 지도의 출처가 블랙박스화되어 있고(blackboxed), 불투명하며(opaque), 불변하기(immutable) 때문에 이는 불가능합니다.
• 둘째, 반대로 학생 집단 내의 신뢰 붕괴(breakdown in trust) 가능성과, "학생이 분류기(classifier)를 조금 불신할 근본적인 이유를 제공받았을 때 비판적 질문(critical questioning)이 일어날 가능성이 더 높다"(Kitto et al., 2018, p.455)는 가능성이 있습니다.
  • 우리는 이것이 분류 체계(classification schemas)가 어떻게 어떤 방식으로는 세계관을 형성하고 인간 상호작용을 질서 잡으면서(order), 동시에 다른 방식으로는 그것들을 무질서하게(disorder) 만들 수 있는지에 대한 문제뿐만 아니라, 분류기 자체가 얼마나 불완전할 수 있는지에 대한 문제를 아직 추구하지 않은 학습 분석 커뮤니티 내에서 발생할 가능성이 높다고 제안합니다(see (Bowker & Star, 2000)). 다시 말해, 학생의 학습 성과에 대한 생생한 현실(lived reality)이 LAD에 의해 이루어진 계산과 불일치(mis-aligned)하는 경우, 그들의 생생한 경험(lived experience)이 LAD의 판단과 권장 사항을 이기고(trump) 불신과 비순응적인 학습 행동으로 이어질 수 있습니다.
• 셋째, 데이터와 분석이 중립적(neutral)이고 객관적(objective)이며 "무슨 일이 일어날지에 대한 증거(evidence)"(Prinsloo, 2017)로 간주되고 칭송받을 때, 학생들은 데이터 분석이 제공하는 것이 현실의 많은 재현(representations) 중 하나일 뿐임에도 불구하고 현실의 단 하나의 버전만 있다고 배우게 됩니다.
  • 이것은 의학과 헬스케어 분야에서 증거 기반 의사결정(evidence-based decision making)에 이미 부여된 무게를 감안할 때 보건의료전문직교육에서 특히 문제가 됩니다. 의학과 헬스케어 분야 밖에서는, 비평가들이 이미 증거 기반 경영(evidence-based management)을 교육에 이식하는 것이 제한적이라는 것을 인식하고 있습니다:

1. 불안한 학생들의 "맹신" (Blind Faith) → "AI 님, 시키는 대로 다 할게요. 제발 정답만 알려주세요." 원문 내용: "불안과 불확실성에 직면하여... 비판 없이 LAD 지도를 받아들이기 위해 서두를 수 있습니다... 출처가 블랙박스화되어 있고 불투명하며..." 쉬운 풀이: 상황: 의대 공부는 양이 엄청나고, 이제 막 병원 실습(임상실습)을 나가면 학생들은 엄청나게 불안합니다. "내가 환자를 죽이면 어떡하지? 뭘 공부해야 하지?" 부작용: 이때 AI가 "너 이거 공부해, 저거 해"라고 딱 정해주면, 학생들은 너무 불안한 나머지 비판적 사고 없이 넙죽 받아먹게 됩니다. 위험성: 만약 AI가 오류(환각, Hallucination)를 일으켜서 엉뚱한 조언을 했다면? 학생은 그게 왜 나왔는지 알 수 없습니다(블랙박스). 그런데도 불안하니까 "기계가 시켰으니 맞겠지" 하고 틀린 지식을 맹신하며 따라가는 위험한 상황이 벌어집니다. 2. 현실과 다를 때의 "손절" (Total Distrust) → "기계가 내 현실을 모르는구만. 에이, 안 믿어!" 원문 내용: "학생의 생생한 현실이 LAD 계산과 불일치하는 경우... 불신과 비순응적인 학습 행동으로 이어질 수 있습니다." 쉬운 풀이: 상황: 반대로, 학생은 오늘 병원에서 환자와 라포(공감)를 잘 형성했다고 느꼈습니다(생생한 현실). 그런데 대시보드를 보니 "당신의 소통 점수는 30점입니다"라고 뜹니다(LAD의 계산). 부작용: 학생은 "뭐야, 기계가 내가 오늘 얼마나 잘했는지 알지도 못하면서!"라고 생각하게 됩니다. 위험성: 내 **진짜 경험(현실)**이 기계의 **판단(데이터)**을 이겨버립니다(Trump). 결과적으로 학생은 시스템 전체를 불신하게 되고, 대시보드가 아무리 좋은 조언을 해도 "웃기고 있네"라며 무시해버리는 '비순응' 상태가 됩니다. 3. 시야가 좁아지는 "데이터 맹신주의" (Distorted Reality) → "숫자로 안 나오는 건 중요한 게 아니야." 원문 내용: "현실의 단 하나의 버전만 있다고 배우게 됩니다... 증거 기반 의학에 내재된 실증주의적 경향을 악화시킬 수 있으며..." 쉬운 풀이: 상황: 의학은 원래 **'증거(Evidence)'**를 중시합니다. 그런데 교육까지 "데이터 증거가 없으면 무의미해"라고 가르치면 어떻게 될까요? 부작용: 학생들은 **"데이터로 찍히는 것(점수, 등수, 효율성)"**만이 유일한 현실이자 진리라고 착각하게 됩니다. 위험성: 교육적으로 정말 중요한 가치(예: 윤리, 소명의식, 따뜻한 마음)는 데이터로 측정하기 어렵습니다. 학생들은 이런 측정 불가능한 가치는 무시하고, 오로지 숫자로 증명되는 '효과성'만 쫓는 **'기술만능주의자(Technocrat)'**가 되어버립니다. 비판적인 질문을 던지는 능력은 사라지고, 정답(데이터)만 찾는 기계가 되는 거죠.

 

 

연구 측면에서, 증거 기반 교육(evidence-based education)은 교육적 수단과 기법의 효과성(effectiveness)에 대한 질문만이 유일하게 관련된 연구 질문이라고 가정하는 기술관료적 모델(technocratic model)을 선호하는 것처럼 보이며, 무엇보다도 '효과적'인 것으로 간주되는 것은 교육적으로 바람직한 것(educationally desirable)에 대한 판단에 결정적으로 달려 있다는 것을 잊고 있다. 실천 측면에서, 증거 기반 교육은 교육 실천가들이 그들 자신의 맥락화된 설정(contextualized settings)에 민감하고 적절한 방식으로 그러한 판단을 내릴 기회를 심각하게 제한하는 것처럼 보인다(Biesta, 2007, p.5).

 

학습에 대한 기술관료적 접근 방식에 의해 촉진되는 보건의료전문직교육은 증거 기반 의학(evidence-based medicine)에 내재된 실증주의적 경향(positivist tendency)을 악화시킬 수 있으며, 아마도 학생의 비판적 탐구(critical inquiry)의 지평을 축소시킬 수 있습니다. 현실에 대한 '객관적' 재현을 생성하기 위해 데이터와 지표에 의존하는 대신(재현주의적 관점(representationalist view)이라고도 함), 우리는 "증거, 데이터 및 분석에 대한 거래적 관점(transactional view)[이] 불완전성(incompleteness), 한계(limitations), 그리고 분석에서 생성된 통찰력이 기껏해야 잠정적(provisional)이라는 가능성을 인정한다"(Prinsloo, 2019)는 점을 살펴볼 수 있습니다.

1. "효과적(Effective)"인 것과 "바람직한(Desirable)" 것은 다르다. 원문 핵심: "증거 기반 교육은 오직 '효과성'만 따지는 기술관료적 모델을 좋아한다... 무엇이 교육적으로 '바람직한' 것인지는 잊어버린다." 쉬운 풀이: 상황: 어떤 교육 프로그램(LAD)을 썼더니 학생들의 시험 점수가 20점 올랐다고 칩시다. 기술관료적 관점(Technocratic): "와! 점수 올랐네? **효과적(Effective)**이다! 무조건 이거 쓰자!" (오로지 결과와 효율성만 따짐) 비판(Biesta의 주장): "잠깐만, 점수는 올랐지만 학생들이 기계적으로 암기만 하게 된 거라면? 그게 과연 훌륭한 의사를 키우는 데 바람직한(Desirable) 방향이야?" 문제점: 데이터는 '점수를 올리는 기술'은 알려주지만, '어떤 의사를 키워야 하는가'라는 가치 판단은 해주지 못합니다. 그런데 데이터 만능주의에 빠지면, 선생님들이 "이 상황에서는 점수가 좀 떨어져도 토론을 하는 게 맞아"라고 자신의 소신(판단)을 발휘할 기회를 박탈당하게 됩니다. 2. "지도는 영토가 아니다." (데이터를 맹신하지 마라) 원문 핵심: "실증주의적 경향을 악화시키고... 비판적 탐구를 축소시킨다... '객관적 재현' 대신 '거래적 관점'을 가져야 한다." 쉬운 풀이: 실증주의(Positivist)의 위험: 의학은 원래 "증거(데이터) 없으면 믿지 마"라는 분위기(증거 기반 의학)가 강합니다. 그런데 교육까지 이렇게 되면, 학생들은 **"데이터로 안 찍히는 건 존재하지 않는 거야"**라고 믿게 됩니다. 비판적 탐구의 실종: "왜요?" "이게 정말 맞나요?"라고 질문하는 능력(비판적 탐구)은 사라지고, "데이터에 그렇게 나와 있으니까요"라고 답하는 기계적인 학생만 남게 됩니다. 재현주의 vs 거래적 관점: ❌ 재현주의(Representationalist): "LAD 그래프가 곧 너의 실력이야." (데이터 = 현실 그 자체라고 믿음. 오만함.) ⭕ 거래적 관점(Transactional): "이 데이터는 너의 실력을 보여주는 **불완전한 쪽지(잠정적 통찰)**일 뿐이야. 틀릴 수도 있고, 다르게 해석될 수도 있어." (데이터 = 현실을 이해하는 하나의 도구일 뿐임을 인정함. 겸손함.)

 

 

미래를 내다보며 (Looking forward)

 

그렇다면, 문헌에 대한 우리의 지식과 이 지점까지 제시된 성찰들을 바탕으로, 우리는 이러한 유형의 분석 주도형 피드백(analytics-driven feedback)을 어떻게 받아들여야 할까요? 자동화되었든 부분적으로 자동화되었든, LAD는 모든 이해관계자들에 의해 본질적으로 불완전한(imperfect) 것으로 이해되어야 하며, 따라서 모든 이해관계자들, 특히 학생들은 수동적인 수용자(passive recipients)가 되기보다는 데이터 기반 피드백에 생산적으로 참여할 수 있도록 권한을 부여받아야(empowered) 합니다(Kitto et al., 2018). 그렇다면 질문은 다음과 같습니다: LAD와 관련하여 이 학생 '권한 부여'의 조건은 어떻게 구성될 것인가? 이와 같은 질문에 대한 숙고는 '기술은 다른 옵션을 차단하는 시스템을 만들기도 하고, 새롭고 예측 불가능하며 실로 생각할 수 없는(unthinkable) 옵션을 생성하기도 한다'(Callon, 1992)는 지식을 가지고 다루어져야 합니다.

 

이러한 주의사항(caveats)은 우리가 이 주제 영역에서 더 사려 깊은 경험적 연구(empirical research)를 하도록 이끌어야 합니다. 분명히, 서로 다른 LAD의 상황에 위치한 수행(situated performances)은 서로 다른 재현과 콘텐츠, 서로 다른 교육학적 및 인프라적 조건과 제약(constraints)을 생산할 것입니다. 이러한 뉘앙스는 중요합니다: 우리의 요점은 LAD의 설계, 맥락 및 수행이 예측 가능하고 예측 불가능한 (비)의도적 효과((un)intended effects)를 가질 것이라는 점입니다. 따라서 LAD가 학습자의 성과와 동료, 강사 또는 그들이 등록된 교육 기관과의 관계에 미칠 수 있는 역할과 영향, 그리고 그에 따른 LAD의 특정 발현(manifestations)이 갖는 함의에 대한 경험적이고 비판적인 분석이 시급히 필요합니다.

 

우리는 LAD를 정보 기술이 밀집되어 있고 고도로 정치적인 기술 사회(Technological Society) 내에 위치한 것으로 명시적으로 인식함으로써 교육적 효과를 매핑(map out)하는 한 가지 방법을 제시했습니다. 보건의료전문직교육을 위한 LAD를 설계할 때, 기술적이고 도구적인 것을 넘어 사람, 이 경우에는 헬스케어 전문가를 설계(designing of people)하는 데 있어 자신의 역할을 고려해야 합니다. 이들은 이제 기술적 시민(technological citizens)이며, 정보 기술이 밀집된 헬스케어 시스템에서 운영할 수 있고, 지속적인 피드백을 받고 적응할 수 있는 평생 학습자가 되도록 기대받습니다. 상호작용적인 유형의 시민을 창출하는 피드백 시스템을 생산하기 위해 기술적 수단을 사용하는 것의 위태로움(precariousness)과 씨름하는 것은, 그리고 앞으로도 계속, 끊임없는 성찰을 요구하는 '사악한(wicked)' 문제가 될 것입니다.

 

결론 (Conclusion)

 

결론적으로, 우리는 피드백에 관한 핵심적이고 진행 중인 질문은 더 많은 피드백이라는 문제에 대한 '기술적 해결책(technical fix)'(학생과 교육자들이 종종 잘못하여 부르짖는)을 만드는 것이 아니라, 학습자와 그들의 학습 상황에 대한 적절한(appropriate) 피드백의 본질, 타이밍 및 배포에 우리의 관심이 집중되어야 한다는 마지막 주장을 펼치며 마칩니다. 더욱 결정적으로, 피드백 콘텐츠와 시스템의 생성은 그것들의 잠재적인 수많은 의도하지 않은 학습 결과(unintended learning consequences)를 인식하는 방식으로 설계되어야 하며, 그래야만 가능할 때와 장소에서 그것들을 제한(delimit)하려고 노력할 수 있습니다. 우리는 기술 사회(Technological Society)의 렌즈를 통해 보는 것이 이러한 의제를 도울 수 있으며, 이를 통해 LAD와 같은 인공물들이 미래의 헬스케어 전문가를 구성하는 데 있어 기술적으로나 정치적으로 더 비판적이고 신중하게 관여될 수 있다고 제안합니다.

 

1. 우리는 단순히 '프로그램'을 만드는 게 아니라, '사람'을 설계하고 있다.("Designing of people") 원문 맥락: "LAD를 설계할 때, 우리는 단순히 기술적 도구를 만드는 게 아니라 헬스케어 전문가라는 **'사람을 설계(Designing of people)'**하고 있다는 사실을 기억해야 합니다." 쉬운 풀이: 대시보드를 만드는 사람들은 보통 "어떻게 하면 데이터를 예쁘게 보여줄까?"를 고민합니다. 하지만 연구진은 더 큰 그림을 보라고 합니다. 이 시스템을 통해 길러지는 의사들은 **"평생 동안 데이터 피드백을 받고, 기술과 상호작용하며 살아갈 '기술적 시민(Technological Citizens)'"**이 될 것이기 때문입니다. 즉, 우리는 소프트웨어를 코딩하는 게 아니라, 미래 의사의 '인격'과 '태도'를 코딩하고 있다는 책임감을 가져야 합니다. 2. 이건 정답이 없는 '사악한 문제'다. ("Wicked Problem") 원문 맥락: "피드백 시스템을 만드는 것은 끊임없는 성찰을 요구하는 **'사악한 문제(Wicked problem)'**입니다." 쉬운 풀이: 여기서 **'사악한(Wicked)'**이라는 말은 나쁘다는 뜻이 아니라, **'도무지 정답을 알 수 없고, 상황에 따라 계속 변해서 해결하기 지독하게 어려운 문제'**라는 학술 용어입니다. "LAD 하나 도입하면 피드백 문제 끝!" 같은 깔끔한 해결책은 없다는 겁니다. 기술은 새로운 문제를 또 만들어낼 테니까요. 그러니 "다 해결됐다"고 자만하지 말고 계속 고민하고 고쳐나가야 합니다. 3. '양(More)'보다 '질(Appropriate)'이 중요하다. ("Technical Fix" vs "Appropriate Feedback") 원문 맥락: "학생들이 잘못 요구하는 '더 많은 피드백'을 위한 **'기술적 해결책(Technical fix)'**을 만드는 게 핵심이 아닙니다. 우리의 관심은 '적절한(Appropriate)' 피드백의 본질과 타이밍에 집중되어야 합니다." 쉬운 풀이: 학생들은 종종 불평합니다. "피드백 좀 더 많이(More) 주세요!" 학교는 "그래? 그럼 AI로 피드백을 100개씩 자동으로 뿌려줄게(기술적 해결책)"라고 답하기 쉽습니다. 하지만 연구진은 이게 틀렸다고 말합니다. 무조건 많이 주는 게 능사가 아니라, **"학생이 받아들일 수 있는 타이밍에, 학생의 상황에 딱 맞는(Appropriate) 피드백"**을 주는 게 진짜 목표여야 한다는 것입니다. 기술로 때우려(Fix) 하지 말고, 교육의 본질을 고민하라는 뼈 있는 조언입니다.