[양적연구] 의학교육의 정량적 연구 방법

출처: Norman, G., & Eva, K. W. (2018). Quantitative research methods in medical education. Understanding medical education: evidence, theory, and practice, 405-425.

 

정량적 연구 패러다임

 

정량적 연구 방법은 수 세기 동안 물리 과학의 중심에 있었습니다. 이는 1500년대 천문학에서의 놀라운 발전으로 거슬러 올라갑니다. 실제로 자연 과학을 정량화 없이 상상하는 것은 어렵고, 이러한 성과들을 깊이 탐구할수록 과학자의 능력에 대해 경이로움을 느끼지 않을 수 없습니다. 예를 들어, 매우 큰 것(예: 우주론)이나 매우 작은 것(예: 입자 물리학), 혹은 우리 일상에 더 가까운 디지털 전자 기술의 급속한 발전을 생각해 보면 더욱 그렇습니다. 컴퓨터 카드가 기억나는 사람들에게, 1GB 플래시 드라이브는 1천만 개의 컴퓨터 카드에 해당하는 메모리를 담고 있습니다. 이는 차고 하나의 부피에 해당하는 양입니다. 그러나 정량적 방법이 만병통치약은 아닙니다. 많은 사람들은 사회 과학자들이 자연 과학의 방법을 너무 성급히 받아들였고, 사회적 상황의 복잡성을 충분히 인식하지 못했다고 주장할 것입니다. 사회적 상황은 몇 가지 숫자로 단순히 환원될 수 없기 때문입니다. Illing은 제24장에서 정량적 방법이 사회 과학에 도입된 역사와 그 이후 정성적 방법과의 불편한 통합(혹은 분리)을 검토했습니다. 정량적 "황무지 경험주의(dust bowl empiricism)"가 반작용을 불러일으킨 것은 놀라운 일이 아닙니다. 의학교육에서 인간 상호작용의 복잡성을 '처치(treatment)'로 환원하고, 그 절반은 처치를 받고 나머지 절반은 받지 않으며, '결과'를 시험 합격이나 불합격과 같은 것으로 정의하는 시도가 얼마나 어리석은지를 생각해 보면 당황스러울 정도로 쉽게 예시를 찾을 수 있습니다. 비록 우리는 개인적으로 사회과학 연구에서 정량적 접근에 깊이 공감하고 있지만, Illing이 지적한 대로 연구 참여자를 "객체"로 환원하여 동일한 교육적 처방을 정확하게 흡수해야 한다고 가정하는 연구들은 사실상 의도치 않은 '불합리의 극치(reductio ad absurdum)'에 불과합니다.

 

구체적인 예시를 제시하는 것은 별로 유익하지 않습니다. 더 중요한 질문은 정량적 방법이 이 분야에서 인정받는 진보와 어느 정도 일치해왔는가입니다. 자연 과학의 방법, 예를 들어 전자 현미경부터 실험실 연구, 임상 시험까지가 의학에서 엄청난 발전을 이루었고, 인간 수명과 복지에 직접적인 영향을 미쳤다는 점에는 이견이 없습니다. 분명히, 작은 자금 부족한 의학교육 분야에서 유사한 주장을 하려는 것은 억지스럽습니다. 그럼에도 불구하고, 지난 30년간의 연구는 의학교육에서 상당한 진보를 이루었고, 그 중 상당 부분은 특히 학생 평가 분야에서 정교한 정량적 방법의 적용과 직접적으로 관련이 있습니다.

 

우리가 정량적 방법에 대한 논문을 작성하는 목적은 이러한 방법을 정성적 연구 전략보다 우위에 두려는 것이 아니라, 다양한 정량적 방법을 더 잘 이해하려는 사람들에게 일부 지침을 제공하는 것입니다. Bordage는 이 논쟁을 "생산적이지 않다... 각 접근 방식은 그 자체로 유용하며, 상호 보완적으로 사용될 때 가장 생산적일 수 있다"며 질적-양적 논쟁에서 벗어나야 한다고 말했습니다. 실제로 이 논쟁에서 잃어버린 것은 질적 방법과 정량적 방법 모두의 복잡성입니다.

 

질적 연구에는 다양한 학파가 있으며, 예를 들어 Illing은 질적 연구에서 후기 실증주의(post-positivism), 비판 이론(critical theory), 구성주의(constructivism), 참여적 행동 연구(participatory action)와 같은 다양한 장르를 인용했습니다. 우리가 아는 한, 정량적 연구에 대해서는 이와 유사한 분류법이 존재하지 않습니다. 실제로, 정량적 방법론에 대한 많은 비판자들은 교육 연구에서 정량적 방법이 무작위 실험을 사용하여 가설을 테스트하고 통계적 방법을 통해 입증되거나 반증되는 것으로 간주하는 경향이 있습니다. 이는 평가 방법의 중요한 진보를 이룬 예를 설명하기에는 매우 불충분한 설명입니다.

 

이 장에서 우리는 실험적, 역학적, 심리측정적, 상관적 연구라는 네 가지 연구 전통을 구분하여, 그 과정에서 일부 기본적인 측정 원칙과 통계적 추론을 탐구할 것입니다. 마지막으로, 메타분석과 체계적 검토 방법을 설명하고, 이를 비판적이고 이론 지향적인 검토와 비교할 것입니다. 그러나 먼저, 연구 질문을 정확하게 설정하는 것이 중요하다는 논평으로 시작할 것입니다. 좋은 연구는 좋은 방법을 필요로 하지만, 연구의 질은 반드시 방법론적 엄밀성에 의해 정의되는 것은 아니라는 점을 강조할 것입니다.

 

연구 질문

 

이전 섹션에서 우리는 많은 저자들이 정량적 연구를 가설 검증과 동일시한다는 점을 언급했습니다. 우리의 관점에서는 이러한 연관성은 단순할 뿐만 아니라, 연구 질문의 본질과 적절성에 충분한 주의를 기울이지 못하고 있다고 생각합니다. 너무 자주, 학생들이 연구 질문을 논의할 때, 실용적이고 상식적인 질문을 공식적인 연구 가설, 혹은 더 나아가 차이가 없거나 효과가 없거나 상관관계가 없다는 '귀무 가설(null hypothesis)'로 변환하는 방법을 배우는 데 많은 노력을 기울입니다. 이러한 노력은 계획의 정확성을 촉진하여 궁극적으로 연구 질문이 답할 수 있는 것이 되도록 할 수 있습니다. 그러나 그러한 정확성은 연구 설계와 방법이 고안됨에 따라 어차피 명백해지는 경우가 많기 때문에, 이러한 노력 중 많은 부분은 형식적이며 연구를 근본적으로 향상시키는 데는 거의 도움이 되지 않는다고 믿습니다. 연구 질문이 질문으로 설정되든, 연구 가설로 설정되든, 귀무 가설로 설정되든 그것은 거의 중요하지 않습니다.

 

어쨌든, 연구 가설의 개념은 일부 정량적 연구에만 잘 적용됩니다. 새로운 평가 도구를 개발하는 과정은 신뢰도와 타당성 연구를 통해 매우 다른 경로로 진행될 것입니다. 신뢰도 연구를 귀무 가설로 설정하는 것은 "새로운 반성적 실천 테스트의 신뢰도는 0.5 미만일 것이다"와 같은 방식으로 보일 것입니다.

 

이러한 구성을 통해 연구의 목표를 충분히 포착하지 못한다. 우리의 견해가 다수의 입장을 대변하지 않을 수 있지만, 우리는 연구 질문의 적절성에 집중하고, 귀무 가설(null hypothesis) 설정의 형식적인 측면을 잊어야 한다고 믿는다. 결국 연구 질문의 목표는 사후 설명의 가능성을 줄이고, 질문에 답하기 위해 사용되는 방법을 명확하게 하며, 연구의 초점이 달성 가능한지 여부를 신중하게 분석할 수 있도록 하는 것이다. 인간은 우리에게 주어진 어떤 패턴에 대해서도 설명을 만들어내는 데 놀랍도록 능숙하므로, 과학자들은 사전 이유 없이 결과를 예측하는 결론을 내리는 것을 피하려고 한다. 이는 예상치 못한 결과가 나왔을 때 사후 추측이 쓸모없다는 것을 의미하는 것이 아니라, 결과를 확인하는 추가 연구가 필요하다는 것을 의미한다. 연구 가설의 형식이 중요하지는 않지만, 시간과 자원을 낭비하지 않기 위해 정확성은 매우 중요하다.

 

그렇다면 어떻게 연구 질문이 좋은지를 보장할 수 있을까? 연구 방법이 좋은지 판단하기 위한 다양한 접근법에 비해, 좋은 연구 질문이 무엇인지에 대해서는 상대적으로 적은 양의 문헌이 존재한다. 존재하는 문헌은 주로 연구 질문에 포함되어야 할 정보의 기술적인 측면에 중점을 둔다. 이것에는 그럴 만한 이유가 있다. 연구 질문의 가치는 독립적으로 판단될 수 없으며, 연구가 발생하는 특정 연구 영역의 맥락에서만 볼 수 있다. 연구는 '발견'에 관한 것이며, 이미 알려진 것을 다시 발견하는 데는 큰 의미가 없다.

 

'발견'이라는 개념은 연구가 기여할 잠재적 가치를 생각하는 유용한 방법이지만, 이 단어는 현재의 이해에서 큰 도약을 의미하기 때문에 우리는 '발견'을 지식 구축의 행위로 보는 것이 더 적절하다고 생각한다. 연구의 가치는 세계에 대한 새로운 이해를 드러내는 정도에 따라 직접적으로 관련된다. 즉, 새로운 통찰을 '발견'하거나 기존 지식을 의미 있는 방식으로 확장하는 것이다. 정량적 연구는 배운 교훈이 다른 맥락에서도 일반화될 수 있는 정도에 따라 평가된다. 그렇다면 연구 초보자에게 지식 구축을 할 수 있는 연구 질문을 식별하는 방법에 대해 어떤 조언을 줄 수 있을까? 간단히 말해서, 이것이 바로 문헌 검토의 역할이다.

 

이 점은 다시 한 번 강조할 가치가 있다. 문헌을 사용하는 데 중점을 두는 것은 이론적이지 않은 실용적인 질문들이 해결될 필요가 없다는 것을 의미하지 않는다. 오히려 우리의 견해는 연구를 기존 문헌에 기초하는 것이, 심지어 순전히 실용적인 연구 프로젝트도 성공할 가능성이 높아지고, 커뮤니티의 일반화된 지식 기반에 기여할 수 있는 유용한 전략이라는 것이다. 너무 자주 문헌 검토는 아이가 운동장에서 벌어진 싸움을 이야기하는 것처럼 들린다: ‘Johnny가 이렇게 했다. 그런 다음 Sally가 저렇게 했다. 그리고 Bob이 와서 다른 말을 했다.’ 문헌 검토는 누가 누구에게 무엇을 했는지의 연대기적인 설명이 되어서는 안 되며, 현재의 연구가 자리 잡을 개념적 틀을 확립해야 한다.

 

문헌 검토는 명확하게 지식의 공백을 식별해야 하며, 그 공백이 채워질 만한 충분한 이유가 있는 실질적인 것이어야 한다. '이 연구는 우리 나라/도시/대학/학문에서 한 번도 수행되지 않았다'는 진술은 약한 정당화이다. 개념적 틀은 연구자와 결국 그 연구를 읽는 사람들이 더 큰 그림(즉, '최첨단의 상태')에 집중하도록 도와야 하며, 현재 연구가 이 지식에 어떻게 기여하는지 명확히 구분해야 한다. 이는 연구자가 모든 연구를 형식적인 문헌 검토로 시작해야 한다는 것을 의미하며, 이로 인해 모든 해결되지 않은 질문이 맑은 날의 보름달처럼 명백해질 것이다. 물론 연구는 그렇게 선형적으로 진행되지는 않지만, 성숙한 연구 프로그램(즉, 특정 분야에 대한 장기적이고 체계적인 탐구)의 한 가지 특징은 문헌 검토에서 새로운 연구 질문이 도출되는 상황이 예외적이라는 것이다. 연구 프로그램이 진행 중일 때, 새로운 연구 질문은 기존 연구 결과에서 발생한다.

 

그렇다면 연구 질문의 질을 보장하기 위해 무엇을 할 수 있을까? 이 질문에 대한 한 가지 답은 '이론'이라는 개념을 도입하는 것이다. 연구 가설은 궁극적으로 (a) 성공했거나 (b) 실패했다는 두 가지 결론으로 귀결되는 반면, 연구 이론은 여러 변수 간 상호작용을 이해하는 것을 목표로 한다. 이론에 기반한 연구는 우리의 분야에서 소수에 속한다. 최근 리뷰에서 확인된 논문의 약 절반만이 개념적 틀을 가지고 있었으며, 테스트 가능한 이론은 더 적었다. 또 다른 연구가 학생들이 해부학 수업에 평균 4.5/5의 점수를 주었다는 결과를 보여주는 것은 교수법이나 학습에 대한 새로운 통찰을 제공하지 않을 가능성이 높다. 하지만 새로운 이론적 관점을 적용하면 커뮤니티가 그 문제에 대해 생각하는 방식이 바뀔 수 있으며, 다양한 교육 과정 전략과 관련된 통찰을 드러낼 수 있다.

 

교육 이론은 일반적으로 정량적 예측을 하지 않지만, 여러 변수가 상호작용하는 것을 포함하는 경우가 많으며, 사람들이 문제에 대해 더 정교하게 생각하도록 만들 수 있다. 이것이 이론의 중요성이다. 이론이 비판적 테스트를 거치면 (몇 개에서 몇 십 개의 연구를 포함하여), 우리는 관련 증거의 축적 덕분에 연구 결과의 한계와 일반성을 잘 파악할 수 있게 된다. 단순히 피상적으로 관련된 일련의 결과에만 머물러 있지 않게 된다.

 

여기서 주목할 만한 점은 과학 이론의 정의적 속성 중 하나가, Popper의 말을 빌리자면, 그것이 반증 가능하다는 것이다. 즉, 틀렸다는 것이 입증될 수 있어야 한다. 따라서 이론을 기반으로 한 연구는 지식을 구축하는 데 있어, 이론을 단순한 맥락으로 사용하는 것보다 더 역동적인 특성을 가진다. 과학 이론은 영구적이거나 불변하지 않으며, 새로운 증거가 나오면 이론은 변화하고 진화하며 설명력이 증가할 것으로 기대된다. 이는 '이 교육 과정은 이론 Y와 일치하도록 설계되었다'는 진술이 암시하는 이론의 사용 방식과는 큰 대조를 이룬다. 이러한 진술은 그다지 유용하지 않다. 왜냐하면 많은 이론들이 다양한 방식으로 구현될 수 있고, 다른 이론적 입장들도 유사한 학습 활동을 촉진할 수 있기 때문이다. 더 중요한 점은, 많은 이론이 너무 광범위한 일반화로 구성되어 있어서 사실상 반증할 수 없는 경우가 많다는 것이다. 단지 어떤 데이터 세트가 한 이론과 '일치한다'는 것이, 그 이론이 실제로 지식 축적에 기여한다는 의미는 아니다. 데이터가 다른 대안 이론과 일치하지 않음을 보여주거나, 이론을 수정 및 정교화하는 데 기여하지 않는 한 말이다.

 

또한 주목할 만한 점은 일부 이론 구축 개념이 여전히 실증주의 전통에 뿌리를 두고 있지만, 이론은 '성공했다/실패했다'는 단일한 환원주의적 틀로 세계를 설명할 수 없다는 사실을 인식할 때 가장 잘 활용된다는 것이다. 또한, 앞서 언급했듯이, 연구가 이론에 기반한다고 해서 그것이 실천과 무관하다는 의미는 아니다. 오히려, Stokes가 설득력 있게 설명한 바와 같이, 이론 기반의 기초 과학 연구와 실용적 연구 노력을 동일한 연속선의 양 끝에 있는 것으로 해석해서는 안 된다. Stokes는 이 두 연구 목표가 독립적인 축으로 간주되어야 하며, 가장 훌륭한 연구는 그가 '파스퇴르의 사분면(Pasteur's quadrant)'이라고 부른 영역에 위치한다고 주장했다. 이는 루이 파스퇴르가 박테리아학에 대한 근본적인 지식을 크게 발전시키는 동시에, 와인과 비단 산업, 그리고 의학에 실질적인 영향을 미쳤다는 점에서 유래한 것이다. (그림 25.1 참고)

 

 

 

BOX 25.2 연구 가치가 있는 주제를 선택하는 방법

어떤 연구 아이디어를 더 본격적인 프로젝트로 발전시킬 가치가 있는지 고민할 때, 다양한 기준을 고려해야 합니다. 여기 몇 가지 주요 지침을 소개합니다:

• 새로움(Novelty): 이 연구가 이전에 수행된 적이 있는가? 단순히 "우리가 아는 한, 이런 연구는 한 번도 이루어진 적이 없다"고 주장하는 것은 충분하지 않습니다. 먼저, 해당 연구가 수행된 적이 있는지 확인하기 위해 집중적인 노력이 필요합니다. 지역 전문가나 국제 전문가와 대화를 나누고, 유사한 문제를 다룬 다른 연구들을 찾기 위해 문헌을 철저히 탐색하세요. 현재 시점에서 아무도 해당 주제에 대해 관련된 글을 쓰지 않았다고 상상하는 것은 어렵습니다. 다양한 문헌을 신중하게 검색한 후에야, 어떻게 특정 연구가 기존 연구를 넘어서는 방식으로 이해를 증진시킬 수 있을지 설득력 있는 주장을 펼칠 수 있습니다.
• 중요성(Importance): 의학교육은 응용 분야입니다. 결과적으로, 특정 연구가 즉각적인 실용적 영향을 미치지 않을 수도 있지만, 그 연구 노력이 미래에 해당 분야에 유익한 영향을 미칠 수 있는 방법을 상상할 수 있어야 합니다. 문헌을 활용하는 것만큼이나 현장에서의 경험을 통해 연구 질문을 형성해야 합니다.
• 프로그램화(Programmatic): 우리는 응용 분야에서 연구를 프로젝트의 관점으로 보는 경향이 너무 강합니다. 헝가리 출신의 과학 철학자 이므레 라카토슈(Imre Lakatos)가 제안한 후자인 '프로그램'이라는 용어는 실제 진보는 특정 문제를 체계적이고 장기적으로 연구함으로써 이루어진다는 사실을 강조합니다.
• 지침(Guided): 연구가 속하는 개념적 틀은 무엇입니까? 당신이 다루고자 하는 문제와 관련된 이론은 무엇입니까? 이론들이 서로 모순되는 부분이 있어서, 이를 통해 연구가 어떤 통찰을 제공할 수 있습니까? 당신의 이론이나 가설은 반증 가능합니까? (즉, 연구 설계가 해당 이론을 반박할 수 있는 결과를 도출할 수 있습니까?)
• 기반(Grounded): 이전의 몇 가지 요점과 관련하여, '기반'이라는 용어는 연구가 이미 알려진 것에 기반하여 이루어져야 한다는 것을 의미합니다. 즉, 현재 시점에서 어떤 연구 방향이 가장 적절한지(즉, 커뮤니티에 의미 있는 결과를 제공할 가능성이 높은지)를 결정하는 데 문맥이 사용되어야 한다는 것입니다. 완벽한 정확도로 이를 예측할 수는 없겠지만, 이 문제는 광범위한 협의와 숙고를 통해 고려되어야 합니다.

이러한 원칙들을 바탕으로 연구 아이디어를 평가하고, 해당 주제가 연구에 적합한지, 가치가 있는지를 판단할 수 있습니다.