체계성의 한계에 대하여

1

“당신은 편향되었다(You are biased)”. 세 단어 이하의 문장 중 이보다 사실에 가까운 것은 없을 것이다. 절대적으로 좋거나 나쁜 것이 아니다. 새로운 정보를 해석할 때 과거 경험을 활용하지 않는 사람은 없기 때문이다.

 

2

메타분석과 같은 체계적 문헌고찰(systematic review)의 전제는 다수의 연구 결과를 결합하면, 결과적으로 개별 연구의 bias가 희석 될 것이라는 기대이다. 연구가 각자 다른 방식으로 편향되어 있다면, 최소한의 품질 기준을 충족시키는 연구 결과를 모음으로써 체계적으로(즉, 편향 없이) 관심 주제에 대한 최선의 추정치를 도출 할 수 있다는 것이다.

 

3

이러한 주장이 얼마나 합당한지는 편향의 원인(및 방향)이 어느 정도 까지나 무작위적인지에 따라 달려있다. 그러니까, 만약 편향이 무작위적이지 않다면 어떨까? 교육 연구에서 많이 사용되는 준실험설계에서, 편향의 원인이 모두 같은 방향을 가리키는 경우가 여럿 있다. 따라서 개별 연구 결과의 평균치를 내어 편향과 교란요인을 없애려는 접근보다 체계적인 네러티브 검토(systematic narrative reviews)가 더 적합하다고 주장할 수 있다.

 

4

다른 문제도 있다. 하나는 ‘위장guise’의 문제이다. 문헌고찰의 퀄리티는 ‘수천 개의’ 초록을 검색해낸 체계성에 기초하지만, 결과적으로 모든 포함 및 배제 기준을 거치고 나면 고작 서너 개의 논문만 남는 경우도 적지 않기 때문이다. 또한, 체계적 문헌고찰을 수행할 때, 논문의 퀄리티를 평가하는 지표 자체가 편향의 원인이 될 수도 있다.

 

5

물론, 체계성이 없다면 논문은 편향될 것이다. 결국 어느 쪽도 편향을 피할 수 없고, 받아들이는 수 밖에 없다. 체계성을 갖춘다고 해도, 교육 논문은 매우 다양하므로 해석과 합성 과정의 특이성(idiosyncrasy)에서 오는 편향은 불가피하다. 다만 다른 배경을 가진 사람들과 협력하고, 피어리뷰를 받고, 다양한 해석을 고려함으로써 편향을 최소화하려고 노력할 뿐이다. 교육연구에서 좋은 문헌고찰은, 다양한 문헌을 비판적으로 종합synthesis해서, 잘 정립된 지식은 무엇인지 식별하고, 이해의 간극gap을 강조하며, 이해가 필요한 부분에 대한 가이드를 제공해야 한다.

 

출처:

Eva, K. W. (2008). On the limits of systematicity. Medical Education, 42(9), 852-853.