[리뷰] 내러티브 리뷰보다 체계적 리뷰의 잘못된 위계에 도전할 때가 되었나요?

출처: Greenhalgh, T., Thorne, S., & Malterud, K. (2018). Time to challenge the spurious hierarchy of systematic over narrative reviews?. European journal of clinical investigation, 48(6).

https://onlinelibrary.wiley.com/doi/10.1111/eci.12931

 

핵심 요점

• 체계적 문헌 고찰(systematic review)은 일반적으로 서술적 문헌 고찰(narrative review)보다 2차 연구 증거의 위계에서 더 높은 위치에 있다고 가정된다.
• 우리는 체계적 문헌 고찰과 서술적 문헌 고찰이 서로 다른 목적을 수행하며 상호 보완적인 것으로 봐야 한다고 주장한다.
• 기존의 체계적 문헌 고찰은 좁게 초점을 맞춘 질문을 다루며, 그 주요 기여는 데이터를 요약하는 것이다.
• 서술적 문헌 고찰은 해석과 비평을 제공하며, 그 주요 기여는 이해를 심화시키는 것이다.

 

1. 배경

1 | BACKGROUND

 

문헌 고찰을 더 체계적으로 수행하여 더 유익하고 신뢰할 수 있게 하자는 Cynthia Mulrow의 중요한 논문이 발표된 지 30년이 되었다. 최근 BMC Medical Research Methodology에 게재된 논문에서는 다섯 개의 주요 생의학 저널에서 체계적 문헌 고찰과 서술적 문헌 고찰의 비율을 비교했다. 저자들은 New England Journal of Medicine (0%)과 Lancet (11%)에서 Annals of Internal Medicine (72%)까지 다양한 비율을 발견했다. 저자들은 체계적 문헌 고찰이

• (i) 더 초점을 맞춘 연구 질문을 가질 가능성이 크고,
• (ii) 방법론적으로 명확하며,
• (iii) 서술적 문헌 고찰보다 편향될 가능성이 적다는 이유로 우수하다고 가정했다.

이 입장은 체계적 문헌 고찰을 수행할 때 명시적이고 감사 가능한 품질 기준을 사용하는 코크란 콜라보레이션(Cochrane Collaboration)의 존재 이유를 반영한다. 이는 무거운 방법론적 핸드북, 수많은 도구 및 체크리스트, 그리고 구조화된 보고 기준에 영감을 주었다. 방법론적 재현 가능성에 강한 강조를 두고 있으며, 이는 동일한 검색 기준, 품질 체크리스트 및 종합 도구를 사용하는 다른 연구팀이 동일한 결과를 얻어야 한다는 함의를 내포한다.

 

그럼에도 불구하고 주요 의학 저널들은 연구 질문이나 방법 섹션, 연구 선정 및 분석 방법에 대한 설명이 부족한 임상 주제 리뷰를 정기적으로 게재한다. 이러한 서술적 문헌 고찰은 종종 해당 분야의 주요 전문가를 의도적으로 모집하여 전문가 의견을 바탕으로 한다. 전문가의 경험과 판단에 따라 작성된 리뷰는 종종 신뢰할 수 없는 것으로 여겨진다. 그러나 근거 중심 의학(EBM)의 고전적인 정의는 증거 선택과 해석에서 판단이 중요한 역할을 한다고 제안한다.

 

요약하자면, 체계적 문헌 고찰이 우수하다고 정의된 2차 연구의 '위계'와 일부 주요 학술 저널에서 '최신 상태'로 간주하는 전문가 주도의 서술적 리뷰 간에 점점 더 큰 차이가 나타나고 있다. 우리는 이것이 체계적 문헌 고찰 형식이 보편적인 금본위제로 잘못 정의되었기 때문이며, 서술적 문헌 고찰이라는 용어가 자주 오해되거나 잘못 적용되고 부당하게 평가절하되기 때문이라고 생각한다.

 

코크란(Cochrane) 방식의 체계적 문헌 고찰은 증거의 식별, 평가 및 종합에 매우 기술적인 접근 방식을 사용하며, 일반적으로 (항상 그런 것은 아니지만) 무작위 대조 시험(randomised controlled trials, RCTs) 또는 이전의 체계적 문헌 고찰을 다른 형태의 증거보다 우선시한다. 이는 특정 대상 그룹에서 특정 질병을 치료하는 방법에 대한 매우 구체적인 질문에 답하는 것이 주요 목적일 때 적절할 수 있다.

 

그러나 임상에 있는 의사, 병동의 간호사, 또는 지역사회의 사회복지사는 다양한 건강 상태, 문화적 배경, 질병, 고통, 그리고 자원을 가진 환자들을 만날 것이다. 그리고 정책 결정 테이블에 모인 사람들은 필요의 부담, 다양한 치료법의 지역적 가용성, 개인의 증언, 대중 의견의 강도, 예산 현실 등의 여러 요구에 직면할 것이다. 이러한 복잡한 상황과 관련된 연구 증거를 의미 있게 종합하려면 리뷰어는 (i) 폭넓은 지식 출처와 앎의 전략을 통합해야 하고, (ii) 창의성과 판단을 활용하여 다층적인 해석을 수행해야 한다.

 

우리는 기존 저자들과 마찬가지로,

• Wittgenstein의 사상을 바탕으로 데이터를 요구하는 퍼즐 또는 문제(이 경우 전통적인 체계적 문헌 고찰과 적절한 경우 메타 분석이 선호되는 방법론일 수 있음)와
• 명확성과 통찰을 요구하는 문제(이 경우 기존 문헌의 보다 해석적이고 논의적인 종합이 필요함)를 구별한다.

 

이하에서는 체계적 문헌 고찰과 서술적 문헌 고찰의 강점, 한계, 개념적 혼란을 탐구한다. 우리는 세 가지 질문을 고려할 것이다:

• 무엇이 문헌 고찰을 체계적으로 만드는가,
• 서술적 문헌 고찰이란 무엇인가, 그리고
• 이러한 서로 다른 종류의 문헌 고찰은 경쟁적인가 아니면 상호 보완적인가?

 

2. 무엇이 문헌 고찰을 체계적으로 만드는가?

2 | WHAT MAKES A REVIEW SYSTEMATIC?

 

코크란(Cochrane) 의미에서 체계적 문헌 고찰의 핵심 특징은 사전에 정의된 구조화된 방법을 사용하여 좁게 초점을 맞춘 연구 질문에 답하기 위해 연구 결과를 검색, 선별, 선택, 평가 및 요약하는 것이다. 체계적인 검색 방법론을 사용하여 리뷰어는 모든 관련 가능성이 있는 1차 연구를 추출한 후 명확한 포함 및 제외 기준을 적용해 데이터셋을 제한한다. 이때 리뷰의 초점은 매우 제한적이며 품질 기준은 엄격하게 적용된다. 일반적으로 초기 검색에서 수백 또는 수천 개의 잠재적 연구가 확인되지만, 리뷰어가 이 연구들이 어떤 의미를 갖는지 고려하기 시작하기 전에 이 수는 단 몇 개로 좁혀진다.

 

따라서 "체계적"이라는 용어는 "고품질"과 동의어가 아니다. 오히려 이는 좁은 초점, 철저한 검색, 높은 배제 비율, 그리고 해석적 방법보다는 기술적 방법에 중점을 둔 일련의 방법론으로 볼 수 있다.

 

문헌 고찰의 품질을 검색, 포함 및 제외 기준 적용, 데이터 추출 표 작성, 효과 크기를 수학적으로 합산하는 등의 작업의 성실성과 혼동하는 것이, 우리가 보기에는, 체계적 문헌 고찰의 확산으로 이어졌으며, 이러한 고찰은 저자들의 적격 기준을 충족한 좁은 범위의 연구 결과를 집합적으로 보여주는 경향이 있다. 이러한 연구들은 종종 추가적인 메타 분석을 통해 임상적으로 중요한 효과가 통계적으로도 유의미한지 여부를 확인할 때 가치를 더할 수 있다. 그러나 때로는 "체계적 문헌 고찰"이라는 용어가 단순한 데이터 집합이 지식 위계에서 과도하게 특권적 위치를 주장하는 수단이 되기도 한다.

 

우리는 코크란 및 캠벨 협력 내에서 체계적 문헌 고찰의 과학이 점차 다양한 1차 연구 및 방법론을 포용하는 방향으로 진화하고 있으며, 연구 질문과 탐구되는 맥락에 맞는 증거의 표본 추출, 평가 및 종합 절차가 권장되고 있음을 인정한다. 따라서 "체계적"이라는 형용사는 특정 사전 정의된 도구나 체크리스트를 엄격히 따르거나 무작위 대조 시험을 우선시하는 것을 의미하기보다는 방법의 투명성과 적절성을 의미하는 더 넓은 의미를 얻어가고 있다. Lewin, Petticrew, Pluye 등의 방법론적 연구가 이를 잘 보여준다. 그러나 이러한 모든 접근 방식은 여전히 사전에 정의된 비교적 좁은 질문에 답하는 데 초점을 맞추며, 주로 경험적 데이터를 추출, 표로 정리하고 요약하는 데 중점을 둔다.

 

 

3. 서술적 문헌 고찰이란 무엇인가?

3 | WHAT IS A NARRATIVE REVIEW?

 

서술적 문헌 고찰은 해석과 비평을 포함한 학문적 요약이다. 여러 독특한 방법론을 사용하여 수행될 수 있으며, 체계적 문헌 고찰의 고전적 방법론과 원칙 및 절차가 다를 수 있지만, 임의적이거나 부주의한 방식으로 이루어지는 것은 아니다. 목적, 방법, 맥락에 따라 체계적인 방식으로 수행되고 제시될 수 있다.

 

다양한 종류의 문헌 고찰은 서로 다른 종류의 진실을 제공한다. 전통적인 체계적 문헌 고찰과 메타 분석은 확률적 진실(일반적으로 베이지안적 진실)을 다루며, 주로 예측을 돕기 위한 일반화된 '사실'을 생산하는 데 중점을 둔다. 반면, 서술적 문헌 고찰은 개연적 진실을 다룬다. 그 목적은 동료 전문가들로 구성된 청중에게 설득력 있는 논쟁을 제공하는, 지식과 통찰에 기반한 권위 있는 주장을 펼치는 것이다. 따라서 서술적 문헌 고찰의 저자는 1차 연구를 포함하되 이에 국한되지 않는 근거와 그 근거가 어떻게 선택되고 결합되어 결론을 도출했는지를 신중하게 반영해야 한다.

 

• 해석학적 문헌 고찰은 이해(verstehen), 즉 해석적 이해를 형성하는 과정을 기준점으로 삼는다. 이는 더 넓은 연구 범위 내에서 특정 데이터셋(이 경우, 개별 1차 연구)에 대한 비판적 성찰을 통해 얻을 수 있는 지속적인 통찰의 심화를 활용한다. 체계적인 검색 방법과 포함/제외 기준을 사용하여 연구 집합을 정의할 수도 있고, 그렇지 않을 수도 있지만, 그 주요 초점은 이론적 이해를 발전시키기 위한 귀납 및 해석 작업에 있다.
• 실재론적 문헌 고찰(realist review)은 특정 메커니즘(예: 또래의 영향)이 특정 상황에서(예: 사회적으로 흡연에 대한 반대가 강할 때) 특정 결과(예: 금연)를 어떻게 생성하는지에 대한 "생성적 인과관계"를 고려한다. 반면
• 메타-서사 문헌 고찰(meta-narrative review)은 특정 연구 전통의 흐름을 시간에 따라 추적한다. 이 방법은 시간에 따라 발표된 연구 결과를 비교하는 데 중점을 두기보다는, 다른 학문 공동체 내에서 사고의 발전 과정에서 아이디어가 어떻게 변화했는지를 비판적으로 성찰한다
  • (예: 다양한 학문 분야에서 '혁신 확산'이라는 용어가 어떻게 정의되고 탐구되었는지에 대한 초기 사례).

 

이러한 서술적 문헌 고찰의 형태들(그리고 질적 연구에서 1차 연구를 결합하는 다른 전문적 접근 방식)은 분석과 종합 과정에서 체계적일 수 있으며, 리뷰 과정에서 기대되는 명확한 렌즈를 반영한다. 서술적 문헌 고찰은 또한 통합적 문헌 고찰(integrative) 및 비판적 문헌 고찰(critical)과 같은 더 일반적인 스타일을 포함하며, 전자는 임상 저널에서 서술적 문헌 고찰이 주로 사용하는 접근 방식이다. 이러한 모든 접근 방식은 해당 주제뿐만 아니라 그것이 왜 특정 방식으로 연구되었는지, 우리가 그것에 대해 알고 있는 것에 대해 어떠한 해석이 이루어졌는지, 그리고 임상 실무에 영향을 미치거나 영향을 미칠 수 있는 지식 기반의 본질을 확장하는 데 중요한 역할을 한다.

 

해석학적, 실재론적, 메타-서사 문헌 고찰은 명확한 방법론과 품질을 판단하기 위한 기준과 표준을 가지고 있기 때문에 일부 학자들은 이러한 접근 방식을 (넓게 정의된) 체계적 문헌 고찰 범주에 포함시키기도 한다. 그러나 저널 편집자들이 이러한 기술을 기반으로 한 문헌 고찰을 "체계적이지 않다"는 이유로 거부하는 경우도 경험한 바 있다. 또한 서술적 문헌 고찰을 위한 '실행 방법' 가이드가 등장했는데, 이는 리뷰어에게 명시적인 검색 전략으로 시작하고 1차 연구를 위한 엄격한 포함 및 제외 기준을 정의하는 등의 작업에 집중할 것을 권장하지만, 이는 우리 관점에서 오해를 불러일으킬 수 있다. 즉, 체계적 문헌 고찰과 서술적 문헌 고찰의 경계는 불명확하고 논란의 여지가 있다.

 

 

4. 체계적 또는 서술적, 혹은 체계적이면서도 서술적인가?

4 | SYSTEMATIC OR NARRATIVE OR SYSTEMATIC AND NARRATIVE?

 

'체계적'이라는 것이 더 높은 품질을 의미하고, '서술적'이라는 것이 더 낮은 품질을 의미한다는 혼동은 2차 연구의 방법론적 혼란을 불러일으키는 주요 원인이다. 이 암묵적인 증거 위계(또는 피라미드)는 포괄적 검색, 광범위한 배제 및 수학적 평균화 같은 기계적인 과정을, 아이디어와 깊이 있게 상호작용하고 비판적으로 성찰하는 과정보다 더 우월하게 여긴다. 서술적 문헌 고찰에서의 사고와 해석에 중점을 두는 것은 일부 저자가 "근거 기반(evidence-based)"보다 "근거에 입각한(evidence-informed)"이라는 용어를 사용하는 이유이다. 서술적 문헌 고찰은 단순히 데이터를 추출하고 종합하는 방법 주도적 활동 이상의 것일 뿐만 아니라, 그 이하의 것도 아니다.

 

체계적 문헌 고찰 교육은 연구자들에게 검색, 분류, 포함 기준에 맞춘 체크, 추출된 데이터의 표 작성 및 '평균값'과 신뢰 구간 생성과 같은 기술적 작업에 숙련된 세대를 배출했다. 이러한 기술은 중요하지만, Faggion 등의 최근 기사에서 설명하듯이 비판가들은 이러한 기술이 이해를 생성하는 과정을 대체하거나 무의미하게 만든다고 잘못 추정할 수 있다. 체계적 문헌 고찰이 사용 가능한 연구의 엄격하게 정의된 하위 집합에서 공통된 발견만을 강조할 때, 우리는 우리가 주목해야 할 놀라운 다양성과 변이를 놓칠 위험이 있다. 학문적 측면을 배제함으로써 체계적 문헌 고찰은 우리의 지식 지형을 심각하게 왜곡할 수 있는 잠재력을 지닌다. 특정 유형의 질문에 답할 때 체계적 문헌 고찰이 이상적인 접근 방식일 수 있는 경우가 있지만, 사려 깊고 해석적인 비판적 성찰이 없으면 그러한 결과물은 공허하고, 오해를 일으키며, 잠재적으로 해로울 수 있다.

 

체계적 문헌 고찰이 서술적 문헌 고찰보다 편향이 덜하다는 주장은 '편향'이 무엇을 의미하는지에 대한 질문을 제기한다. 편향은 역학적 개념으로, 집단 간의 객관적 비교를 왜곡하는 것을 의미한다. 이는 오랫동안 과학적 방법을 정의해온, 냉정하고 도구적이며 보편적인 '어디에도 위치하지 않은 관점'을 전제로 한다. 반면 해석을 말할 때 우리는 필연적으로 특정한 관점을 수반하는 분석을 의미하며, 이는 독자가 왜 특정한 관점과 선택 과정, 해석적 방법론이 해당 질문과 관련하여 선택되었는지를 이해할 수 있도록 연구자가 투명하게 위치함을 의미한다. 연구 과정의 이러한 측면에 대한 체계적이고 투명한 성찰 및 공유는 해석적 연구의 과학적 품질을 높인다.

 

체계적 문헌 고찰 기법이 2차 연구에서 편향을 제거할 수 있는지에 대한 질문 자체가 논란의 여지가 있다. 질문과 연구 결과의 적절성보다 편향 제거를 우선시하는 것은 연구 주제의 구성이 어떻게 이루어졌고 어떤 질문을 탐구해야 하는지가 자명하다는 잘못된 가정을 한다. 최근 노르웨이의 국가 지식 센터에서 정책 결정을 지원하기 위해 생성된 체계적 문헌 고찰을 검토한 결과, 대부분의 경우 증거 기반은 관련 정책 질문의 일부분만을 다루고 있었다. 더 일반적으로, 체계적 문헌 고찰의 과학이 상업적 및 기타 이해관계 충돌로 인해 점점 왜곡되고 있다는 증거가 증가하고 있으며, 이러한 이유로 다양한 품질 체크리스트를 통과했음에도 불구하고 불필요하거나 오해를 일으키거나 편향된 문헌 고찰이 등장하고 있다. 명확하고 편향 없는 증거 요약의 포괄적 데이터베이스를 추구하는 것은 여전히 미래에 남아 있는 과제로, 이를 위해 코크란 콜라보레이션이 설립되었다.

 

서술적 문헌 고찰에 대한 정당한 비판 중 하나는 특정 관점을 강화하기 위해 증거를 선별적으로 선택할 수 있다는 것이다. 하지만 이에 대한 반론으로, 서술적 문헌 고찰자가 주요 정책 질문과 관련된, 그리고 어떤 연구 프로그램에 자금을 지원해야 할지에 대한 질문을 염두에 두고 신중하고 목적적으로 증거를 선택한다는 점을 고려해야 한다. 서술적 문헌 고찰이 잘 수행될 수도 있고, 그렇지 않을 수도 있다는 점을 인정하면서도, 우리는 이러한 고찰이 과소평가되는 것이 연구 낭비의 주요 원인 중 하나라고 믿는다. 지식의 상태, 무지, 불확실성을 명확히 강조하는 주제에 대한 해석적 개요가 없다면, 연구 자금은 중요성이 낮거나 이미 답변이 된 질문에 계속 투입될 것이다.

 

이 원칙은 최근 심부전에서의 원격 의료에 관한 해석학적 문헌 고찰에서 잘 나타났다. 이 고찰은 7개의 체계적 문헌 고찰의 메타 고찰, 32개의 체계적 문헌 고찰(이 중 17개는 메타 분석), 수백 개의 1차 연구, 그리고 6개의 메가 시험을 확인했다. 이들 중 대부분은 원격 의료의 효과 크기를 확인하기 위한 무작위 대조 시험이 더 필요하다는 결론을 내렸다. 그러나 해석학적 접근은 연구자들이 좁은 질문을 추구하면서 충분히 탐구되지 않은 여러 질문들을 드러냈다. 예를 들어, 심부전과 관련된 복잡하고 변화하는 동반 질환 및 사회적 결정 요인, 심부전 환자의 다양한 경험과 우선순위, 심부전 관리에서 상향 조정의 가이드라인 원칙의 문제점, 원격 의료 프로그램 도입과 관련된 수많은 조직적, 규제적, 정책적 복잡성 등이 있다. 고찰은 다음과 같은 결론을 내렸다: “심부전을 위한 원격 의료의 제한된 채택에는 복잡한 임상적, 전문적, 제도적 원인들이 있으며, 이미 과밀화된 문헌에 또 다른 기술 사용 여부에 관한 무작위 대조 시험을 추가하는 것으로는 이러한 원인들이 밝혀지지 않을 가능성이 높다. 이에 대한 대안적 접근으로는 자연주의적 연구 설계, 사회 및 조직 이론의 적용, 그리고 사회-기술적 원칙을 기반으로 한 새로운 서비스 모델의 공동 설계가 제안된다."

 

5. 결론

5 | CONCLUSION

 

많은 저자와 저널 편집자들이 잘 알고 있듯이, 서술적 문헌 고찰은 체계적 문헌 고찰의 열등한 형태가 아니라, 서로 다른 잠재적으로 상호 보완적인 학문적 형태이다. 그럼에도 불구하고 "체계적 문헌 고찰은 좋고, 서술적 문헌 고찰은 덜 좋다"라는 단순한 위계는 일부에서는 여전히 지속되고 있다. 체계적 문헌 고찰의 과소평가된 한계와, 서술적 문헌 고찰을 통해 해당 분야에서 이해를 확장할 수 있는 기회가 놓치는 것은, 좁고 흥미롭지 않은 연구 의제를 정당화하고 지속시키며 연구 낭비에 기여할 위험이 있다. 우리는 정책 입안자들과 임상의들에게, 그리고 미래의 증거 기반을 형성할 연구 결정권자들에게 서술적 문헌 고찰에 부여된 낮은 지위를 재평가할 것을 촉구한다.