[리뷰] 리뷰 제품군 충족하기: 리뷰 유형 및 관련 정보 검색 요구 사항 살펴보기

출처: Sutton, A., Clowes, M., Preston, L., & Booth, A. (2019). Meeting the review family: exploring review types and associated information retrieval requirements. Health Information & Libraries Journal, 36(3), 202-222.

https://onlinelibrary.wiley.com/doi/10.1111/hir.12276

 

주요 메시지

• 리뷰 유형과 리뷰 가족을 언급할 때 일관된 용어를 사용하며, 동일한 가족 내의 리뷰 유형 간에 명확한 구분을 지켜야 한다.
• 정보 전문가들은 리뷰 가족 및 유형과 관련된 검색 방법을 익히고, 이를 통해 리뷰 팀에서의 역할을 향상시켜야 한다.
• 일반적인 방법이 적절하지 않은 경우, 정보 전문가들은 각 리뷰 유형에 적합한 증거 식별 방법을 개발하고 검증해야 한다.
• 반복적 검색에 대한 정의와 실용적 지침이 필요하다.
• 증거 식별을 지원하기 위한 자동화된 방법의 추가 검증이 필요하며, 충분한 연구가 수행되면 명확한 지침이 개발되어야 한다.

배경

Background

 

문헌 리뷰는 학문이 존재한 이래로 거의 항상 학술 작업에서 중요한 역할을 해왔다. 이전에 작성된 내용들을 검토하고, 그에 비추어 후속 작업을 배치하는 것은 학문 분야나 연구 전통에 상관없이 필수적인 것으로 간주된다. 최근에는 문헌 리뷰의 실용적인 기능에 대한 강조가 커졌으며, 이는 지식 전파와 전문 및 조직적 실무의 변화를 촉진하는 데 중요한 역할을 한다. 그 결과, 연구 활동을 맵핑하고 기존 지식을 통합하는 전통적인 리뷰의 역할은 증거 기반 의사 결정 내에서 도구적 기능으로 보완되었다.

 

이러한 문헌 리뷰의 광범위한 역할은 리뷰 제품의 형태와 기능에 여러 가지 함의를 제공한다. 리뷰가 교육, 연구, 실무에서 다양한 역할과 목적을 통합하면서, 리뷰 유형 또한 증가하였고, 때로는 상호 배타적이지 않은 새로운 명칭들이 부여되었다(Moher, Stewart & Shekelle, 2015). 또 다른 경향으로는 체계성의 증가가 있으며, 체계적 리뷰 모델의 영향은 다른 형태의 문헌 리뷰에도 영향을 미치고 있다. 이로 인해 리뷰는 절차에서 체계적이고, 방법을 명시적으로 설명하며, 가능한 한 재현 가능하게 하여 지식 통합을 용이하게 하는 것이 요구되고 있다(Booth, Sutton & Papaioannou, 2016b).

 

의료 분야에서는 Mulrow(1987)가 당시 의료 교육과 실무에서 중요한 역할을 했던 전통적인 의학 리뷰의 변동적인 품질을 비판한 것이 결정적인 순간이었다. 이에 대응하여, 체계적 리뷰 방법론은 더 감사 가능하고 재현 가능한 템플릿을 제공하였으며, 이 모델의 영향은 문헌 검색에서 여러 리뷰 유형에 암묵적 또는 명시적으로 반영되고 있다. 일부 경우에는 체계적 리뷰 템플릿에서 벗어난 것이 '신속 리뷰'와 같은 구별되는 특징이 되기도 한다. 또 다른 경우에는 체계적 리뷰 검색 방법이 다른 방법론에 억지로 결합되기도 하며, 예를 들어 메타-민속학(meta-ethnography)과 사실주의 합성(realist synthesis)은 애초에 체계적 검색을 위한 것이 아니었으나, 특히 건강 연구에서 종합적 접근 방식을 추구하면서 기회적이거나 목적 지향적인 표본 추출 방법이 무시되었다.

 

우리는 여기에서, 그리고 다른 곳에서도, 모든 리뷰 유형이 '체계적'이어야 한다고 주장한다. 이는 모든 연구가 '일련의' 탐구 체계를 따를 것으로 기대된다는 의미이다(Booth et al., 2016a). 그러나 이는 모든 리뷰가 '체계적 리뷰'이어야 한다는 것과는 상당히 다르다. 체계적 리뷰는 편향을 최소화하도록 설계된 절차를 따른다. 해석적 리뷰 유형의 경우, 동반된 내러티브는 개인적, 학문적 또는 조직적 관점을 명시적으로 제시할 수 있다. 후자의 경우, 독자가 그러한 결정이 어떻게 이루어졌는지, 그 근거가 어떻게 도출되었는지, 그리고 그러한 선택에서 발생한 한계가 무엇인지에 대해 충분한 정보를 제공받는다면, 본질적으로 '편향된' 것은 아니다. 모든 리뷰는 정량적이든 정성적이든 간에 리뷰어와 리뷰 팀이 자신들의 리뷰 결과와의 관계에 대해 성찰적(reflexive)인 태도를 갖는 것이 이익이 된다. 이는 1차 정성 연구에서 인식된 특징이지만, 정량적 리뷰에서는 재정적 이익, 후원 또는 공식적인 조직적 관계에만 국한된 것으로 잘못 해석되는 경우가 많다.

 

목적
Objective

 

이 연구의 목적은 기존의 리뷰 유형들을 현존하는 지침과 유형 분류를 바탕으로 특성화하고, 정보 검색 요구 사항에 특별히 중점을 두는 것이다.

 

방법

Method

 

연구팀은 먼저 이전에 발표된 유형 분류와 컴펜디아(다섯 개 이상의 리뷰 유형을 포함한 컬렉션으로 정의됨)에서 리뷰 유형 목록을 작성하였다. 저자들은 방법론 전문가로서 초기 유형 분류/컴펜디아 목록을 미리 작성하였으며, 이들은 연구, 교육, 학술 활동에서 사용되는 리뷰 유형과 분류를 문서화하기 위해 정기적인 인용 검색 및 알림을 활용하고, 새로운 리뷰 유형에 대한 정보를 지속적으로 파악하는 여러 학술 그룹에서 활동하고 있다. 리뷰 유형을 식별하기 위해 15개의 유형 분류가 출처 문서로 사용되었다(표 1 참조). 연구팀은 유형 분류/컴펜디아에서 리뷰 유형 목록을 작성한 후, 팀의 경험과 독서를 통해 추가적인 리뷰 유형을 보완하였다.

 

 

표 1. 유형 분류 출처 문서

Table 1 Typology source documents

 

식별된 리뷰 유형은 다음 기준에 따라 리뷰에 포함되었다:

• 최소 하나의 건강 리뷰 유형 분류에 포함되어 있거나
• 최소 하나의 방법론적 논문 또는 실제 사례를 가지고 있거나
• PubMed에 10개 이상의 사례가 색인되어 있는 경우(프로토콜 제외)

포함된 리뷰 유형은 리뷰 목적과 주요 특성의 공통점을 바탕으로 '가족'으로 분류되었다. 주요 특성에는 검색 요구 사항이 포함되며, 이러한 정보가 있을 경우에 적용되었다.

 

포함된 리뷰 유형에 대한 정보 검색 지침을 식별하기 위해 다음과 같은 다양한 검색 방법을 사용하였다:

• Cochrane, Campbell Collaboration, Centre for Reviews and Dissemination(University of York), The Joanna Briggs Institute(The University of Adelaide)와 같은 리뷰 생산 기관의 웹사이트에서 최신 지침을 검색 및 탐색함. 전체 목록은 표 2 참조.
• PubMed에서 Systematic Review Methods Filter(The PubMed Health Team, 2015)를 사용하여 알려진 리뷰 유형 이름과 함께 검색함. 예: sysrev_methods[sb]와 scoping review
• 방법 1 & 2가 관련 지침을 찾지 못한 경우, PubMed, Medline(Ovid 경유) 및 Google Scholar에서 리뷰 유형 제목을 검색함.

 

표 2. 검색된 웹사이트

 

지침 유형은 (i) 공식 지침, (ii) 방법론적 조언, (iii) 현재 실무로 분류되었다. 공식 지침 식별에 우선 순위를 두었다. 공식 지침이 식별된 경우, 해당 리뷰 유형에 대한 검색을 중단하였다. 공식 지침이 식별되지 않은 경우, 방법론적 조언을 찾았다. 마지막으로 방법론적 조언이 없을 경우, 현재 실무를 검색하였다. 지침 유형 분류 기준은 다음과 같았다:

• 공식 지침: 리뷰를 생성하거나 의뢰하는 공인된 기관에서 제작한 것.
• 방법론적 조언: 리뷰를 수행한 경험이 있는 저자들이 작성한 동료 평가를 받은 출판물.
• 현재 실무: 검색 방법 설명을 포함한 사례 연구, 학술 발표 또는 온라인 자료.

식별된 모든 지침에서, 전체 검색 접근법, 필요한 문헌 유형, 증거 식별 방법, 지침 유형과 관련된 데이터를 추출하였다(가능한 경우). 다수의 지침 예시가 식별된 경우, 복잡성보다는 일관성을 추구하며 전문가적 판단을 사용해 권장 사항을 종합하였다. 증거 식별에 관한 데이터를 추출할 때, 요구 사항을 '필수'와 '선택적'으로 분류하였다. 필수는 해당 리뷰 유형의 최소 요구 사항으로 정의되었으며, 선택적은 주제에 적합하고 시간 및 자원이 허락하는 경우에 적용될 수 있는 방법으로 정의되었다. 지침이 식별되지 않은 경우, 연구 방법론 전문가로서의 지식과 경험을 사용하여 온라인에서 제공되는 표 S1의 증거 식별 섹션을 작성하였다. 동일한 리뷰 유형에 여러 리뷰 이름이 적용되는 경우, 우리는 논의 후 선호하는 라벨에 대해 합의를 도출하였다. 이 경우, 데이터 추출 표의 '다른 이름으로 알려진' 섹션에 리뷰 유형의 동의어를 나열하였다.

 

결과

Results

 

총 48개의 독립적인 리뷰 유형이 식별되었다. 이 리뷰 유형들은 7개의 광범위한 리뷰 ‘가족’으로 분류되었다: 전통 리뷰, 체계적 리뷰, 리뷰 오브 리뷰, 신속 리뷰, 정성적 리뷰, 혼합 방법 리뷰, 특정 목적 리뷰. 각 리뷰 유형에 대한 정의는 표 3에 있으며, 각 리뷰 유형에 대한 전체 데이터 추출은 표 S1(온라인 제공)에 있고, 서술적으로 요약한 내용은 아래에 나와 있다.

 

표 3. 리뷰 유형 정의

 

 

전통 리뷰 가족
Traditional review family

 

이 리뷰 가족은 일반적으로 목적 지향적 표본 추출 방법을 사용하지만, 체계적 리뷰의 영향으로 인해 전통 리뷰(예: 내러티브 리뷰)도 이제는 방법론적으로 포괄성을 목표로 하는 경우가 있다. 목적 지향적 접근은 필요한 문헌의 유형(예: 비판적 리뷰는 이론 및 실증 연구에 초점을 맞춤)이나 시간 범위(예: 최신 상태 리뷰는 가장 최근의 문헌에 중점을 둠)를 결정할 수 있다. 모든 전통 리뷰는 서지 데이터베이스 검색을 사용하지만, 그 방법이 항상 명확하게 설명되지는 않는다. 일반적으로 전통적인 리뷰 유형에서도 더 체계적인 접근으로 전환하는 경향이 있으며, 투명한 보고가 점점 더 요구되고 있다(Byrne, 2016). 전통 리뷰에서 서지 데이터베이스 검색이 주된 방법이지만, 내러티브 요약 및 최신 상태 리뷰는 정책 문서가 리뷰 범위에 관련이 있을 경우 회색 문헌 검색을 포함하기도 한다. 실무로의 연구 통합에 중점을 둔 통합 리뷰는 진행 중이거나 예비 연구를 식별하기 위해 연구 등록소 검색을 포함할 가능성이 크다. 참고 문헌 목록 확인은 일반적으로 선택적 검색 방법으로 제안되며, 일부 리뷰 유형은 수작업 검색이나 전문가와의 접촉을 활용하기도 한다. 예를 들어 내러티브 요약과 같은 신속한 성격의 리뷰는 시간 제약 때문에 검색 방법을 축소할 수 있으며, 따라서 선택적 검색 방법이 제외될 수 있다. 전통 리뷰에 대한 공식적인 검색 방법 지침은 식별되지 않았지만, 검색 방법은 일반적으로 리뷰 유형을 설명하는 학술 논문 내에서 다루어진다(Gasparyan, Ayvazyan, Blackmore & Kitas, 2011; Khangura et al., 2012; Whittemore & Knafl, 2005).

 

체계적 리뷰 가족
Systematic review family

 

정성적 체계적 리뷰를 제외하고, 체계적 리뷰 가족의 모든 리뷰 유형은 포괄적인 검색 접근을 특징으로 한다. 체계적 리뷰는 종종 특정 연구 유형에 중점을 두며, 일반적으로 관찰 연구와 같은 범주일 수 있거나 경제 평가와 같은 특정 연구 설계일 수 있다. 포함된 연구 유형은 종종 리뷰의 이름에 반영된다. 서지 데이터베이스 검색은 필수적이며, 보통 여러 소스를 통해 이루어지며 최소한 두 개 이상의 데이터베이스를 사용한다. 최소 기준은 리뷰 유형에 대한 지침 문서에서 결정되는 경우가 많다. 일부 리뷰 유형에 대한 검색을 위한 전문 소스가 존재하지만, 모든 경우에 유지되지는 않는다. 예를 들어, 경제 평가 리뷰에 권장되는 NHS Economic Evaluation Database는 유지되지 않고 있다(Briscoe, Cooper, Glanville & Lefebvre, 2017). 회색 문헌도 포함되어야 하지만 지침은 일관되지 않다. 일부 리뷰 유형은 검색할 소스를 구체적으로 명시하지만, 다른 유형들은 일반적인 의미에서 ‘회색 문헌 검색’을 언급한다. 회의 초록과 연구 프로토콜은 체계적 리뷰 가족의 검색 방법에서 증거의 출처로 자주 언급되며, 반드시 포함되는 것은 아니지만, 포함될 수 있는 연구를 찾기 위한 단서로 사용된다. 권장되는 보충 검색 방법으로는 수작업 검색, 참고 문헌 목록 확인, 인용 검색 및 전문가와의 접촉이 포함된다(Cooper, Booth, Britten & Garside, 2017; Cooper, Lovell, Husk, Booth & Garside, 2017). 최근에는 웹 검색의 잠재적 역할(Briscoe, 2015, 2017; Stansfield, Dickson & Bangpan, 2016)에 대한 강조와 함께 다른 학문 분야에서 비롯된 체계적인 눈덩이식 검색 방법이 등장했다(Wohlin, 2014). 많은 체계적 리뷰 유형에 대한 검색 방법에 대한 공식 지침은 Cochrane, Campbell Collaboration 및 Health Technology Assessment International과 같은 기관 내 정보 전문가들의 협력으로 수립되었다. 체계적 리뷰 가족 유형에 대한 보고 기준과 지침도 PRISMA(Moher, Liberati, Tetzlaff & Altman, 2009)의 작업을 통해 잘 개발되어 있다.

 

리뷰 오브 리뷰 가족

Review of review family

 

리뷰 오브 리뷰 가족은 주로 체계적 리뷰나 증거 종합에 중점을 두고, 1차 연구보다는 이러한 연구 유형을 우선시한다는 점에서 독특하다. 포괄적인 접근 방식이 사용되며, 검색 소스와 기법에 대한 지침은 일관된다: 체계적 리뷰를 색인하는 데이터베이스(예: Cochrane Database of Systematic Reviews)와 같은 소스에 중점을 두고, 서지 데이터베이스 검색 시 체계적 리뷰 필터를 사용한다. 회색 문헌 검색이 권장되며, PROSPERO에서 진행 중인 리뷰를 검색하는 것도 포함된다. 다양한 선택적 방법이 사용될 수 있는데, 그중에서 참고 문헌 목록 확인이 가장 흔하게 언급된다. 일반적으로 리뷰 오브 리뷰는 체계적 리뷰와 동일한 방법론적 및 보고 기준을 따르며, 체계적 리뷰 가족과의 중복이 분명하게 존재한다.

 

공식적인 검색 지침은 식별하지 못했으나, 정보 전문가들이 방법론 연구에 기여하고 출판물 및 학회 발표를 통해 이를 확산하고 있다. 예를 들어, Wright와 Walwyn(2016)의 개요 리뷰 및 Golder와 Wright(2016)의 우산 리뷰에 관한 연구가 있다.

 

신속 리뷰 가족

Rapid review family

 

‘신속’이라는 명칭 하에 발표된 논문의 수가 증가하면서(Moher et al., 2015), 방법론도 발전하여, 리뷰가 전통적인 체계적 리뷰 방법에서 어떻게 단축되거나 변형되었는지에 따라 특정 유형으로 분류될 수 있다. 모든 신속 리뷰는 리뷰 팀과 의뢰자/고객 간의 세부적인 협의가 포함되어야 하며, 리뷰의 범위와 방법이 제한된 시간 내에 어떻게 전달될 것인지 결정하는 것이 이 가족의 핵심 특징이다. 리뷰가 유용하려면 프로세스의 수정 사항과 그에 따른 한계가 명확하게 선언되어야 하며, 이는 전통적인 체계적 리뷰보다 더 상세하게 설명되어야 할 수도 있다.

 

일부 신속 리뷰 유형은 검색 과정을 단축할 수 있지만, 다른 경우에는 평가, 종합 또는 분석 단계를 제거하거나 단순화함으로써 시간 절약이 이루어진다. 검색 과정을 간소화하기로 결정한 리뷰 팀은 종종 반복 횟수가 제한되고 검증이 최소화된 단순한 전략을 사용하거나, 제한된 수의 데이터베이스만을 검색하거나, 기존 리뷰와 같은 2차 소스에만 검색을 제한한다.

 

특정 제품 유형(예: 신속 증거 평가)은 미리 정의된 리뷰 방법론을 따르지만, 포함된 출판물의 구체적인 요구 사항은 종종 고객에 의해 정의된다(예: 동료 검토된 1차 연구보다 2차 소스나 최근 회색 문헌을 선호하는 경우). 특정 리뷰 유형(예: 신속 실재론적 리뷰)은 표본 추출에서 목적 지향적이고 기회적인 접근을 취할 수 있으며, 전문가 조언이나 쉽게 접근 가능한 지역 문서를 이론의 기초로 활용하여 목표로 하는 검색을 통해 검증이 완료될 때까지 증거를 확보하는 방식으로 진행된다.

 

본질적으로, 신속 리뷰 가족은 다양한 증거 유형과 이를 식별하는 다양한 접근 방식을 수용할 수 있는 유연한 템플릿을 제공한다. 이 가족의 결정적인 특징은 의뢰자와 리뷰 팀 간의 대화이다.

 

정성적 체계적 리뷰 가족

Qualitative systematic review family

 

정량적 연구의 체계적 리뷰와 비교했을 때, 정성적 체계적 리뷰는 상대적으로 짧은 역사를 가지고 있다(Harris et al., 2017). 그럼에도 불구하고, 정성적 연구 전통의 풍부함과 연구자들이 채택한 다양한 입장은 리뷰 유형의 급속한 확산과 혼란스러울 정도로 다양한 리뷰 유형을 만들어 냈다(Booth et al., 2016a). 리뷰 유형의 명칭은 정성적 연구를 리뷰하는 일반적인 과정을 나타낼 수 있으며(예: 정성적 메타 합성 또는 정성적 증거 합성), 사용된 특정 합성 방법에 관련될 수 있다(예: 주제 합성 또는 틀 합성). 또는 합성 과정을 전체 리뷰 결과물에 귀속시키는 경우가 많다(예: 메타-민속학 또는 비판적 해석 합성).

 

검색 접근 방식을 결정할 때, 정보 전문가들은 리뷰가 집합적(aggregative)인지, 해석적(interpretive)인지 고려해야 한다.

• 집합적 리뷰의 경우, 문헌 검색은 정량적 연구와 유사하게 다수의 데이터베이스와 보충 소스를 체계적으로 탐색하는 형태를 띠며,
• 이와 대조적으로 해석적 리뷰는 이론적 표본 추출이 적절할 수 있다(Booth, 2016).

 

두 번째 고려 사항은 이론이 리뷰에서 중요한 역할을 할 것으로 예상되는지 여부이다. 리뷰가 기존 이론을 탐구하거나 검증하려는 의도가 있다면, 연구 논문과 함께 이론을 위한 별도의 검색을 수행해야 한다(Booth & Carroll, 2015). 이는 개념적으로 주제에 기여하는 논문과 그 주제를 연구하거나 평가하는 논문 사이의 명확한 분리가 있다는 점에서 특히 중요하다. 이론을 찾기 위한 구체적인 방법이 개발되었다(Booth & Carroll, 2015; Booth, Wright & Briscoe, 2018).

 

세 번째로, 맥락의 차이가 현상을 이해하는 데 중요한지 여부를 고려해야 한다. 종종 중재에 대한 리뷰는 연구 간의 공통점을 찾으려 하며, 차이가 나는 연구는 설명이 필요한 이례적 사례로 간주된다. 그러나 정성적 체계적 리뷰에서는 차이를 이해하려는 경우가 많다. 복잡한 중재의 경우 패턴이 훨씬 더 복잡할 수 있기 때문에, 겉으로는 유사한 중재가 일부 맥락에서는 효과가 있지만 다른 맥락에서는 그렇지 않거나, 중재 또는 맥락 내 특정 ‘요소’의 존재, 부재 또는 양에 따라 효과의 정도가 달라질 수 있다. 맥락이 중요한 경우, 팀은 연구 맥락에 대한 가능한 한 완전한 그림을 얻기 위해 다양한 연구 보고서를 통해 정보를 얻는다. 포함된 연구의 확정된 세트에서, 검색자는 참고 문헌 확인, 인용 추적, 저자 및 연구 식별자를 추적하는 다양한 기법을 사용하여 더 광범위하고 ‘풍부한’ 증거를 모은다.

 

혼합 방법 리뷰 가족

Mixed methods review family

 

혼합 방법 리뷰는 혼합 방법의 1차 연구를 통합하거나, 더 일반적으로는 정량적 및 정성적 데이터를 통합하려는 리뷰로 정의된다. 혼합 방법 리뷰를 위한 지침은 아직 검증되지 않았지만 개발된 혼합 방법 연구를 검색하는 필터를 사용하는 것을 권장한다(El Sherif, Pluye, Gore, Granikov & Hong, 2016). 이 필터는 기본적으로 정성적 데이터를 포함한 논문을 검색하는 키워드와 혼합 또는 다중 연구 접근과 관련된 추가 용어를 사용한다. 정량적 및 정성적 연구를 모두 포함하려는 경우, 검색자는 세 가지 대안을 선택할 수 있다:

1. 정량적, 정성적 및 혼합 방법 연구 필터를 적용하고, 어떤 연구도 누락되지 않기를 기대한다.
2. 연구 누락에 대한 우려가 있다면, 이러한 필터를 모든 연구 유형을 검색할 수 있는 일반 용어(예: 연구, 연구 설계 등)로 보완할 수 있다. 그러나 이 접근 방식은 중복된 참고 문헌이 검색될 가능성이 있어 중복 제거가 필요하다.
3. 마지막으로, 필터 없이 주제 기반 검색을 수행한 후, 모든 검색 결과를 선별하는 방법이 있다. 이 ‘빅뱅’ 접근 방식은 리뷰 팀이 이론적이거나 기타 측면(예: 경제학)에 관심이 있는 경우 적절할 수 있다.

혼합 방법 리뷰는 혼합 방법 논문(즉, 정량적 결과와 정성적 결과가 동일 논문에 보고된 경우)과 형제 논문(즉, 동일한 연구 환경을 공유하는 정량적 논문과 정성적 논문)을 매우 중시하는데, 이는 두 가지 데이터 유형에서 도출된 결과를 상호 검증할 기회를 제공하기 때문이다. 따라서 인덱스 논문을 추적하여 관련 논문을 찾는 데 추가 시간을 투자하는 것이 매우 유용하며, 이는 CLUSTER 절차로 공식화되었다(Booth et al., 2013). 특정 맥락에서는 팀이 특정 논문 클러스터가 존재하는 위치를 매핑한 후, 이러한 풍부한 데이터 소스를 탐색하는 데 집중할 수 있다. 실재론적 리뷰와 같은 일부 혼합 방법 접근은 전문 저널 논문, 해설, 블로그 사이트, 일시적 자료 등과 같은 비연구 데이터를 통합하기도 하며, 포함된 자료 유형마다 특화된 검색 전략이 필요하다(Booth et al., 2018).

 

특정 목적 리뷰 가족

Purpose specific review family

 

특정 목적 리뷰 가족은 리뷰 유형과 방법의 이질성으로 인해 가장 특성화하기 어려운 리뷰 가족이다. 모든 리뷰 유형은 목적에 맞게 적절히 선택되어야 하지만, '특정 목적'이라는 표현은 하나의 특정한 목적을 충족시키기 위해 요구되는 맞춤화 정도가 커서 그 목적 외에 일반적인 사용으로 리뷰 유형을 조정하기가 더 어렵다는 의미를 내포하고 있다. 예를 들어, 건강 기술 평가(HTA)는 여러 질문을 다루는 체계적 리뷰로, 증거 기반 의사 결정 프레임워크 내에서 여러 영역을 다루며, 다양한 체계적 리뷰 검색 방법과 여러 필터를 사용해야 한다. 많은 HTA 기관은 Cochrane Handbook(Higgins & Green, 2011)이나 CRD 리뷰 수행 지침(Centre for Reviews and Dissemination, 2009)과 같은 일반적인 출처를 기반으로 한 자체 방법론 매뉴얼을 제작한다. 또한 HTAi IRG(2011) 웹사이트는 다양한 질문 유형에 대한 검색 방향을 제시한다.

 

개념 분석 및 맥락 분석과 같은 문헌 리뷰 유형에 대해서는 체계적 방법론이 존재하지만, 전반적인 방법은 명확히 지정되어 있는 반면 정보 검색에는 비교적 적은 주목이 이루어지고 있다. 특정 또는 일반적인 추가 연구 기회를 식별하기 위해 수행되는 범위 설정 리뷰(scoping reviews)와 맵핑 리뷰(mapping reviews)는 공식적인 지침과 방법론적 조언을 잘 활용하고 있지만, 이 용어들이 종종 혼동된다. 우리의 정의(표 3 참조)는 Grant와 Booth(2009)의 유형 분류를 기반으로 두 가지를 구분하고 있다.

 

검색 과정의 핵심은 리뷰 목적, 필요한 연구 유형 및 표본 유형과, 해당 표본을 제공하기 위한 개별 검색 전략 및 출처 사이의 정렬이다. 일부 특정 목적 리뷰는 비정기적인 프로젝트 요구에 따라 생성되었으나, 이후 더 넓은 범위에서 적용된다. 이러한 경우, 방법론적 지침이 존재하지 않으며, 사용된 방법은 기존 사례 연구에서 설명된 방법을 바탕으로 한다. 충분한 사례가 식별되면, 출판된 방법의 감사를 통해 수용된 관행과 방법의 변화를 문서화할 수 있다. 이는 실재론적 합성(Berg & Nanavati, 2016), 메타-민속학(France et al., 2014) 및 정성적 증거 합성(Hannes & Macaitis, 2012)과 같은 확립된 방법들에서 볼 수 있듯이 문서화된 사례이다.

 

논의

Discussion

 

빠르게 확장되는 분야에서 기존 리뷰 유형과 지침을 분류하려는 시도는 모든 사례를 다룰 수 없다. 여러 리뷰 유형이 다양한 이유로 최종 목록에 포함되지 않았다. 예를 들어, 신속 리뷰 가족에서는 'evidence brief'(또는 'briefing')라는 제목이 종종 사용되지만, 이는 과정이 아닌 결과물에 더 가깝다. 따라서 방법이 아닌 결과물과 관련된 명칭, 예를 들어 '신속 대응'(rapid response) 또는 '정책 브리프'(policy brief)와 같은 명칭은 제외되었다. 우리는 또한 2019년 5월에 발표된 새로운 유형 분류(Aveyard & Bradbury-Jones, 2019)와 같이 초기 분석 이후 발표된 새로운 유형 분류도 인식하고 있다.

 

명칭은 방법 및 절차에 대한 모호성을 제거할 수 있는 충분한 합의나 권위 있는 지침이 뒷받침될 때만 유용하다. 2009년, Grant와 Booth는 14개의 리뷰 유형에 대한 유형 분류를 발표하면서 '이름만 다른 리뷰 유형들 간의 설명에서 자주 불일치 또는 중복이 발생'한다고 강조했다(Grant & Booth, 2009). 우리는 현재 리뷰 유형을 정의하려는 시도가 여전히 이러한 상황이 존재한다는 것을 보여주었다. 일부 리뷰 유형은 방법론 및 접근 방식에 있어 눈에 띄는 차이 없이 상호 교환적으로 사용되고 있다. 그 예로는 리뷰 오브 리뷰/개요 리뷰와 우산 리뷰, 내러티브 합성과 내러티브 리뷰, 범위 설정 리뷰와 맵핑 리뷰가 있다. 우리는 이러한 특정 유형들 간에 명확한 구분을 제안하고자 하며, 이는 보다 견고한 유형 분류로 나아가는 첫 번째 단계로서 중요하다(표 4 참조).

 

표 4. 리뷰 유형 간의 구분

명칭	정의	명칭	정의
리뷰 오브 리뷰	여러 리뷰를 기회적으로 결합하여 다양한 기준과 방법으로 수행된 기존 증거 기반을 맵핑하고 종합하는 리뷰	우산 리뷰	동일한 방법론(예: Cochrane 리뷰)을 사용하여 수행된 기존 리뷰를 모두 결합해 비교와 분석을 용이하게 하는 리뷰
범위 설정 리뷰	특정 주제의 개념적 및 논리적 경계를 탐색하고 정의하여 향후 예정된 체계적 리뷰 또는 1차 연구를 위한 정보를 제공하는 리뷰	맵핑 리뷰	일반적으로 넓은 주제 영역을 다루어 향후 1차 연구 또는 체계적 리뷰에서 다루어질 증거의 공백을 식별하는 리뷰
내러티브 리뷰	체계적 리뷰 운동 초기 투명성 부족으로 비판받은 기존 모델. 더 체계적으로 수행될 경우, 연구를 더 넓은 분야 내에서 방향을 잡는 역할을 계속 수행함	내러티브 합성	혼합된 정량적 및 정성적 증거를 분석하기 위해 텍스트, 그래픽 및 표 형식을 사용하여 데이터에서 패턴을 탐색하는 특정한 4단계 합성 방법

 

이 표는 리뷰 유형 간의 주요 차이점을 명확하게 구분하여, 각 리뷰의 목적과 접근 방식의 차이를 강조합니다.

 

리뷰 유형 간의 혼동은 인식된 표준 및 지침이 존재하지 않을 경우 더 큰 문제로 나타날 수 있다. 새로운 리뷰 유형이 계속 등장하고 있지만, 그들의 특성이 아직 명확하게 드러나지 않았기 때문에 이번 분석에서는 최근 추가된 리뷰 유형을 제외하였다. 그러나 우리는 정보 시스템 문헌에서 상대적으로 흔하지만, 건강 연구에서는 드물게 나타나는 해석학적 리뷰(Hermeneutic Review)와 같은 새로운 리뷰 유형의 발전을 흥미롭게 지켜보고 있다(Greenhalgh & Shaw, 2017). 유사하게, 오랜 역사를 가진 생태적 삼각측량(Ecological Triangulation, Qualitative)은 건강 연구 분야에서 아직 구체적으로 도입되지 않았다. 또한 유전체 역학 리뷰(Genome Epidemiology Review 또는 Human Genome Epidemiology Review, HuGE)는 PubMed에서 2013년 이후로는 제한된 사례만이 출판되었으므로, 비교적 특수한 리뷰 유형이 널리 채택되지 않을 수도 있다.

 

살아있는 체계적 리뷰(Living Systematic Review) 또한 독립된 리뷰 유형으로 포함되지 않았으며, 현재는 이를 체계적 리뷰의 하위 유형으로 분류하는 것을 권장한다. 우리의 포함된 유형 분류 중 어느 것도 이 리뷰 유형을 포함하지 않았으나, 이는 비교적 최근에 등장한 방법론적 발전이기 때문이다(Elliott et al., 2014b). 작성 당시, PubMed에서 9개의 사례가 색인되어 있다. 우리는 이 리뷰 유형이 Cochrane에 의해 개발된 기존 방법론적 지침에 의해 지원되고 있다는 것을 인정하지만, 이는 파일럿 프로젝트로서 임시 지침으로 제공된 것이며 널리 채택된 확립된 방법론은 아니다. 이 영역도 계속해서 주목하고 있다.

 

정보 검색 요구 사항을 검토할 때, 실용적인 사용을 위해 해결해야 할 주요 영역이 있다. 우리는 검색 필터 사용, 반복적 검색 방법, 보고 기준, 그리고 체계적 검색 과정을 지원하는 도구 개발에 대한 정보를 모아서 아래에 제시한다.

 

리뷰에 포함할 특정 연구 유형을 식별하기 위한 검색 필터 사용은 일부 검색 방법 지침에서 탐구되었으며, 특히 체계적 리뷰 가족에서 두드러진다. Cochrane Handbook(Lefebvre et al., 2019)은 무작위 대조 시험을 식별하기 위해 기존의 고감도 검색 필터를 사용할 것을 권장한다. Campbell Collaboration의 정보 검색 가이드(Kugley et al., 2016)는 검색 필터 사용을 고려할 것을 제안하지만, 특히 사회 과학 분야를 검색할 때 주의가 필요하다고 언급한다. 적절한 검색 필터를 선택할 때는 성능, 효과성, 최신성을 평가해야 한다고 권장한다. ISSG 검색 필터 리소스는 검색 필터 성능을 검토하는 출판물의 인용을 포함한다(ISSG Search Filter Resource, 2008). 검색 필터는 리뷰 오브 리뷰와 우산 리뷰에서 체계적 리뷰를 식별하는 방법으로 권장되며, 성능을 고려해야 한다. 반면에, 진단 체계적 리뷰의 경우 검색 필터는 피해야 한다. 이는 진단 검색 필터 성능의 불일치 및 진단 연구 검색의 어려움이 인식되었기 때문이다(de Vet, Eisinga, Riphagen, Aertgeerts & Pewsner, 2008; Preston, Carroll, Gardois, Paisley & Kaltenthaler, 2015). 검색 필터는 사전 필터링되지 않은 일반 데이터베이스(예: Medline, Embase)에서 경제 연구를 검색할 때도 고려될 수 있다(Kaunelis & Glanville, 2017). 방법론적 검색 필터의 선택과 사용은 성능과 편리성 등 여러 요인에 따라 달라진다. 정보 전문가들은 필터 사용에 대한 장벽을 보고하며, 필터 개발자가 성능에 대한 덜 기술적인 정보를 제공하고, 필터 검증 및 출처에 대한 더 많은 정보를 제공함으로써 이러한 장벽을 극복할 수 있다(Beale et al., 2014).

 

반복적 검색은 특히 정성적 및 특정 목적 리뷰 가족에서 점점 더 중요해지고 있다. 그러나 이 기술에 대한 공통적으로 받아들여진 정의(그리고 그에 따른 방법론)가 없으며, 이 검색 유형과 관련된 일부 리뷰 유형(예: 틀 합성)은 아직 지침을 확립하지 못했다. 지침이 있는 경우에도, 반복적 검색의 필요성을 정당화하는 것에 중점을 두지만, 실제로 이 기법을 구현하기 위한 실질적인 단계는 거의 설명하지 않는다. 예를 들어, 메타-내러티브 리뷰에 대한 RAMESES 출판 기준은 검색이 '새롭게 등장하는 데이터에 비추어 반복적으로 수정되어야 한다'고 명시하고 있다(Wong, Greenhalgh, Westhorp, Buckingham & Pawson, 2013a). 반복적 기술로서의 베리 피킹(Berry Picking)은 Bates(1989)의 기념비적인 논문에서 명확히 정의되었으며, 정보 검색을 위한 새로운 모델로 제시되었다. 그러나 베리 피킹이 '반복적 접근'과 동일한 것인지에 대해서는 여전히 의문이 남아 있다.

 

체계적 리뷰의 핵심 특징은 투명성과 재현 가능성이다. PRISMA와 같은 보고 지침의 개발은 이러한 점을 촉진시켰다(Moher et al., 2009). 체계적 리뷰 외에도, 정성적 체계적 리뷰를 포함한 다른 리뷰 가족에서도 지침이 개발되었다(Tong, Flemming, McInnes, Oliver & Craig, 2012; Wong, Greenhalgh, Westhorp, Buckingham & Pawson, 2013b; Wong et al., 2013a). PRISMA(Moher et al., 2009), ENTREQ(Tong et al., 2012), EMERGe(France, 2018), RAMESES(Wong et al., 2013a, b)에 포함된 검색 및 정보 소스 항목 외에도 검색 방법론 문서화 및 보고에 관한 구체적인 지침이 제안되었으나(Booth, 2006), 아직 일반적으로 채택되지 않았으며, 정보 검색에 대한 국제적으로 인정된 보고 기준도 부족하다(Kable, Pich & Maslin-Prothero, 2012; Niederstadt & Droste, 2010). PRISMA-S라는 검색 보고와 관련된 PRISMA의 확장이 개발 중이며, 초안이 배포되었다(Rethlefsen, Ayala, Kirtley, Koffel & Waffenschmidt, 2019).

 

최근 체계적 리뷰는 리뷰 과정을 가속화하기 위한 도구와 자동화 기술의 발전과 채택을 목격하였다(Elliott et al., 2014a; Tsafnat et al., 2014), 여기에는 연구 식별 단계에서의 발전도 포함된다(O'Mara-Eves, Thomas, McNaught, Miwa & Ananiadou, 2015). 대부분의 리뷰 가족에는 지침이 존재하지 않으며, 체계적 리뷰만이 예외다. Campbell Collaboration의 지침은 검색 결과 필터링을 위해 텍스트 마이닝 도구와 기능을 사용하는 것을 고려할 것을 권장한다(Kugley et al., 2016). 제한된 사례 연구가 개발되고 있으므로(Clowes, 2017; Paisley et al., 2016; Shemilt et al., 2014) 우리는 이 혁신 영역이 공식적인 지침으로 어떻게 전환될지 주목하고 있다. 비자동화 도구로는 검색 전략 개발 시 PRESS 체크리스트(Sampson, McGowan, Lefebvre, Moher & Grimshaw, 2008)가 있으며, Relevo와 Balshem(2011)은 비교 효과 리뷰(체계적 리뷰 가족)에 대한 검색 중단 시점을 알려주는 도구가 없음을 언급하고, 이 결정이 전문가의 판단에 기초해야 한다고 설명한다. Booth(2010)는 건강 기술 평가에서 검색을 언제 중단할지 결정하는 방법('중단 규칙')의 강점을 논의하였다.

 

체계적 리뷰를 지원하는 검색에서 정보 전문가의 참여는 자주 권장되며, 이는 검색의 질과 재현 가능성을 향상시켜 높은 품질의 리뷰에 기여한다는 증거가 있다(Koffel, 2015). 정보 전문가의 역할은 검색을 넘어 리뷰 과정 전반으로 발전하고 있다. 최근 범위 설정 리뷰에서 도서관 및 정보 전문가가 체계적 리뷰를 수행하는 데 있어 18가지의 뚜렷한 역할을 확인하였다(Spencer & Eldredge, 2018). 이 중 하나는 검색 접근에 대한 방법론 전문가로서의 역할이며, 이는 리뷰 프로토콜 작성에 공식적으로 기여하고 리뷰 완료 시 검색 방법을 보고하는 것을 포함한다. 이 확장된 역할을 충족하기 위해서는 도서관 및 정보 전문가가 리뷰 유형과 목적, 대상, 가용 자원에 따른 검색 요구 사항을 숙지해야 한다. 2005년 사례 연구에서 Harris(2005)는 사서의 연구 방법론에 대한 ‘더 깊은 이해’가 연구자들의 ‘검색 및 조직 전문성에 대한 감사’를 높였다고 결론지었다. 이러한 이점은 여전히 유효하며, 불필요한 연구 낭비를 줄이는 데 기여하고 리뷰 과정 전반에서 연구 팀에 더 깊이 참여하게 되는 등 추가적인 이점도 나타났다(Edmunds Otter, Wright & King, 2017). 문헌에서는 '체계적 리뷰 컨설턴트'라는 역할이 보고되었으며, 이 역할과 관련된 공통적인 업무 중 하나는 연구 질문에 가장 적합한 리뷰 유형에 대한 조언을 제공하는 것이다(Foster, 2018). 새로운 리뷰 유형이 확립됨에 따라, 이들과 정보 검색에 대한 그들의 함의에 대한 지식은 리뷰 팀 내에서 정보 전문가의 전문성을 리뷰 방법론 전문가로서 더욱 강화할 수 있다.

 

이 리뷰에 사용된 방법론에는 한계가 있다는 점을 인정한다. 우리는 많은 리뷰 유형의 기초가 된 방법론적 지침의 질을 평가하지 않았으며, 출판과 동료 평가 과정이 질의 척도라는 가정에 의존하였다. 또한, 방법론적 지침이 존재하는 경우, 이러한 기준이 그들이 설명하는 유형의 대표적인 리뷰보다 리뷰 방법을 더 명확하게 설명한다고 가정하였다.

 

결론

Conclusion

 

이번 분류는 지난 10년 동안 리뷰 유형이 증가하고 있음을 확인하였다. 그러나 특정 리뷰 유형과 관련된 증거 식별 요구 사항에 대한 공식 지침은 부족하며, 일부 경우에는 더 넓은 리뷰 가족에 대한 지침도 제한적이다. 우리는 일관된 유형 분류의 채택을 제안하며, 정보 전문가가 이를 구현하고 리뷰 팀의 일원으로서 검색 방법론에 대해 조언하는 역할을 하는 것이 가장 적합하다고 본다.