Reporting guidelines for Delphi techniques in health sciences: A methodological review
혹시 전문가들의 합의(Consensus)를 도출하기 위해 델파이 기법(Delphi technique)을 사용해 보신 적 있나요? 🤷♀️ 델파이는 복잡한 문제에 대해 전문가들의 의견을 모으는 정말 강력한 도구지만, 막상 논문을 쓸 때 "어디까지, 어떻게 보고해야 하지?" 고민해 본 경험 다들 있으실 거예요.
오늘 소개할 논문은 바로 이 고민을 해결하기 위해 기존의 보고 지침들을 싹~ 훑어보고(Review), "우리가 진짜 놓치고 있는 게 무엇인지" 짚어주는 아주 알찬 연구랍니다. 🔍
1. 왜 이 연구가 필요했을까요? 🤔
연구진이 살펴보니, 델파이 연구는 정말 많이 쓰이는데 막상 논문에 보고되는 품질(Reporting quality)은 천차만별이었다고 해요. 어떤 논문은 자세한데, 어떤 논문은 "전문가 몇 명이 합의했다" 정도로 퉁치고 넘어가는 식이죠.
그래서 연구진은 기존에 나와 있는 10개의 보고 지침(Reporting guidelines)을 꼼꼼히 뜯어봤습니다. 그랬더니 '합의(Consensus)'에 대한 내용은 다들 있는데, 정작 중요한 연구의 철학적 배경(인식론)이나 다양한 델파이 변형(Variants)에 대한 고려는 턱없이 부족하다는 걸 발견했어요!
2. 연구진의 핵심 주장: "도대체 어떤 '진리'를 찾고 있는 건가요?" 💡
이 논문에서 제가 가장 무릎을 탁! 쳤던 부분은 바로 인식론(Epistemology)에 대한 지적이에요. 단순히 "합의했다"가 중요한 게 아니라, 이 합의가 "객관적인 정답(Truth)"을 찾은 건지, 아니면 "우리끼리의 사회적 약속(Construction)"을 만든 건지 밝혀야 한다는 거죠.
연구진은 이 부분을 이렇게 강조합니다.
"델파이 기법이 (비판적 합리주의를 따르는) 실재론적 관점에 기초하는지, 아니면 구성주의적 관점에 기초하는지에 대한 질문은 델파이 과정과 그 결과의 품질을 평가하는 데 적절합니다."
"The question of whether the Delphi technique is based on a realist perspective following critical rationalism or on a constructivist perspective is relevant for the evaluation of the quality of a Delphi process and its results."
쉽게 말해, 자연과학처럼 "정답은 있고 전문가가 그걸 맞히는 거야(Realist)"라는 입장인지, 사회과학처럼 "정답은 없고 우리가 만들어가는 거야(Constructivist)"라는 입장인지에 따라 연구의 질을 평가하는 잣대가 달라져야 한다는 거예요. 😲
3. 그래서 제안하는 '새로운 델파이 보고 지침' 📋
기존 지침들이 너무 전통적인 델파이에만 머물러 있다고 판단한 연구진은, 15가지 항목으로 구성된 아주 꼼꼼한 새로운 제안(Proposal)을 내놓았습니다. 연구진은 이 지침의 필요성을 이렇게 역설해요.
"포괄적인 보고 지침은 서로 다른 하위 분야별 목적을 가진 델파이 연구들을 품질 측면을 포함하여 비교 가능하게 만들 수 있습니다. 마찬가지로, 이는 가능한 적용의 다양성과 과정의 복잡성을 강조할 수 있습니다."
"A comprehensive reporting guideline could make Delphi studies with different subfield-specific objectives comparable, including in terms of their quality. Likewise, it can highlight the variety of possible applications and complexity of the process."
논문에서 제안한 핵심 체크리스트 15개는 대략 이렇습니다. (논문 쓰실 때 꼭 참고해보세요! 👇)
- 제목 및 초록 (Title and Abstract): 델파이 연구임을 명시
- 인식론 (Epistemology): 연구의 철학적 배경(실재론 vs 구성주의) 밝히기
- 공식적 맥락 (Formal Context): 연구팀, 자금 출처 등
- 지식 기반 (Knowledge Base): 어떤 근거 자료(Evidence)를 썼는지
- 지식 통합 (Knowledge Integration): 서로 다른 지식을 어떻게 합쳤는지
- 델파이 변형 (Delphi Variant): 어떤 변형 기법을 썼고, 왜 썼는지
- 표본 (Sample): 전문가 패널은 누구이고, 어떻게 모았는지 (가장 중요!)
- 조사 도구 (Survey Instrument): 설문지는 어떻게 만들었는지
- 델파이 라운드 (Delphi Rounds): 몇 번 했고, 언제 멈췄는지
- 피드백 (Feedback): 전문가들에게 어떤 피드백을 줬는지
- 평가 (Evaluation): '합의'를 숫자로 어떻게 정의했는지
- 결과 (Result): 라운드별 결과와 과정의 변화
- 데이터 및 해석의 품질 (Quality of Data): 데이터의 질을 어떻게 보장했는지
- 고찰 및 한계 (Discussion & Limitations): 결과의 타당성에 대한 비판적 성찰
- 확산 (Dissemination): 결과를 어떻게 활용할 것인지
4. 마치며... 👋
델파이 연구는 단순히 설문조사 몇 번 돌리는 게 아니라, 전문가들의 지혜를 짜내는(Weave) 정교한 과정입니다. 여러분의 연구가 더 빛을 발하고 학술적으로 인정받기 위해서는, 오늘 소개한 이 '투명한 보고(Transparent reporting)'가 필수적일 것 같아요.
앞으로 델파이 논문 쓰실 때, 연구진이 남긴 마지막 조언을 꼭 기억하세요!
"결론적으로 보고 지침은 연구자들이 주요 가정과 방법론적 선택, 그리고 결과가 해석되는 기초가 되는 인식론적 기초를 성찰하고 공개하도록 장려합니다."
"The bottom line is that reporting guidelines encourage researchers to reflect on and disclose key assumptions and methodological choices, as well as the epistemological foundations on which basis results are interpreted."
여러분의 탄탄한 연구를 응원합니다! 💪✨
서론 (Introduction)
델파이 기법(Delphi techniques)은 불확실하고(uncertain) 불완전한 지식(incomplete knowledge)이 존재하는 복잡한 문제(complex issues)들을 전문가들(experts)이 반복적이고 구조화된 과정(iterative and structured process)을 통해 평가하는(assessed) 집단 토의 절차(group discussion procedures)이다 [1–4]. 이는 보건 과학(health science)의 다양한 하위 분야(subfields)(예: 임상 환자 진료, 공중 보건 및 건강 증진, 보건 서비스 연구, 의학 교육)에서 수행되며, 특히 합의(consensus)를 도출하기 위해(identify) 수행된다 [5–7]. 증거 기반 지식(Evidence-based knowledge), 실무 지식(practical knowledge), 그리고 때로는 생활 세계 경험(life-world experiences)에 기초한 일상 지식(everyday knowledge)이 구조화된 과정(structured process) 안에서 한데 모인다. 그 목표는 보건 부문(health sector)에서의 의사결정(decision-making)과 조치(action)를 지원하는 데 사용될 합의된 지침(consensual guidelines)이나 표준(standards)을 개발하는 것이다. 방법론적 문헌(methodological literature)에서는 델파이 기법의 다섯 가지 특성(characteristics)을 기술한다 [4,8,9]:
- 1. 특정 지식(specific knowledge)을 가진 전문가들이 인터뷰 되며(interviewed), 대개 그들의 익명성(anonymity)이 보장된다.
- 2. 조사는 적어도 두 번의 델파이 라운드(Delphi rounds)로 수행되며, 3회 이상의 델파이 라운드는 예외적이다.
- 3. 조사 도구(survey instrument)는 대개 표준화된 설문지(standardized questionnaire)이며, 주장(arguments)과 추론의 범위(reasoning horizons)를 포착하기 위해(capture) 종종 개방형 질문(open-ended questions)을 포함한다.
- 4. 통계적 분석(statistical analysis)은 대개 기술적 계산(descriptive calculations)에 기초한다.
- 5. 두 번째 델파이 라운드부터 전문가들은 설문지와 더불어 이전 라운드의 결과에 대한 피드백(feedback)을 받으며, 자신의 판단(judgments)을 재고하거나 수정(reconsider or revise)할 수 있다.
전통적인 델파이 접근법(traditional Delphi approach) 외에도 다른 델파이 변형들(Delphi variants)이 있다. 가장 중요한 변형들은 다음과 같다:
- 실시간 델파이(Real-time Delphi): 전문가의 판단이 온라인상에서 실시간으로(in real time) 다시 반영된다(reflected back). 즉, 응답자들은 자신의 판단을 여러 번 내릴 수 있으며, 별도의 개별적인 델파이 라운드가 없다 [10].
- 정책 델파이(Policy Delphi): 혁신(innovations)이나 해결책(solutions)에 대한 광범위한 판단(wide range of judgments)이나 접근 방식(approaches)을 명시적으로 포착하는 데 관여한다 [11].
- 논쟁적 델파이(Argumentative Delphi): 표준화된 판단에 대한 질적 추론(qualitative reasoning)에 초점을 맞춘다 [12]. 이는 현재 대부분 실시간으로 이루어지는 동적 논쟁적 델파이(dynamic argumentative Delphi, DAD)로 수행된다.
- 그룹 델파이(Group Delphi): 전문가들이 초대되어 엇갈리는 판단(divergent judgments)에 대한 논거를 공개적으로 토론(openly discuss)한다. 이는 전문가들의 익명성을 제거한다 [4].
- 퍼지 델파이(Fuzzy Delphi): 전문가 패널 내 판단 간의 거리(distance)를 결정하기 위해 삼각측량 통계(triangulation statistics)를 활용한다 [13].
델파이 과정(Delphi process)을 통해, 엇갈리는 전문가의 평가(diverging expert assessments)와 의견(opinions)은 투명해지고(transparent), 궁극적으로 – 적어도 주장에 따르면(at least this is the claim) – 해결되어 합의(resolved and consented upon)된다. 이는 특히 임상 지침(clinical guidelines) [14], 정의 및 용어(definitions and terminologies) [15], 백서(white papers) [16], 보고 지침(reporting guidelines) [17], 치료법 또는 건강 관련 중재(treatment methods or health-related interventions) [18], 정책 입안자(policy-makers)나 기타 사회적 행위자(societal actors)를 위한 행동 권고(recommendations for action) [19], 그리고 건강 관련 중재를 위한 품질 지표(quality indicators) [20]에 적용된다. 델파이 연구(Delphi studies)의 결과(findings)는 종종 건강과 환자 진료(patient care)에 광범위한 영향(far-reaching consequences)을 미친다. 특히, 순수하게 지식 혹은 경험에 기반한 담론(knowledge- or experience-based discourse)이라는 인식론적 주장(epistemic claim)은 의료 현장(healthcare practice)에서 결과가 비교적 크게 수용될 확률(probability of a relatively large acceptance)을 결정한다. 델파이 과정과 결과 생성(generation of results)에 대한 투명하고 비판적인 제시(transparent and critical presentation)는 품질 보증(quality assurance)과 델파이 기법의 수용성 증대(increasing the acceptance)에 상당히 기여할 수 있다.
델파이 기법의 보고 품질 (Reporting quality of Delphi techniques)
델파이 기법의 실행(implementation)과 데이터 품질(data quality)은 인식론적(epistemologically), 방법론적(methodologically) 또는 경험적(empirically)으로 거의 논의되거나 평가되지 않는다 [8,20–23]. 현재까지 일반적인 델파이 과정의 품질을 평가하기 위한 기준(criteria) [7]은 존재하지만, 과학 출판물(scientific publications)에서 델파이 기법의 어떤 측면(aspects)이 보고되어야 하는지는 여전히 크게 불명확하다(remains largely unclear). Niederberger와 Spranger [5]는 12개의 체계적 문헌 고찰(systematic reviews)(총 883편의 출판물 포함)에 대한 개요(overview)를 통해 보건 과학 분야 델파이 연구의 일반적인 출판 관행(publication practice)을 기술한다. 이 개요는 대부분의 출판물이 델파이 기법의 중심적인 측면들, 즉 전문가 선정(selection of experts), 합의의 정의(definition of consensus), 라운드 횟수(number of rounds) 및 응답률(response rates)에 대해 보고하고 있음을 보여준다. 그러나 이는 보고 품질(reporting quality)에 있어 일정한 이질성(certain heterogeneity) 또한 드러낸다.
- 예를 들어, 적용된 델파이 변형(applied Delphi variant)에 대한 명확한 진술은 검토된 델파이 논문 중 61%에서 88% 사이에서만 발견되었다.
- 또한 참가자의 전문성(expertise)이나 선정 전략(selection strategy)에 대한 정보의 가용성(availability)도 다양했다. 완화 의료(palliative field) 분야의 체계적 문헌 고찰에서는 거의 3편 중 1편의 논문이 설문지 개발(questionnaire development) 제시에 결함(deficiencies)을 보였다 [21].
- 보건 과학 부문의 다른 리뷰에서는 그 수치가 93%로 훨씬 더 높았다 [20]. 델파이 과정 중 항목(items)의 수정(modification) 또는 적응(adaptation)은 검토된 출판물의 59% [8]에서 100% [24] 사이에서 보고되었다.
- 피드백 설계(feedback design)에 대한 언급은 체계적 문헌 고찰 내 논문의 38% [2]에서 55% [25] 사이에서 발견된다.
이러한 보고 품질 차이의 가능한 이유(Possible reasons)는 아직 체계적으로 조사되지 않았다. 이는 아마도 분야별 관행(field-specific practices), 출판사 요구사항(publisher requirements), 그리고 델파이 기법을 사용하는 연구를 위한 포괄적이고 일반적으로 수용되는 보고 지침의 부재(lack of a comprehensively and generally accepted reporting guidelines) 때문일 것이다.
보건 과학 분야 델파이 절차를 위한 보고 지침 (Reporting guidelines for Delphi procedures in the health sciences)
경험적 연구(empirical studies)의 보고를 표준화(standardize)하고 개선(improve)하기 위해 보건 과학 분야에서 보고 지침(Reporting guidelines)이 점점 더 자리를 잡아가고 있다. 이들은 전형적으로 특정 연구 방법(particular research method)에 기초하여 보고서에서 다루어야 할 기준 목록(list of criteria)을 포함한다. 특히, EQUATOR (Enhancing the QUAlity and Transparency Of health Research) 네트워크는 보고 지침 모음(collection of reporting guidelines)을 제공함으로써 보건 과학 분야 과학 출판물의 품질을 향상시키기 위해 착수했다. 현재 다양한 유형의 연구에 대한 보고 지침이 존재하며 그 적용은 국제적으로 확립되었다(예: CONSORT, CONsolidated Standards of Reporting Trials [26]). 또한 보고 지침이 경험적 연구의 보고 품질을 상당히 개선한다는 증거(evidence)도 있다 [27].
델파이 기법의 목적(objective)(예: 합의 형성[15,17] 또는 예측[11])은 보건 과학의 하위 분야 간에(그리고 내에서도) 다양하며, 델파이 과정의 설계(design), 예를 들어 그룹 크기(group size)와 이질성의 수준(level of heterogeneity) 또는 지식의 유형(type of knowledge)(전문성의 수준)과 그것이 질문되는 방식(how it is asked for)을 결정한다 [28]. 보건 과학 부문의 델파이 연구를 위한 보고 지침에 대해 다양한 제안이 있다; 하나는 이미 EQUATOR 네트워크에 게시되었다 [21]. 그러나 이러한 지침들이 하위 분야의 경계(subfield boundaries)를 넘어 적용 가능한지, 예를 들어 영양학(nutrition science)과 같은 더 자연과학적인 분야(natural science fields)와 건강 사회학(sociology of health)과 같은 더 사회과학적인 분야(social science fields)를 생각할 때 적용 가능한지는 여전히 불분명하다. 이전에 게시된 한 보고 지침은 오직 완화 의료(palliative care) 연구와 그들의 주된 목적인 합의 형성(consensus building)에만 기초하고 있다 [21]. 하위 분야별 차이(Subfield-specific differences)는 델파이 과정의 다른 매개변수(parameters), 예를 들어 합의 수준(level of consensus) 결정에서도 관찰될 수 있다. 의학 지침(medical guidelines)을 개발할 때는 합의 수준이 정의되지만 [29], 다른 목적과 분야에서는 합의 지표(consensus indicators)에 대한 권고가 존재하지 않는다 [4]. 보건 과학에서 합의는 주로 백분율 일치(percentage agreement) 측면에서 정의되지만, 중심 경향(central tendency), 공식적인 일치도 척도(formal measure of agreement)(예: 크론바흐 알파 Crohnbach’s alpha, 켄달의 W Kendal’s W) 또는 여러 척도의 조합(combination of several measures)으로 정의되기도 한다 [7,8].
보건 과학 전반에 걸쳐 방법(질적 또는 양적)의 사용(use) 및 평가(valuation)와 데이터 분석(analysis of data)(예: 척도 길이에 따른 통계적 검정, 개방형 질문 응답 분석 절차)과 관련하여 광범위한 변이(broad variation)가 존재한다 [30]. 이러한 서로 다른 연구 접근법(research approaches)들은 서로 다른 과학 이론(theories of science)과 지식 문화(knowledge cultures)(예: 자연과학 대 사회과학)에 고정되어(anchored) 있기 때문에 인식론적 기반(epistemological grounding)에서도 차이가 난다 [31–34]. 이는 델파이 기법에도 동일하게 적용된다. 일반적으로 델파이 기법은 서로 다른 인식론적 전통(epistemological traditions)에 뿌리를 두고 있으며, 이러한 인식론적 기반은 적용되는 델파이의 특정 유형(specific type)에 따라 달라진다 [23,32,35]. 따라서 보고 지침은 이러한 다양성(diversity)을 고려해야 한다. 이 연구의 목표(aim)는 기존 보고 지침들의 유사점(similarities), 차이점(differences), 그리고 특히 인식론적 및 방법론적 측면(epistemological and methodological aspects)에 관한 가능한 단점(possible shortcomings)을 식별하고, 보건 과학 부문에서 포괄적으로 적용 가능한(comprehensively applicable) 보고 지침을 위한 초기 제안(initial proposal)을 초안하는 것이다.
방법론적 접근 (Methodical approach)
우리는 보건 과학 분야 델파이 기법에 대한 기존 보고 지침을 분석하기 위해 방법론적 검토(methodological review)를 수행했다. 이에 대해 아직 게시된 보고 지침이 없으므로, 우리는 보고를 위한 지침(guidance)으로 PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-analysis) 성명서를 사용했다 [36]. 이 리뷰는 사전 등록(pre-registered)되지 않았으며 연구 프로토콜(study protocol)은 이용할 수 없다. 우리의 방법론적 검토를 위해 PRISMA 성명서에 포함된 모든 주제와 제안된 분석(데이터 항목의 사전 정의, 연구 비뚤림 위험 평가, 효과 척도, 정량적 합성 방법 및 결과(예: 민감도 또는 하위 그룹 분석, 요약 척도, 메타 회귀), 확실성 평가, 등록 및 프로토콜)을 적용하는 것은 불가능했는데, 이는 주로 검토된 데이터 유형(datatypes), 귀납적 접근(inductive approach), 그리고 연구의 방법론적 초점(methodological focus)에 대한 지침의 적합성(accuracy of fit) 때문이었다.
문헌 검색 - 보고 지침의 식별 (Literature search - Identification of the reporting guidelines)
보건 과학 분야 델파이 기법에 대한 기존 보고 지침의 식별(identification)은 다섯 가지 다른 방식으로 이루어졌다. 표 1은 개요(overview)를 제공한다.
- 1. 델파이 연구의 보고 관행(reporting practices)에 대한 개요 [5]를 작성하기 위해, 저자 중 두 명(MN, JS)은 2019년에 보건 과학 분야 델파이 연구의 체계적 문헌 고찰을 식별했다. 이번 연구를 위해, 개요에 포함된 리뷰들(n=12)을 저자 중 두 명(MN, JS)이 독립적으로 전문 스크리닝(full text screening)을 사용하여 보고 지침에 대해 검색했다. 보고에 대한 권고(recommendations on reporting)가 없는 리뷰는 제외되었다.
- 2. 한 명의 저자(JS)가 보충 검색(supplemental search)을 수행했다. 초기 검색에서 139건의 결과(hits)가 나왔고, 이를 한 명의 저자(JS)가 제목과 초록(titles and abstracts)을 바탕으로 연구의 방법론적 초점과 델파이 연구 보고에 대한 권고 여부를 스크리닝했다. 자신의 델파이 과정 결과(results of their own Delphi process)만 보고하는 것으로 보이는 일차 연구(Primary studies)는 제외되었다. 잠재적으로 관련성이 있다고 간주된 문헌들의 전문(full texts)은 한 명의 저자(JS)가 델파이 연구에 대한 보고 지침 여부를 스크리닝했다.
- 3. 2021년 4월 21일, 과학적 델파이 전문가 네트워크(scientific Delphi expert network) (https://delphi.ph-sg.de/)는는) 사회 및 보건 과학을 위한 중앙 데이터 자원(Scopus, MEDLINE, CINAHL, Epistemonikos)에서 델파이 연구에 대한 문헌 검색을 수행했다. 독일어권 과학 네트워크 DeWiss는 다양한 하위 분야와 인식론적 배경을 가진 20명의 연구자로 구성되어 있으며, 인식론적 기초(epistemological foundations), 방법론적 이슈(methodological issues), 그리고 델파이 연구의 실행 및 보고를 위한 지침에 초점을 맞춘다. 문헌 검색의 목표는 1) 델파이 일차 연구(Delphi primary studies)와 2) 델파이 기법에 관한 방법론적 연구(methodological studies)에 대한 두 개의 데이터 자원(data resources)을 생성하는 것이었다. 데이터 자원 구축을 위한 포함 기준(inclusion criteria)은 아래에 간략히 기술되어 있다. 델파이 연구가 포함된 원저 논문(Original papers)들은 6명의 연구자(MN, SD, JS)와 델파이 네트워크의 연구원들(MT, LS, XS)이 제목-초록 스크리닝(title-abstract screening)을 통해 두 번째 검토자(second reviewer)의 검증 없이 두 데이터 자원에 배정했다. 총 155편의 논문이 방법론적 연구 데이터베이스(2)에, 7,044편의 논문이 델파이 일차 연구 데이터 자원(1)에 배정되었다. 이번 연구에서는 두 데이터 자원에서 하위 분석(sub-analysis)이 수행되었다. 방법론적 연구 데이터 자원(2)은 연구원(MT)이 델파이 연구 보고에 대한 권고 여부를 제목-초록 스크리닝을 통해 검색했고, 잠재적으로 관련성이 있다고 간주된 문헌의 전문은 저자 중 한 명(JS)이 스크리닝했다. 필터링된 델파이 일차 연구 데이터 자원(1)(표 1 참조)은 n=1,683편의 논문으로 산출되었다. 잠재적으로 관련성이 있다고 간주된 논문의 제목, 초록, 전문은 저자 중 한 명(JS)과 연구원(XS)이 독립적이지 않게(not independently) 보고 권고 사항에 대해 스크리닝했다. 자신의 델파이 과정 결과만 보고하는 것으로 보이는 연구는 제외되었다.
- 4. 추가로, 저자들은 EQUATOR 네트워크 데이터 자원 검색을 수행했다. 한 명의 저자(JS)가 델파이 연구 보고에 대한 권고 여부를 확인하기 위해 검색 결과(hits)를 스크리닝했다.
- 5. 우리는 또한 델파이 전문가 네트워크(DeWiss) 회원들이 자신의 연구 과정이나 과학적 네트워크를 통해 알게 된(come to attention) 논문들을 스크리닝 과정에 포함했다. 모든 저자가 제안된 논문들의 전문을 델파이 연구 보고에 대한 권고 여부를 확인하기 위해 스크리닝했다.
기존 보고 지침의 내용 분석 (Content analysis of existing reporting guidelines)
우리는 원고(manuscripts)에 포함된 모든 보고 권고 사항(reporting recommendations)을 포함하는 내용 분석(content analysis)을 수행했다 [37]. 이를 통해 우리는 두 가지 목표를 추구했다: 1) 보고 지침 내 차원(dimensions)의 범위(range)에 대한 개요를 제공하는 것; 2) 언급된 차원의 빈도(frequencies)를 드러내는 것. 여기서 내용 분석은 결과의 질적(qualitative) 및 양적(quantitative) 평가와 제시 모두에 적합하다 [37].
- 첫 번째 단계에서, 두 명의 연구자(JS, AH)가 독립적으로 원문(original text)에 가깝게 모든 관련 텍스트 구절을 의역(paraphrased), 요약(summarized), 구조화(structured)했다. 그들은 텍스트 자료로부터 의역문(paraphrases)을 형성하고 그것들로부터 범주(categories)를 귀납적으로 결정(inductively determined)했다. 독립적인 절차는 가능한 한 많은 상호 주관성(intersubjectivity)을 달성하기 위한 것이었다 [36].
- 두 번째 단계에서, 세 번째 연구자(MN)가 두 연구자의 범주 체계(category systems)를 비교하고 코딩이 엇갈리는 경우(divergent coding) 연구자들 간의 교환을 중재(moderated)했다. 목표는 두 범주 체계를 하나의 통합된 체계(unified system)로 합의하여 병합(consensually merge)하는 것이었다.
- 세 번째 단계에서, 모든 의역문을 다시 검토하여 범주 체계에 분류(classified)했다. 또한 각 의역문이 어떤 출판물(publications)에 배정될 수 있는지도 기록했다. 일부 의역문은 특정 범주에 명확하게 배정될 수 없음이 드러났다. 이러한 경우, 연구 팀(JS, AH, MN)은 배정에 대해 담론적으로 합의(discursively agreed)했다. 빈도(frequency) 제시를 위해, 우리는 각 하위 범주(subcategory)(차원)에 대해 적어도 하나의 진술(의역문)을 포함하는 출판물의 수를 결정했다.
델파이 보고 지침을 위한 제안 (Proposal for a Delphi reporting guideline)
기존 보고 지침의 합성(synthesis)에 기초하고 델파이 기법의 인식론적 기초에 대한 델파이 전문가 네트워크의 토론을 배경으로 하여, 우리는 변형(variant), 목적(objective) 또는 하위 분야(subfield)에 관계없이 적용 가능한(applicable regardless of) 초기 델파이 보고 지침 제안(initial proposal for Delphi reporting guidelines)을 초안했으며, 분석된 델파이 연구 보고 권고 사항들의 가능한 한계점(limitations)을 성찰했다. 델파이 전문가 네트워크의 과학자들이 이 제안을 검토하고 동의(consented)했으며 보건 과학 내 하위 분야들에 대한 적용 범위(coverage)를 성찰했다.
결과 (Results)
문헌 검색 (Literature search)
우리는 보건 과학 부문(health science sector)에서 델파이 연구를 위한 보고 지침(reporting guidelines)이 담긴 총 10편의 논문을 식별했다(표 2 참조). 그림 1은 문헌 검색 결과의 개요를 보여준다.
개요 [5]에 포함된 12개의 리뷰 중 4개는 델파이 결과 보고에 대한 구체적인 권고 사항(specific recommendations)을 포함하고 있었다. 보충 검색(supplemental search)을 통해 하나의 추가 연구를 포함할 수 있었다. 델파이 전문가 네트워크의 두 가지 데이터 자원 내 검색을 통해 4편의 논문이 포함될 수 있었다. EQUATOR 네트워크 검색에서는 더 이상의 결과(hits)가 탐지되지 않았다. 표 2는 명시적으로 공식화된 보고 지침(explicitly formulated guidelines for reporting)을 포함하는 모든 출판물에 대한 개요를 제공한다. 델파이 연구 보고에 대한 권고 없이 자신의 델파이 과정 결과(results of their own Delphi process)만을 보고하는 연구들은 제외되었다(예: [38]).
내용 분석 (Content analysis)
우리는 귀납적으로(inductively) 9개의 주요 범주(main categories)를 형성했다:
- 정당성(Justification), 전문가 패널(Expert panel), 설문지(Questionnaire), 조사 설계(Survey design), 과정 규제(Process regulation), 분석(Analyses), 결과(Results), 고찰(Discussion), 방법 성찰 및 윤리(Methods reflection & Ethics).
각 주요 범주는 2개에서 5개의 하위 범주(subcategories)를 가졌다. 의역(paraphrasing) 결과 하위 범주 내 측면(aspects)들의 범위가 상당히 다르다는 것을 보여준다.
빈도(frequencies)는 일부 하위 범주가 단일 보고 지침에 의해서만 다루어지고 있음을 보여준다(ID 번호는 표 2에 나열된 출판물 순서를 나타냄):
- 참가자 모임(meeting of participants) (ID1),
- 조사 방법의 진행(proceeding with the survey method) (ID7),
- 결과의 이전(transfer of the results) (ID7),
- 타당성 검증(validation) (ID7),
- 비뚤림 방지(prevention of bias) (ID7).
- 오직 “합의(consensus)”라는 하위 범주만이 검토된 10개의 모든 출판물에서 언급되었다.
- 대부분의 보고 지침은
- 연구 목적(study objective) (n=6 (ID1, ID3, ID4, ID6, ID7, ID9)),
- 전문가 패널(expert panel) (전문가 선정 n=9 (ID1 제외한 모두) 및 패널 크기와 구성 n=9 (ID2 제외한 모두)),
- 설문지 개발(development of the questionnaire) (n=7 (ID1, ID4-ID9)),
- 라운드의 횟수 및 설계(number and design of rounds) (n=7 (ID1, ID3-ID7, ID10)),
- 피드백 설계(feedback design) (n=7 (ID1, ID4-ID9)),
- 응답률(response rate) (n=6 (ID3, ID4, ID6-ID9)), 그리고
- 결과가 제시되는 형식(form in which the results are presented) (n=7 (ID1, ID3, ID4, ID6-ID9))을 언급한다.
- 그러나 델파이 기법의 인식론적 기초(epistemological foundations)에 대한 성찰은 오직 하나의 출판물(ID7)에서만 언급되며, 그마저도 델파이 기법의 구성주의적 성격(constructivist character)에 대한 사소한 언급(minor reference)에 불과하다(표 3 참조).
표 3 범주 체계 (Category system). 1 이 하위 범주가 언급된 출판물(표 2)의 수를 나타냄; 2 ID 번호는 표 2에 나열된 출판물 순서를 나타냄.
Table 3: 범주 체계 (Main Category 및 상세 내용)I. 정당성 (Justification)
|
델파이 보고 지침을 위한 제안 (Proposal for a Delphi reporting guideline)
포괄적인 델파이 보고 지침(comprehensive Delphi reporting guideline)을 준비하는 데 있어 과제는 델파이 변형(Delphi variants)의 다양성과 델파이 기법의 각각의 수정 사항(modifications)을 고려하는 것이다. 우리는 델파이 전문가 네트워크의 다른 과학자들을 참여시켜, 인식론적 논의(epistemological discussion)와 기존 보고 지침의 합성(synthesis)을 바탕으로 그림 2에 델파이 보고 지침을 위한 초기 제안(initial proposal)을 공식화했다. 이 기준들은 변형, 목적 또는 하위 분야에 관계없이(regardless of variant, objective or subfield) 델파이 연구를 보고하는 데 있어 핵심적인(central) 것으로 보인다.
그림 2 보건 과학 분야 델파이 기법에 대한 보고 지침 제안 (Proposal for reporting guidelines on Delphi techniques in the health sciences).
그림 2. 보건 과학 분야 델파이 기법에 대한 보고 지침 제안 (Proposal for reporting guidelines on Delphi techniques in the health sciences).
- I. 제목 및 초록 (TITLE AND ABSTRACT):
- 이것은 제목과 초록에서 연구를 델파이 과정(Delphi process)으로 식별하는 것(identification)과 연구의 구조화된 요약(structured summary)을 포함한다.
- II. 인식론 (EPISTEMOLOGY):
- 이것은 과학 이론(theory of science)의 특정 흐름(specific strand)(실재론자(realist) 또는 구성주의자(constructivist))에 대한 위치 선정(positioning)과 목적(objective)의 공식화(formulation) 및 예비 가정(preliminary assumptions)에 대한 진술(statement), 예를 들어, 가능한 상충하는 관점(conflicting perspectives)에 대한 진술을 의미한다(refers to).
- III. 공식적 맥락 (FORMAL CONTEXT):
- 이것은 프로젝트를 수행하는 연구팀(research team)에 대한 정보와 프로젝트 배경(project background)(예: 자금 제공자(funder) 또는 프로젝트 맥락의 목적(objective of the project context), 연구 프로토콜(study protocol), 윤리 위원회 표결(ethics committee vote))에 대한 기타 핵심 정보(key information)를 포함한다.
- IV. 지식 기반 (KNOWLEDGE BASE):
- 이것은 현재 연구 상태(current state of research), 즉 증거 기반(evidence base)의 고려(consideration) 또는 통합(integration)에 대한 정보를 포함한다. 또한 지정된 응답자들(designated respondents)이 그것을 인지하고 있는지(aware of it), 혹은 그들이 필요한 맥락(necessary contexts)을 인지하고 있는지 어떻게 보장할 수 있는지(how it can be ensured), 또는 그들이 그것에 대해 정보를 받았는지(informed about them), 그리고 그들이 어떤 사회적 맥락(social context)에 위치해 있는지도 표시되어야 한다(indicated).
- V. 지식 및 지식 통합 (KNOWLEDGE AND KNOWLEDGE INTEGRATION):
- 이것은 특히, 각각의 연구 질문(respective research question)에 답하기 위해 어떤 종류의 지식 축적(knowledge stocks)과 경험(experiences)이 적절한지(relevant), 어떤 관점(perspectives)이 필요한지(necessary)에 대한 명세(specification)와, 서로 다른 지식 축적들이 잠재적으로 어떻게 가중치(weighted)가 부여되고 어떻게 함께 결합되는지(brought together)에 관한 것이다.
- VI. 델파이 변형 및 연구 과정에서의 역할 (DELPHI VARIANT AND ROLE IN RESEARCH PROCESS):
- 어떤 델파이 변형(Delphi variant) 또는 어떤 수정(modification)이 선택되었는지(chosen)와 그것들이 연구 과정(research process)에 어떻게 위치하는지(situated)에 대한 진술(Statement) 및 정당화(justification).
- VII. 표본 (SAMPLE):
- 이것은 식별(identification), 모집(recruitment), 지식 기반(knowledge base), 사회인구학적 데이터(sociodemographic data), 사례 수(number of cases)(라운드별 포함)와 관련된 전문가 패널(expert panel)에 대한 포괄적인 기술(comprehensive description)을 포함하며, 필요한 경우 거부자(refusers)나 중도 탈락자(dropouts)를 모집하거나 다루는 방법(dealing with)을 포함한다. 익명성(anonymity)의 처리(handling) 또한 보고되어야 한다.
- VIII. 조사 도구 (SURVEY INSTRUMENT):
- 조사 도구는 범위(scope), 구조(structure), 질문 또는 항목(questions or items)의 도출(derivation) 및 테스트(testing), 개방형 및 폐쇄형 질문(open and closed questions)의 비율(ratio), 통합된 척도 유형(integrated scale types), 그리고 그래픽 디자인(graphic design) 측면에서 기술되어야 한다.
- IX. 델파이 라운드 (DELPHI ROUNDS):
- 이것은 델파이 라운드의 횟수(number of Delphi rounds)뿐만 아니라 종료 기준(termination criterion)의 공개(disclosure)를 포함한다.
- X. 피드백 (FEEDBACK):
- 피드백의 통계적 및 그래픽적 표현(statistical and graphic representation)의 공개(라운드별 포함).
- XI. 평가 (EVALUATION):
- 이것은 합의(consensus)의 정의(definition) 및 다루기(dealing with), 그리고 양적 및 질적 평가 전략(quantitative and qualitative evaluation strategy)의 공개, 그리고 또한 이 두 가지 측면이 어떻게 가중치(weighted)가 부여되고 결합되는지(combined)를 포함한다.
- XII. 결과 (RESULT):
- 델파이 과정(Delphi process)(응답(response), 절차(procedure), 수정(modifications))과 개별 델파이 라운드의 결과(results)가 제시되어야 한다. 필요한 경우, 과정 중에 특정 요소(specific elements)가 왜 변경되었는지(changed) 이유(reasons)가 제시되어야 한다. 전체 절차(complete procedure)는 흐름도(flowchart) 등으로 그래픽적으로(graphically) 제시되어야 한다.
- XIII. 데이터 및 해석의 품질 (QUALITY OF DATA AND INTERPRETATION):
- 이것은 데이터 수집(data collection) 및 평가 과정(evaluation process)의 품질에 대한 성찰(reflection)을 포함한다. 양적 또는 질적 연구를 위한 품질 기준(Quality criteria)은 인식론적 위치(epistemological positioning)와 특정 델파이 변형(specific Delphi variant)에 따라 적용되어야 한다(applied).
- XIV. 고찰 및 결과의 한계점 (DISCUSSION AND LIMITATIONS OF THE FINDINGS):
- 이것은 인식론적 기반(epistemological basis)에 따라 결과(findings)의 타당성 주장(validity claim)에 대한 비판적 성찰(critical reflection)을 의미한다(refers to).
- XV. 확산/배포 (DISSEMINATION):
- 델파이 연구 이후(beyond the Delphi study) 결과가 어떻게 가공되거나(processed) 사용될지(used)에 대한 진술.
고찰 (Discussion)
여기서 분석된 보고 지침은 보건 과학 분야의 델파이 연구와 관련이 있다. 식별된 어떤 보고 지침도 전체 델파이 과정(entire Delphi process)이나 델파이 변형의 스펙트럼(spectrum of Delphi variants) 또는 다양한 보건 과학 하위 분야에서의 가능한 적용(possible applications)을 포괄한다고 주장하지 않는다. 결과적으로 기준들은 엇갈리며(divergent), 오직 합의(consensus)라는 측면만이 모든 보고 지침에서 나타난다. 어떤 경우에는 보고 지침의 정보가 정보가 델파이 기법의 시작(beginning), 과정(process) 또는 결과(results) 중 어디를 참조하는지 명시되지 않아 부정확하게 공식화(imprecisely formulated)되어 있다. 특히 전문가 패널이나 설문지에 대한 정보는 델파이 연구 도중에 변경될 수 있다. 때로는 방법론적 결정(methodological decisions)이 언제 내려지거나 정의되어야 하는지가 불분명한 채로 남아있다. 이는 특히 선험적(a priori) 또는 후험적(a posteriori)으로 이루어질 수 있는 합의 정의(consensus definition)와 관련된다.
검토된 보고 지침들은 익명성 유지(maintaining anonymity)나 다수 완료된 라운드(multiple completed rounds)와 같은 보다 전통적인 접근법(traditional approach)을 따르는 델파이 연구들을 기초로 개발되었다. 따라서 서론 부분에서 기술된 델파이 변형의 다양성(variety of Delphi variants)은 충분히 고려되지 않았다. 이는 그룹 델파이(group Delphi)에서의 익명성이나 실시간 델파이(real-time Delphi)에서의 라운드 기반 원칙(round-based principle)과 같은 델파이 기법의 핵심 특성(core characteristics)을 일부 델파이 변형들이 해체(break up)하기 때문에 비판적이다. 즉, 어떤 경우에는 서로 다른 델파이 변형들에 대해 다른 측면들이 보고되어야 함을 의미한다 [9,21]. 그러나, 예를 들어 의학 분야의 고전적인 델파이 연구(classical Delphi studies) [7]에서조차 델파이 기법이라고 명명된 연구들에서 반복적인 라운드(iterative rounds)와 피드백 수령(receiving of feedback)과 같은 델파이 과정의 기본적인 방법론적 특성이 항상 주어지는 것은 아니다. 연구 목표(research goal)와 관련하여, 의료 분야에서 델파이 연구는 특히 합의를 도출하기 위해 수행되지만 [5–7], 서론에서 기술된 바와 같이 델파이 기법은 다양한 목적(variety of objectives)에 적용 가능하다 [5,28]. 포괄적인 보고 지침은 서로 다른 하위 분야별 목적을 가진 델파이 연구들을 품질(quality) 측면을 포함하여 비교 가능하게(comparable) 만들 수 있다. 마찬가지로, 이는 가능한 적용의 다양성과 과정의 복잡성(complexity of the process)을 강조할 수 있다. 델파이 과정은 준비(preparing), 수행(conducting), 분석(analyzing)의 여러 단계를 포함하므로 단일 단계 조사 절차(single-stage survey procedures)보다 더 복잡하고 시간이 많이 소요된다. 따라서 델파이 과정에만 최소 16주가 권장되며, 과학 원고(scientific manuscript) 작성을 위해 추가로 6주에서 10주가 소요된다 [28].
또한, 델파이 기법 전반에 대한, 그리고 특정하게 적용된 델파이 변형에 대한 인식론적 기초(epistemological foundations)에 관한 논의는 종종 무시되며(neglected) 기존 보고 지침에서 적절하게 고려되지 않는다(표 3 참조). 한 가지 이유는 실무적 시사점(practical implications)이 직접적으로 도출되지 않기 때문일 수 있다. 그러나 델파이 기법이 비판적 합리주의(critical rationalism)를 따르는 실재론적 관점(realist perspective)에 기초하는지, 아니면 구성주의적 관점(constructivist perspective)에 기초하는지에 대한 질문은 델파이 과정과 그 결과의 품질 평가(evaluation of the quality)에 적절하다(relevant). 우리는 비판적 합리주의가 자연과학(natural sciences)에서 더 널리 퍼져 있고, 구성주의가 사회과학(social sciences)에서 더 널리 퍼져 있다고 가정한다. 이는 다음을 의미한다:
- 비판적 합리주의 [34]에 따르면, 델파이 기법은 응답자 그룹의 피드백을 통해 편향되었을 가능성이 있는(possibly biased) 전문가 판단을 수정함으로써 "참된" 혹은 객관적 지식(“true” or objective knowledge)의 근사치(approximation)를 산출할 수 있어야 한다. 따라서 참가자들 간의 합의는 "참된" 지식의 근사치로 해석될 수 있다.
- 구성주의적 관점 [33]에서는 "참된" 지식은 없으며, 사회적 상호작용(social interactions) 속에서 생산되고, 적용되며, 더 발전되는 "상황에 위치한" 지식(“situated” knowledge)만이 존재한다.
예를 들어, Campbell [39]은 델파이 기법에 대한 방법론적 연구에서 일차 정신 건강 관리(primary mental health care) 분야의 서로 다른 이해관계자 패널(stakeholder panels)이 "진료 품질(quality of care)에 대해 다양한 견해(diverse views)를 가지고 있으며 이러한 차이가 품질 지표(quality indicators)를 평가하는 방식으로 이어진다" [39]는 것을 보여주었다. 구성주의적 관점에서 볼 때 이는 놀라운 일이 아니며 문제로 간주되지도 않을 것이다. 그러나 비판적 합리주의 관점에서는 이것이 합의를 수립하고 "참된" 값에 근접하는 것과 관련하여 실패(failure)로 간주될 수 있다. 따라서 인식론적 관점(epistemological perspective)에 따라, 각각의 델파이 결과의 품질에 대해 정반대의 결론(opposite conclusions)에 도달할 수 있다.
결론적으로 보고 지침은 연구자들이 주요 가정(key assumptions)과 방법론적 선택(methodological choices), 그리고 결과가 해석되는 기초가 되는 인식론적 기초를 성찰하고 공개(disclose)하도록 장려한다. 새롭게 개발된 델파이 보고 지침 제안(그림 2 참조)의 기준들은 서로 완전히 독립적인 것으로 보여서는 안 된다. 방법론적 관점에서 그것들은 밀접하게 상호 연관되어 있으며(closely interrelated) 일관된 틀(coherent frame)을 형성해야 한다. 이는 특히 인식론적 위치(epistemological positioning)의 적합성(fit), 질적 또는 양적 측면의 가중치(weighting), 그리고 품질 기준(quality criteria)과 관련이 있다. 모든 기준과 관련하여, 델파이 기법 중 정의(definition) 또는 결정(determination)의 시점(time)을 공개하는 것 또한 중요하다. 더 나아가, 모든 기준은 개별 델파이 라운드 전체에 걸쳐 반영되어야 한다.
한계점 (Limitations)
이 연구와 관련하여 적어도 세 가지 잠재적 한계점(potential limitations)이 있으며, 여기서 언급되어야 한다.
- 논문의 스크리닝과 포함은 부분적으로 단일 연구자(single researcher)의 결정에 기초했다. 자원상의 이유(resource reasons)로 인해, 내용 분석에 적용되었던 것과 같은 다수 연구자의 독립적인 평가(independent assessment)가 모든 단계에서 가능하지는 않았다. 델파이 전문가 네트워크로부터의 추가적인 권고 포함은 이러한 한계를 고려하고 연구 분야에서 놓쳤을 가능성이 있는 주요 논문들에 주의를 환기해야 한다.
- 또한, 이 델파이 보고 지침 제안은 국제적 대표성(international representativeness) 측면에서 가정될 수 없다. 분석된 지침이나 델파이 전문가 네트워크 모두 이러한 요건을 충족할 수 없었다. 그러나 저자 그룹 및 델파이 전문가 네트워크는 델파이 기법 적용(예: 다양한 델파이 변형과 관련하여)에 있어 다양한 하위 분야와 경험 범위를 가진 전문가들로 구성되어 있다. 이 점에 있어서 전문성의 이질성(heterogeneity of expertise)은 고려되었다.
- 마지막으로, 방법론적 검토(methodological reviews)를 위한 적절한 보고 지침과 사전에 게시된 연구 프로토콜(a priori published study protocol)이 있었다면 연구의 보고 및 수행이 개선되었을 수 있다.
결론 (Conclusion)
이 방법론적 검토는 보건 과학 분야 델파이 연구에 대한 기존 보고 지침의 개요를 제공한다. 내용 분석은 기준(criteria)과 상세 수준(level of detail) 모두에서 지침들이 매우 다양하다(vary widely)는 것을 보여준다. 대부분의 보고 지침은 합의 정의, 전문가 패널, 응답(response), 피드백 설계, 그리고 라운드 횟수에 대한 보고를 명시적으로 다룬다. 그러나 예를 들어 서로 다른 델파이 변형 및 목적과 관련하여 차별화(differentiation)가 부족하다. 특히 절차의 품질을 평가하고 수집된 데이터를 분류하는 데 핵심적임에도 불구하고, 인식론적 원칙(Epistemological principles)은 지금까지 무시되어 왔다. 기존 보고 지침의 합성과 인식론적 질문을 특별히 고려한 다양한 하위 분야 전문가들과의 토론을 바탕으로, 우리는 보건 과학을 위한 포괄적인 보고 지침(comprehensive reporting guideline)의 초기 제안을 개발했다. 우리의 방법론적 검토 결과는 최종적인 보고 지침을 제공하는 것은 아니지만, 델파이 기법의 품질을 향상시키는 데 있어 중요한 단계(important step)이다. 서로 다른 기준들은 (전문가 담론(expert discourse) 안에서) 더 차별화될 필요가 있다.
