CONFERD-HP: recommendations for reporting COmpeteNcy FramEwoRk Development in health professions
✅ 역량 프레임워크를 만들었다면? 이제는 이렇게 보고하세요!
보건의료교육을 위한 CONFERD-HP Reporting Guideline
🧩 "우리 학과에서도 역량 기반 커리큘럼을 만들었어요!"
📦 "그럼 그걸 논문화해서 나눌 때, 뭘 꼭 보고해야 할까요?"
이 질문에 답해주는 강력한 도구가 최근 발표됐습니다. 바로 CONFERD-HP 보고 지침입니다.
오늘은 이 논문의 핵심 내용을 쉽고, 정확하게 풀어보겠습니다.
🎯 CONFERD-HP는 무엇인가요?
보건의료전문직(Health Professions) 대상의 역량 프레임워크(Competency Framework) 를 보고할 때,
필수적으로 포함해야 할 항목을 정리한 체크리스트 형식의 보고 지침(Reporting Guideline) 이에요.
"The CONFERD-HP reporting guideline is intended to guide the essential items that should be reported when describing the development of competency frameworks in the health professions..."
→ “CONFERD-HP 보고 지침은 보건의료 전문직에서 역량 프레임워크 개발을 기술할 때 보고되어야 할 필수 항목들을 안내하기 위해 고안되었습니다.”
🔍 왜 이런 지침이 필요한 걸까요?
사실 지금까지 많은 연구자들이 역량 프레임워크를 개발했지만,
어떻게 만들었는지 명확히 보고하지 않는 경우가 많았어요.
그래서 연구팀은 다음과 같이 지적합니다:
"Poor, inconsistent, or insufficient reporting practices have led to concerns regarding the validity of outputs, and threaten their utility and trustworthiness..."
→ “부실하거나 일관되지 않거나 불충분한 보고 관행은 결과물의 타당성에 대한 우려를 낳고, 유용성과 신뢰성을 위협합니다.”
🧠 어떻게 만들었나요?
이 지침은 단순한 아이디어가 아닙니다. EQUATOR Network가 제안하는 공식적인 방법에 따라 개발되었고,
세 가지 데이터를 통합해서 만들었어요.
- 🔎 기존 문헌 리뷰 (scoping review)
- 📚 관련 보고 지침 6개 분석 (예: PRISMA, GRIPP2 등)
- 🧱 최근 6단계 프레임워크 개발 모델 활용
그리고 무려 **155명을 초대해 델파이 연구(Delphi Study)**를 세 번이나 돌려가며 합의를 도출했어요.
전 세계 교수, 의사, 간호사, 전문가들이 참여했습니다.
🧾 보고해야 할 필수 항목은 뭐죠?
최종적으로 20개의 체크리스트 항목이 나왔습니다. 예를 들면 이런 것들이에요.
📝 제목과 초록 (Title & Abstract)
- 이게 역량 프레임워크임을 제목에 명시했는가?
- 누구를 위한 것인지(전문직, 훈련 단계)는 나와 있는가?
📚 배경 및 근거 (Rationale & Background)
- 왜 이 프레임워크가 필요한지 정당성은 설명되었는가?
- 기존 문헌과 이론적 배경은 제시되었는가?
🛠️ 개발 과정 (Development Process)
- 어떤 절차로 개발되었는가?
- 어떤 전문가들이 참여했는가?
- 어떤 방법을 썼고, 그 과정에서 무엇을 수정했는가?
💬 이해관계자 참여 (End-user Contributions)
- 실제 사용자(학생, 의료진, 환자 등)가 어떻게 의견을 줬는가?
📊 평가 및 실행 (Evaluation & Implementation)
- 초안 프레임워크를 어떻게 평가했는가?
- 어떻게 현장에 적용할 수 있는가?
💰 자금과 이해충돌 (Funding & COI)
- 누가 자금을 댔는가?
- 이해충돌(conflict of interest)은 없었는가?
💬 연구팀의 중요한 메시지
이 지침이 단순히 '양식'이 되기를 바라지 않습니다. 그보다는, 실제 개발 과정을 성찰하고 설명할 수 있도록 돕는 장치이길 바랍니다.
"The CONFERD-HP reporting guideline is not intended to be a prescriptive or linear format... Rather, each item should be presented, and sufficient elaboration provided..."
→ “이 지침은 일률적이거나 선형적인 보고 형식을 강제하는 것이 아닙니다. 각 항목은 반드시 제시되어야 하며, 충분한 설명이 제공되어야 합니다.”
📝 마무리: 어떻게 활용하면 좋을까요?
- 내가 속한 학과나 기관에서 새로운 역량 기반 교육을 설계하거나
- 역량 프레임워크 논문을 쓰려는 경우
- 기존 프레임워크의 질을 평가하려는 경우
이 CONFERD-HP 지침을 꼭 참고해보세요
Introduction
역량 프레임워크(Competency frameworks)는 특정 맥락(context) 내에서 전문적 실천을 능숙하게 수행하는 데 요구되는 지식(knowledge), 기술(skills), 태도(attitudes), 기타 속성(other attributes) 을 기술하는 것이다¹. 보건의료 전문 직종(health professions)에서는 여러 가지 이유로 이러한 프레임워크가 개발된다. 여기에는 전문직(profession) 정의, 역량을 갖춘 인력 확보, 교육과정(curriculum) 개발 및 평가 체계 구축, 전문직 간 이동성(professional mobility) 촉진 등이 포함될 수 있다.
의학(medicine), 외과(surgery), 간호(nursing) 및 기타 보건의료 직종에서는 상당히 많은 수의 역량 프레임워크가 존재하며(이전 스코핑 리뷰에서는 190개의 프레임워크가 확인되었다), 현재도 계속 개발되고 있다. 그러나 역량 프레임워크 개발 과정을 명확하고 충분히 설명하는 보고의 일관성 부족으로 인해 그 품질이 저하될 수 있다². 부실하거나 일관되지 않거나 불충분한 보고 관행은 산출물(outputs)의 타당성(validity) 에 대한 우려를 초래하며, 이후 교육과정 설계(curriculum design)나 실천 기술 서술(descriptions of practice) 같은 하위 활동에 활용하는 데 있어서 유용성(utility)과 신뢰성(trustworthiness) 을 위협할 수 있다²,³. 역량 프레임워크가 본래 목표를 달성하기 위해서는 일관되고 충분한 보고(consistency and sufficiency of reporting) 가 반드시 필요하며, 이는 프레임워크의 활용성과 품질 평가를 개선하는 한 방법이 될 수 있다.
보고 지침(reporting guidelines)은 연구자들이 연구 보고의 완전성(completeness)과 투명성(transparency) 을 향상시키도록 돕기 위해 개발된다⁴. 보고 지침은 '특정 유형의 연구를 보고할 때 저자를 안내하기 위해 명시적 방법론에 따라 개발된 체크리스트, 순서도(flow diagram), 또는 명시적 텍스트' 로 정의된다⁴. 대표적인 예로는 **체계적 문헌고찰 및 메타분석 보고 지침(PRISMA, Preferred Reporting Items for Systematic reviews and Meta-Analyses)**⁵, **환자 및 공공 참여 보고 지침(GRIPP2, Guidance for Reporting Involvement of Patients and the Public 2)**⁶ 등이 있다.
역량 프레임워크 개발에 관한 보다 광범위한 연구 프로그램의 일환으로, 역량 프레임워크 개발자들을 위한 보고 지침 개선의 필요성 이 제기되었다². 이러한 지침(보고 가이드라인 형태)은 보고된 역량 프레임워크의 유용성(utility)과 타당성(validity) 을 향상시키는 데 기여할 수 있다⁷. 또한, 역량 프레임워크를 품질 평가 도구로 활용하고자 하는 이들, 그리고 역량 프레임워크 개발을 기술하는 원고를 동료 검토(peer review) 및 편집 검토(editorial review) 하는 이들에게도 도움이 될 것이다.
근거에 따르면, 보고 지침 사용은 방법론적 투명성(methodological transparency) 과 연구 결과 활용도(uptake of research findings) 를 높이며⁷, 이는 연구 결과를 임상 실습(clinical practice)과 교육(education)으로 전환하는 데 핵심적인 요소이다.
본 연구의 목적은 보건의료 전문직(health professions)을 중심으로 한 역량 프레임워크를 평가하는 데 도움을 줄 수 있는, 근거(evidence)와 합의(consensus)에 기반한 보고 지침을 개발하는 것 이었다.
Methods
본 연구는 보건 연구(health research) 분야에서 보고 지침을 개발할 때 따르는 '보건 연구의 질과 투명성 향상(Enhancing the QUAlity and Transparency Of health Research, EQUATOR)' 네트워크의 지침을 따랐다⁴. 이 프레임워크는 다른 보건 연구 분야의 보고 지침 개발에도 성공적으로 사용된 바 있다⁵,⁸.
이번 보고 지침은 다음의 네 단계를 통해 개발되었다.
- 1단계: 프로젝트 시작(Project launch)
(연구팀 구성, 전문가 자문 위촉, 연구 프로토콜 초안 작성, 연구 윤리 승인) - 2단계: 지식 통합(Knowledge synthesis)
(포괄적 문헌 및 기존 지침 검토를 통해 보고 항목 후보 식별) - 3단계: 합의 도출(Consensus process)
(개발자, 학술지 편집자, 규제 기관 관계자, 최종 사용자로 구성된 패널을 모집하여 델파이 연구 및 가상 워크숍 진행) - 4단계: 보고 지침 작성(Developing the reporting guideline)
(초안 작성 후 전문가 패널 피드백 수렴 및 최종 지침 완성)
이 단계들을 도식화한 그림은 Fig. 1을 참고하라. 각 단계에서 수행된 구체적인 활동은 아래에 자세히 설명된다.
Stage 1: Project Launch
팀 구성, 전문가 자문, 프로토콜 수립
핵심 프로젝트 팀(core project team, A.M.B., W.T., J.V.R., B.W.)이 구성되어 연구 프로토콜 초안 작성과 프로젝트의 일상적 운영을 담당했다. 팀원들은 역량 프레임워크 개발 및 평가와 보건의료 전문직 기반 교육에 대한 전문성을 갖추고 있었다. 또한, 방법론 전문가(methodological advisor, T.H.) 가 참여하여 합의 방법론(consensus methodology) 및 보고 지침 개발을 전반적으로 지도하였다.
이 전문가 자문가는 문헌고찰 수행, 델파이 연구 참가자 추천, 델파이 설문 항목 검토 및 선정, 각 라운드 결과 해석 및 다음 라운드 콘텐츠 승인, 최종 보고 지침 생산 및 보고에 이르기까지 전 과정을 지원했다. 보건의료 전문직 역량 프레임워크 개발 보고 지침(COmpeteNcy FramEwoRk Development in Health Professions, CONFERD-HP) 은 2019년 12월 EQUATOR Network 웹사이트에 등록되었다⁹.
윤리 승인
본 연구는 Monash University 인간 연구 윤리위원회(Monash University Human Research Ethics Committee) 의 승인을 받았다 (2021년 6월, 승인번호 #27484).
Stage 2: Knowledge Synthesis
역량 프레임워크에 대한 스코핑 리뷰(scoping review) 결과가 본 연구를 설계하는 데 활용되었다². 이 스코핑 리뷰의 목적은 보건의료 전문직(health professions) 이 어떻게 역량 프레임워크를 개발하는지 이해하고, 이를 기존 개발 지침(development guidance)과 비교하는 것이었다². 190편의 연구에 걸쳐 보고된 역량 프레임워크 개발 과정의 주요 측면과 특징(major aspects and characteristics) 을 표준화된 데이터 수집 양식(standardized data-collection form)을 사용하여 검토 및 추출하였다. 여기에는 개발 동기(rationale for development), 방법 선택의 근거(rationale for selection of methods), 연구비 지원 출처 선언(declaration of funding source) 등, 보고 지침(reporting guideline)에 포함될 수 있는 항목들이 포함되었다².
그 다음, EQUATOR Network 웹사이트에 게시된 모든 체크리스트와 지침(2020년 1월 기준 421개)을 검토하여, 질적(qualitative) 및 혼합 방법(mixed-methods) 데이터 수집 관련 보고 지침을 식별하였다. 관련 지침 몇 개는 전체를 추출하여 별도의 스프레드시트에 입력하였다.
또한, 기존 문헌에는 등장하지 않지만, 현대적인 여섯 단계 역량 프레임워크 개발 모델(contemporary six-step competency framework development model)에서 제시된 요소들도 활용하였다. 이 여섯 단계 모델은 이론적(theoretical) 또는 개념적 접근(conceptual approaches) 을 사용하고, 혼합 또는 다중 방법(mixed or multiple methods) 을 통한 데이터 수집을 통해 기존 개발 지침을 발전시켰다².
이렇게 추출된 세 가지 출처(source)의 데이터를 하나의 스프레드시트로 통합하고, 각각의 출처와 교차 참조(cross-referencing)하여 핵심 항목 목록(key list)을 생성하였다.
Stage 3: Consensus Strategy
델파이 패널(Delphi panel)
합의(consensus) 접근은 전통적인 델파이 방법론(Delphi methodology)에 따라 설계되었다. 목적 표집 전략(purposive sampling strategy) 을 채택하여, 보고 지침의 사용자(users of the guideline)를 대표할 수 있는 패널 구성원을 모집하는 것을 목표로 하였다¹⁰,¹¹. 이를 위해, 예상되는 주요 사용자(intended users)와 최종 사용자(end users), 직종(professions), 맥락(contexts), 이해관계자(stakeholders) 간 다양성(diversity of representation)을 고려하였다¹⁰,¹².
우선, 주요 사용자(intended users) 는 보고 지침을 실제로 사용할 사람들(예: 저자, 역량 프레임워크 개발자, 학술지 편집자, 규제기관 담당자)로 정의하였고, 최종 사용자(end users) 는 보고된 역량 프레임워크를 사용할 사람들(예: 보건의료 전문가 및 교육자)로 정의하였다.
광범위한 대표성 확보를 위해, 역량 프레임워크 저자(authors), 프레임워크를 출판하는 학술지 편집자(journal editors), 보건의료 전문직 규제기관(regulators) 을 표적 대상으로 삼았다(아래에 자세히 설명).
또한, 전 세계에 분산된 전문가들(global experts) 이 참여할 수 있도록 가상 방식(virtual approach)을 채택하였다¹³,¹⁴. 이는 2021년 동안 진행된 이번 연구가 COVID-19 팬데믹 으로 인한 제약을 고려한 결정이기도 하였다. 30명의 패널 모집 을 목표로 삼았으며, 세부적인 표집 전략은 다음과 같다.
주요 사용자(intended users): 저자(authors)
스코핑 리뷰²에서 식별된 역량 프레임워크 개발 보고서의 모든 저자 중 이메일 주소가 확인된 이들을 대상으로 참여를 요청하였다. 또한, 스코핑 리뷰 이후에 발표된 새로운 역량 프레임워크 개발 보고서의 저자도 추가로 초대하였다. 이들은 보건의료 전문직 관련 데이터베이스 검색을 통해 확인하였다. 모든 국가, 모든 분야(disciplines), 모든 조직(organizations)에서 확인된 저자를 대상으로 했으며, 제외 기준은 두지 않았다(no exclusion criteria).
주요 사용자(intended users): 학술지 편집자(journal editors)
역량 프레임워크가 출판된 학술지를 식별한 후, 프레임워크 출판 빈도에 따라 순위를 매겼다. 5개 이상의 역량 프레임워크를 출판한 상위 5개 학술지 의 편집자들에게 참여를 요청하였다.
주요 사용자(intended users): 보건의료 전문직 규제기관(health professions regulators)
스코핑 리뷰를 통해 식별된, 역량 프레임워크를 개발하거나 그 개발을 감독하는 역할을 하는 여러 국가별 보건의료 전문직 규제기관의 대표자들에게 참여를 요청하였다.
최종 사용자(end users)
연구팀과 스코핑 리뷰 결과를 통해 식별된 전문직 협회(professional associations) 대표, 개별 보건의료 전문가(physicians, surgeons, nurses, pharmacists, dietitians, therapists 등), 교육자 및 교수진(educators/faculty members) 을 대상으로 초대하였다. (예: 가이드라인을 승인한 협회 등)
모든 참가자들에게는 2021년 7월 이메일 초청장이 발송되었으며, 이 이메일에는 연구 목적(objective), 연구 설계(design), 참여 세부사항(participation details), 요구되는 참여 수준(level of commitment) 이 명시되었다. 또한, 동의서(consent form) 도 함께 첨부되었다.
Survey Development
델파이 연구(Delphi study)는 세 번의 라운드로 구성되었다. 처음은 생성적(generative) 이고 개방형(open-ended) 설문조사 방식의 라운드였으며, 이후 두 번은 edelphi.org 웹사이트를 이용하여 온라인 설문조사(item scoring online surveys)로 진행되었다. (기술적 문제 발생 시를 대비하여 Google Form과 Excel 버전도 제공되었다.) 연구팀 구성원들은 설문조사를 사전에 테스트했지만, 데이터에는 참여하지 않았다.
배포에 앞서, 설문지는 핵심 프로젝트 팀(core project team) 과 전문가 자문단(expert advisor) 을 대상으로 내용과 명확성에 대한 파일럿 테스트를 거쳤다. 각 라운드마다 초기 초청장이 발송되었고, 1주 후 1차 리마인더(reminder), 마지막 3일 전 최종 리마인더를 발송하여 응답률을 최적화하였다. 각 라운드는 3주 동안 열려 있었으며, 라운드 간에는 분석 및 통합을 위해 2주간의 간격을 두었다.
Round 1 of Delphi
델파이 패널(Delphi panel) 구성원들에게는 먼저 신원 식별이 불가능한(non-identifying) 인구통계학적 질문 한 가지를 제시하여, 역량 프레임워크 개발 과정에서의 역할에 대해 묻고, 패널 구성의 다양성을 확인하고자 하였다.
그 다음, 패널에게 자유 서술(free-text) 형식으로 역량 프레임워크 개발을 보고할 때 반드시 포함되어야 할 필수 항목 을 제시해달라고 요청하였다. 구체적으로, 다음과 같은 질문을 제시하였다:
"As a consumer, when reading a report/publication about the development of a competency-related framework, at a minimum, what elements would require reporting in order to imbue trust in the competency framework itself?"
(소비자의 입장에서 역량 관련 프레임워크 개발에 대한 보고서/출판물을 읽을 때, 해당 프레임워크 자체에 대한 신뢰를 부여하기 위해 최소한 어떤 요소들이 보고되어야 한다고 생각하십니까?)
전통적 접근방식과 편향을 줄이기 위한 목적으로, 위에서 설명한 지식 통합(knowledge synthesis) 결과에 기반하여 항목 목록을 제시하는 대신, 개방형(open-ended) 접근을 채택하였다.
Round 1 Analysis
1라운드 결과는 연속적 내용 분석(continuous content analysis) 을 통해 분석되었다. 이를 통해 필수 보고 항목(minimum required reporting items) 의 목록과 범주(categories)를 귀납적으로 생성하였다¹⁵.
예를 들어, 패널이 제안한 항목 중 대상 청중(target audience), 제목(title), 정의(definitions) 등에 관한 내용은 모두 ‘배경 정보(Background information)’ 범주로 분류되었다. 연구팀원 중 한 명(A.M.B.)이 범주 내 중복되거나 반복되는 개념 및 항목들을 하나의 보고 항목으로 통합하였다(세부 내용은 Table S1 참조).
또한, 지식 통합 단계(stage 2) 에서 생성된 잠재적 보고 항목들도 함께 2라운드에서 패널에게 제시될 목록에 추가하였다. 수정된 보고 항목 목록과 간략한 설명은 연구팀과 전문가 자문단에게 사전 배포하여 검토와 피드백을 받았고, 이를 반영하여 2라운드에서 패널에게 제공하였다.
Round 2 of Delphi
2라운드에서는, 7점 리커트 척도(7-point Likert scale) (1=전혀 동의하지 않음(strongly disagree, 항목 제외), 7=매우 동의함(strongly agree, 항목 포함))를 사용하여, 각 제안된 보고 항목(proposed reporting item)이 지침에 포함되어야 하는지에 대한 동의 여부를 패널에게 묻었다.
각 보고 항목에는 해당 항목이 지식 통합(stage 2) 에서 도출된 것인지, 델파이 1라운드(round 1) 에서 제안된 것인지를 명시하였고, 만약 1라운드에서 제안된 경우에는 몇 명의 패널이 해당 항목을 제안했는지 도 함께 표시하였다.
또한, 각 항목에 대해 표현(phrasing) 을 개선하거나 제안사항을 남길 수 있도록 선택적 텍스트 박스(optional text-box response option) 를 제공하였다. 이 피드백은 익명으로 다른 패널 구성원들도 볼 수 있게 하였으며, 3라운드로 넘어가기 전에 항목 문구를 명확히 하고 중복 항목을 식별하는 데 사용되었다.
이 피드백은 3라운드, 가상 워크숍(virtual workshops), 최종 피드백 전에 모든 패널에게 공유되었다.
Round 3 of Delphi
3라운드에서는, 2라운드에서 받은 피드백을 반영하여 문구가 수정된 항목들(reworded and clarified discrepant items) 에 대해 다시 평가하였다. 패널은 이전과 동일한 7점 리커트 척도를 사용하여 각 항목에 대한 동의 정도를 평가하였다.
각 항목에는 추가 코멘트를 남길 수 있는 선택적 텍스트 박스도 제공되었다.
Round 2 and Round 3 Analysis
2, 3라운드 설문 분석에서는 각 항목에 대해 집단 평균 점수(average scores for the group) 를 계산하여, 다음 라운드 개별 참가자들에게 피드백하는 방식으로 진행하였다.
델파이 패널 간 합의 기준 으로 사전에 설정된 규칙은 다음과 같았다:
- 최소 70% 이상의 응답자가 ‘동의(6점)’ 또는 ‘매우 동의(7점)’ 를 선택한 경우, 해당 항목을 보고 지침에 필수적으로 포함할 항목으로 간주
- 70% 미만일 경우, 해당 항목은 불일치(discrepant) 로 간주되어 워크숍에서 논의
- 70%를 약간 넘겼거나 응답 분포가 명확하게 동의 쪽으로 치우치지 않은 경우(예: 6 또는 7 점수가 주를 이루지 않은 경우), 역시 워크숍 논의 대상으로 이관
또한, 델파이 패널이 자유롭게 남긴 텍스트 코멘트(free-text comments) 들도 내용 분석(content analysis)되어, 초안 항목을 통합(merging)하거나 수정(rewording)하는 데 활용되었다. 각 라운드 종료 후에는 패널 전원에게 각 항목별 동의 수준(level of agreement) 과 자유 응답 요약(summary of free-text comments) 이 포함된 상세 보고서가 제공되었다.
Workshops
이 단계의 목표는, 최종 보고 지침(final reporting guideline) 에 포함될 항목들에 대해 논의하고 합의를 도출하는 것이었다⁴. 이를 위해, 2021년 11월에 두 차례의 2시간 온라인 가상 워크숍 이 개최되었으며, 연구팀 구성원(A.M.B., J.V.R., W.T.)과 전문가 자문단(T.H.)이 진행을 맡았다.
앞서 언급한 단계 중 하나라도 참여한 모든 참가자들에게 워크숍 초청장이 발송되었다. 참석자들은 델파이 라운드(Delphi rounds) 결과 도출된 항목들을 검토하고, 각 항목의 문구(clarity of wording) 와 항목의 배열(sequence) 에 대해 피드백을 제공하였다.
워크숍에서는 참가자들과 연구팀이 실시간 동기식 환경(live synchronous environment) 에서 협력하며, 참가자의 제안에 따라 즉석에서 수정(edit)을 진행하였다. 의견 불일치(disagreement) 는 토론을 통해 해결하였다. 워크숍은 Zoom 을 이용하여 다중 시간대 참가자들의 접근성을 높이고, COVID-19 제한사항 을 준수하였다. 모든 워크숍은 녹화되었으며, 연구팀이 상세한 기록(detailed notes)을 작성하였다.
Draft Guideline
초안 보고 지침(draft reporting guideline) 은 다음을 바탕으로 작성되었다:
- 지식 통합(knowledge synthesis) 결과
- 합의 과정(consensus process)
- 워크숍 참가자들의 피드백(feedback from workshop participants)
- 연구팀이 작성한 기록(notes taken by the research team)
작성된 초안은 모든 델파이 패널 구성원(Delphi panel members)에게 회람되어,
- 항목 문구(item wording),
- 문구 명확성(clarity),
- 항목 배열(sequence of items),
- 체크리스트 내 범주(categories within the checklist)
에 대한 추가 피드백을 수렴하였다.
이후, 연구팀은 패널 구성원들의 피드백을 반영하여 최종 버전(final version) 을 완성하였다.
Measures to Promote Trustworthiness
신뢰성(trustworthiness) 을 높이기 위해, 연구팀은 의존성(dependability), 신뢰성(credibility), 확증성(confirmability), 전이 가능성(transferability) 을 입증하고자 노력하였다¹⁶.
- 의존성(dependability) 을 위해, 사용자(users), 직종(professions), 맥락(contexts), 이해관계자(stakeholders) 전반에 걸쳐 대표성의 다양성(diversity of representation) 을 확보하려 하였다¹⁰.
- 신뢰성(credibility) 확보를 위해, 델파이 패널 구성원들 간에 지속적인 피드백 제공(ongoing feedback) 을 통해 멤버 체크(member checking) 를 실시하였다¹⁰,¹⁷.
- 확증성(confirmability) 강화를 위해, 본 델파이 연구는 델파이 연구 수행 및 보고 지침(CREDES, Guidance on Conducting and REporting DElphi Studies) 에 따라 상세하게 보고하였다¹⁸.
Participant Stipends and Payments
본 연구에 참여한 참가자들에게는 참여에 대한 금전적 보상(remuneration) 이 제공되지 않았다.
Results
Stage 2: Knowledge Synthesis
보고 품질(reporting quality)과 관련된 스코핑 리뷰 분석 결과, 역량 프레임워크 개발(competency framework development) 보고에서 여러 불일치 사항들이 드러났다(Table 1)².
EQUATOR Network 웹사이트에서 혼합 방법(mixed-methods) 및 질적 연구(qualitative) 보고 지침을 검색한 결과, 총 6개의 관련 지침(guidelines) 이 확인되었다¹⁸–²³. 이 지침들에서 157개의 개별 항목(individual items) 이 추출되었다.
또한, 기존의 역량 프레임워크 개발 지침(competency framework development guidance) 을 검토한 결과, 31개의 잠재적 보고 항목(potential reporting items) 이 추가로 도출되었다¹,².
이 모든 항목을 교차 참조(cross-referenced)하고 중복 항목을 통합(collapsed)한 결과, 17개의 잠재적 보고 항목 목록 이 생성되었으며, 이는 델파이 1라운드(panel responses from round 1) 응답과 매핑(mapping)하는 데 활용되었다.
Stage 3: Consensus Process
총 155명의 개인 이 패널 참여 초청을 받았다. 이 중 35명(23% 응답률) 이 델파이 연구의 1라운드(생성 단계, generative phase)를 완료하였다(Table S1). 이어서,
- 30명(86%) 이 2라운드를 완료하였고,
- 17명(49%) 이 3라운드를 완료하였다.
- 또한, 9명(26%) 이 워크숍에 참석하였으며,
- 17명(49%) 이 최종 피드백을 제출하였다.
여러 참가자들은 자신이 역량 프레임워크 개발과 관련하여 복수의 역할(multiple roles) 을 맡고 있음을 밝혔다(Table 2, Fig. 2).
Round 1
초기에는 117개의 제안된 보고 항목(suggested reporting items) 이 생성되었다. 이를 범주화(categorization)하고 통합(synthesis)한 결과, 27개의 보고 항목 으로 정리되었다.
이 목록은 지식 통합(knowledge synthesis) 결과(stage 2)와 비교 매핑(mapping)되었으며, 이를 통해 추가로 6개의 고유(unique) 항목 이 확인되어, 최종적으로 33개의 잠재적 보고 항목(potential reporting items) 이 도출되었다.
Round 2
2라운드에서는, 30명의 전문가 패널 이 1라운드에서 도출된 33개의 잠재적 보고 항목 을 평가하였다. (5명의 참가자는 설문을 완료하지 않았다.)
그 결과,
- 19개 항목이 70% 이상의 합의(agreement) 를 달성하였다.
- 5개 항목은 중복(duplicate) 으로 간주되어 기존 항목과 통합되었다. (예: 다양한 방법(methods) 보고에 관한 네 항목이 하나의 계층적 항목으로 통합되어 ‘methods’ 관련 항목(9c)으로 정리됨.)
- 9개 항목은 불일치(discrepant) 로 간주되어 3라운드로 이관되었다.
모든 항목 중 1a 항목 을 제외한 나머지 모든 항목에 대해 문구 수정(editing of wording) 이 제안되었다(Table S2).
Round 3
3라운드에서는, 17명의 전문가 패널 이 2라운드에서 불일치로 남은 9개의 보고 항목 을 평가하였다.
그 결과,
- 2개의 항목(2번과 7번, 모두 2라운드 피드백에 따라 수정된 문구)이 70% 이상의 합의 를 달성하였다.
- 나머지 7개 항목은 여전히 불일치 로 남아, 워크숍 논의 대상으로 이관되었다(Table S2).
Workshops and Initial Draft
총 9명의 참가자 가 두 차례의 가상 워크숍 중 하나에 참석하였다. 참석자들은 모두 여성(female)이었으며, 대부분 부교수(Associate Professor), 교수(Professor), 학과장(Chair) 등 고위급 학술 직위를 보유하고 있었다. 이들은 의학(medicine), 간호(nursing), 영양학(dietetics), 약학(pharmacy) 등 다양한 보건의료 직종을 대표하였다. 워크숍에서는 전문가 자문단과 연구팀이 주도하여 초안 보고 지침(initial draft guideline) 을 제시하였고, 참가자들은 항목 문구(wording of items) 에 대한 수정 제안을 제시하였다. 두 차례 워크숍 동안 1a, 3, 11, 14번 항목을 제외한 모든 항목 에 대해 문구 수정이 제안되었다. 또한, 참가자 피드백을 반영하여 두 항목이 통합 되었다.
Revised Draft Guideline and Feedback
수정된 초안 지침(revised draft guideline) 은 20개의 보고 항목(reporting items) 을 포함하여 작성되었으며, 이는 델파이 패널에 회람되어 추가 피드백을 받았다. 총 17명의 패널 구성원 으로부터 피드백을 받았으며, 이들은 4개의 역할(four roles) 과 8개의 분야(disciplines) 를 대표하였다. 이 중 16명 은 최종 지침에 공동 연구자(collaborators) 로 이름을 올리기로 동의하였다. 또한, 4명의 참가자가 자발적으로 보고 지침의 사용성(usability) 을 테스트하였다. 이들은 보고 지침을 개발(development), 동료 평가(peer-review), 품질 평가(quality-appraisal) 상황에서 적용해 보았다. 모든 항목은 패널 피드백에 따라 문구 명확성(clarity) 과 항목 배열(sequence) 을 검토 및 수정하였다. 마지막으로, 카피 에디터(copy editor) 가 최종 체크리스트를 교정하여 명확성(clarity), 일관성(consistency), 문법적 정확성(grammatical accuracy) 을 확보하였다.
Discussion
CONFERD-HP 보고 지침(CONFERD-HP reporting guideline) 은 EQUATOR Network 에서 제시한 절차에 따라 근거 기반 접근(evidence-informed approach) 을 사용하여 개발되었다⁴. 이 보고 지침은 보건의료 전문직(health professions)에서, 즉 의학 전문분야(medical specialties), 외과 전문분야(surgical specialties), 간호(nursing), 보건의료 관련 직종(allied health) 및 기타 분야를 포함하여 역량 프레임워크 개발(competency frameworks development) 을 기술할 때 보고되어야 할 필수 항목(essential items) 을 안내하고자 한다. 최종 보고 지침 체크리스트는 Table 3 에 제시되어 있으며, 총 20개 항목 을 포함한다. 이는 2라운드에서 합의에 도달한 18개 항목 과, 3라운드 이후 수정되어 포함된 2개 항목 으로 구성되어 있다.
체크리스트 항목들은 다음과 같은 범주(categories)를 포괄한다:
- 기본 정보(basic information; 예: 제목(title))
- 배경 정보(background information; 예: 목적(purpose))
- 개발 과정(development process; 예: 방법(methods))
- 테스트(testing)
- 자금 지원(funding)
- 이해충돌(conflicts of interest)
또한, 현재 각 항목에 대해 보다 상세한 설명과 보고 사례를 제공하는 설명 및 확장(statement of explanation and elaboration) 문서가 준비되고 있다. 이 문서는 독자들에게 항목별 포괄적 설명과 근거를 제공할 예정이다.
이 보고 지침은 다음과 같은 방식으로 활용될 수 있다:
- 역량 프레임워크를 개발하는 개발자들 이 개발 과정을 체계화하는 데 지원하고,
- 학술지 편집자(journal editors) 및 동료 심사자(peer reviewers) 가 프레임워크 출판 여부를 검토할 때 활용할 수 있으며,
- 최종 사용자(end users) (예: 교육자, 보건의료 전문가, 규제기관 담당자)들이 특정 역량 프레임워크의 범위(scope), 엄밀성(rigour), 신뢰성(trustworthiness) 을 이해하고, 자신들의 목적에 맞는 활용 가능성(utility) 과 적용 가능성(applicability) 을 평가하는 데 도움을 줄 수 있다.
CONFERD-HP 보고 지침을 적용하면, 역량 프레임워크 개발 시 사용된 프로세스(processes) 와 절차(procedures) 가 명확하고 구체적으로 기술되며, 각 추천 항목의 자원(resources) 과 근거(evidence) 에 대한 접근성을 확보할 수 있다. CONFERD-HP 보고 지침 은 역량 프레임워크 개발을 위한 일률적(prescriptive) 이거나 선형적(linear) 인 보고 형식을 강제하려는 것이 아니다. 오히려, 각 항목은 반드시 어딘가에 제시되어야 하며, 개발 과정을 기술하는 동안 충분한 설명(elaboration)이 제공되어야 한다.
연구의 한계(Limitations)
CONFERD-HP 연구 결과는 다음과 같은 몇 가지 한계를 고려하여 해석해야 한다.
- 델파이 패널 응답률(Delphi panel response rate) 은 초청된 인원의 23% 에 해당하였다.
델파이 방법론에서는 공식적인 표본 크기 계산(sample size calculation)은 존재하지 않지만, 샘플 크기가 클수록 집단 판단의 신뢰성(reliability)이 높아질 수 있다 는 것이 일반적 견해이다. 통상적으로 12명 이상의 참가자 가 권장되며²⁴, 이번 연구에서는 세 번의 모든 라운드에서 이 기준을 충족하였다.
더욱 중요한 점은, 패널 구성원이 보건의료 전문직 전 분야의 다양한 최종 사용자(end users) 를 대표하였다는 것이다. 의학(medicine), 외과(surgery), 간호(nursing), 보건의료 관련 직종(allied health professions), 공중보건(public health) 등 다학제적 분야의 전문가들이 참여함으로써, 이 지침이 영향을 미치고자 하는 전체 집단의 의견을 반영할 수 있었다²⁴. - 모든 델파이 패널 구성원이 모든 라운드에 참여하지는 못했다.
이는 델파이 패널이 겪고 있던 일정상의 제약(schedule demands) 및 COVID-19로 인한 부담 때문이었다. 이를 최소화하기 위해, 연구팀은 여러 접점(multiple touchpoints) 을 통해 지속적으로 패널과 소통하였다(델파이 라운드, 워크숍, 이메일을 통한 최종 피드백 기회 제공). - 초기 문헌고찰(stage 2) 과정에서 일부 중요한 항목이 누락되었을 가능성이 있다.
그러나 이를 최소화하기 위해, 관련 보고 지침들을 철저히 검토하고, 1라운드에서 델파이 패널 전문가들의 전문성을 적극 반영하였다. - 지식 통합(knowledge synthesis)에서 도출된 일부 항목은 델파이 패널이 관련성이 낮다고 판단 하여 최종적으로 포함되지 않았다.
반면, 패널은 기존 통합 결과보다 10개 항목을 추가 제안 하였다. 이는 문구(wording) 차이 때문일 수도 있으나(3라운드에서 문구 수정 이후 합의에 도달한 사례 참고), 보다 근본적으로는 패널이 실제 세계(real-world experiences) 에서 역량 프레임워크를 개발하고, 보고하고, 출판한 경험을 바탕으로 의견을 제시했기 때문일 가능성이 크다.
이러한 전문가(insightful) 의견은 보고 지침이 현장에 적용 가능하고 실용적(useable and useful) 이 되도록 보장하는 데 기여하였다. - 마지막으로, 다른 모든 보고 지침과 마찬가지로, CONFERD-HP 보고 지침도 지속적인 평가(evaluation), 개선(improvement), 업데이트(updating)이 필요하다.
직종(professions) 간 적용 시에도 일부 조정(adaptations)이 필요할 수 있다. 예를 들어, 특정 직종(또는 전문 분야)은 이 지침에 포함되지 않은 별도의 고려사항을 요구할 수도 있다.
이 보고 지침은 사용자 피드백(user feedback), 평가 결과(results of evaluations), 보고 지침에 대한 최신 지침(improved guidance) 을 반영하여 향후 개정될 예정이다.
CONFERD-HP 보고 지침을 사용하는 모든 사람은 홈페이지(www.conferd-guideline.org)를 통해 의견을 제출할 수 있다.
향후 활용(Implementation)
CONFERD-HP 보고 지침 의 활용을 독려하기 위해,
- 과거에 역량 프레임워크를 출판한 학술지의 편집자들과 접촉하여 지침에 대한 지지를 요청하고,
- 국내외 역량 프레임워크 개발자들에게 본 지침을 널리 알릴 계획이다.
CONFERD-HP 체크리스트 해설 번역
1. 제목과 초록 (Title and abstract)
- 1a. 제목에 해당 프레임워크가 역량 프레임워크(competency framework) 임을 명확히 표기할 것
- 1b. 제목에 대상 전문직(intended profession) 과 실무 수준 또는 훈련 단계(level of practice/stage of training) 를 명시할 것
- 2. 구조화된 초록 또는 요약을 포함할 것. 여기에는 예상 사용자(intended user) 와 활용 방식(use), 프레임워크의 목적, 개발 절차, 사용된 방법 등을 포함
- 3. ‘역량(competence)’, ‘역량 요소(competency)’ 등 핵심 용어에 대해 정의하거나 기존 정의를 인용하여 프레임워크의 개념적 이해를 증진할 것
2. 프레임워크 개발 (Framework development)
- 4. 프레임워크 개발의 근거와 정당성(rationale and justification) 을 기술하되, 가능하다면 관련 문헌 등의 근거(reference) 를 제시할 것
- 5a. 프레임워크의 목적(purpose) 을 기술할 것
- 5b. 프레임워크의 의도된 활용 목적(intended use) 을 설명할 것
- 5c. 프레임워크의 의도된 사용자(intended user) 를 명확히 기술할 것
- 6. 프레임워크 개발을 주도한 사람들의 자격(qualifications) 과 전문성(expertise) 에 대해 설명할 것
- 7. 프레임워크의 감독 또는 거버넌스 조직(oversight/governance group) 의 구성과 전문성, 역할을 설명하고, 이들이 작업을 어떻게 검토하거나 기여했는지도 기술할 것
- 8. 프레임워크 개발에 사용된 이론적 또는 개념적 접근(theoretical/conceptual approach) 을 설명하고, 사용 이유 및 관련 문헌을 제시할 것
3. 개발 과정 (Development process)
- 9a. 프레임워크 개발의 각 단계를 구체적으로 설명할 것
- 9b. 기존 문헌이 어떻게 수집되고 활용되었는지, 그리고 어떤 참고문헌이 사용되었는지를 설명할 것
- 9c. 전체 개발 과정에서 사용된 모든 방법(methods) 을 설명하고, 관련된 참고문헌 및 수정사항 이 있다면 구체적으로 기술할 것
- 10. 프레임워크 개발에 참여한 모든 이해관계자(stakeholders), 특히 최종 사용자(end users) 들(예: 전문가 그룹, 환자, 소비자 등)이 어떻게 참여했는지, 선정 기준(특히 형평성, 다양성, 포용성 고려) 과 참여 방식 을 상세히 설명할 것
- 11. 해당되는 경우, 윤리적 고려사항 및 승인 내역(ethical considerations and approvals) 을 설명할 것
4. 평가 및 실행 (Evaluation and implementation)
- 12. 개발된 역량 프레임워크를 평가한 접근 방식 및 이해관계자로부터 수집된 피드백 반영 방식 을 설명할 것
- 13. 프레임워크가 어떻게 실행될 수 있을지에 대한 구체적 제안 또는 전략 을 제공할 것
5. 재정 지원 및 이해충돌 (Funding and conflicts of interest, COI)
- 14. 프레임워크 개발에 사용된 모든 자금 출처(funding sources) 및 기타 지원 내역, 그리고 후원자의 역할(role of the funder) 을 설명할 것
- 15. 개발 과정에서 이해충돌(conflicts of interest, COI) 이 어떻게 고려되고 관리되었는지 설명할 것
'논문 읽기 (with AI)' 카테고리의 다른 글
| 새로운 시각: 시스템적 사고로 기존 역량 프레임워크 개발 지침 보완 (Adv Health Sci Educ Theory Pract. 2021) (0) | 2025.05.03 |
|---|---|
| 보건 연구 윤리 교육 및 훈련을 위한 역량 프레임워크 개발 (J Med Ethics. 2022) (0) | 2025.04.26 |
| 의료 전문직의 역량 프레임워크 개발을 위한 6단계 모델 (Front Med (Lausanne). 2021) (0) | 2025.04.26 |
| 혁신 이론, 원칙 및 실천의 확산(Health Aff (Millwood). 2018) (0) | 2025.04.16 |
| 복잡성 보기: 공유 의사 결정을 위한 렌즈로서의 문화 역사 활동 이론(CHAT) (Acad Med. 2021) (0) | 2025.04.16 |