근거기반실무 교육 개입의 보고 완전성: 체계적 검토

 

근거기반실무(EBP) 교육 연구, 왜 완전한 보고가 중요할까?

의학 교육에서 **근거기반실무(Evidence-Based Practice, EBP)**는 이제 필수적인 개념입니다.
최신 연구 결과를 활용해 더 나은 의료 의사결정을 내리는 것이 중요하기 때문이죠.
하지만 EBP 교육 개입(educational intervention)이 실제로 효과적인지 검증된 연구들이
실무에서 활용될 수 있도록 충분히 보고되고 있을까요?

최근 한 연구에서는 EBP 교육 개입이 학술 논문에서 얼마나 완전하게 보고되고 있는지 분석했습니다.
그리고 충격적인 결과가 나왔습니다.

---

🔍 연구 결과: 대부분의 논문이 불완전한 보고

연구진이 검토한 83개의 논문 중, 단 하나도 개입 내용을 완전히 보고한 사례가 없었습니다.
즉, 연구 결과를 그대로 따라 하고 싶어도 어떻게 해야 하는지 알 수 없다는 의미입니다.

특히 다음과 같은 정보가 자주 누락되었습니다.

✅ 교육 자료 (워크북, 체크리스트, 강의 자료 등)
✅ 강사 정보 (누가 교육을 제공했는지, 어떤 전문성을 가졌는지)
✅ 수업 일정과 기간 (얼마나 자주, 얼마나 오래 진행되었는지)

이러한 정보 부족은 연구 재현성을 떨어뜨리고, 효과적인 교육 개입이 실제 실무에서 사용되는 것을 어렵게 만듭니다.

---

📞 연구 저자들에게 직접 물어봤더니?

연구진은 이 문제를 해결하기 위해, 논문 저자들에게 직접 연락해 누락된 정보를 요청했습니다.
그 결과 69명의 저자에게 연락했지만, 42명만이 응답했고, 33명만이 추가 정보를 제공했습니다.
그리고 그 정보를 추가해도 여전히 전체 논문의 20%만이 완전한 보고 수준에 도달했습니다.

즉, 연구 저자들에게 연락하는 방법조차 한계가 있다는 것이죠.

---

🚧 왜 이런 문제가 생길까?

의료 교육 연구에서 보고가 불완전한 이유는 다양하지만, 연구진은 다음을 주요 원인으로 꼽았습니다.

1️⃣ 보고 지침 부족 → 연구자들이 어떤 정보를 포함해야 하는지 명확한 가이드가 부족함
2️⃣ 출판 제한 → 일부 자료는 저작권 문제로 공개되지 않음
3️⃣ 연구 문화 → 연구 논문의 핵심 결과만 강조되고, 개입의 세부 사항은 소홀히 다뤄짐

특히, 연구 개입에서 사용된 교육 자료는 연구자의 71%가 끝까지 제공하지 않았습니다.
이러한 정보가 없으면 실무에서 그대로 적용할 방법이 없습니다.

---

📢 해결책: 연구 보고의 표준화가 필요하다

이 연구는 단순히 "보고가 불완전하다"는 사실을 지적하는 데서 끝나지 않았습니다.
연구진은 구체적인 해결책도 제시했습니다.

🔹 TIDieR 및 GREET 같은 보고 지침을 따를 것
👉 연구자들이 논문에서 개입 내용을 빠짐없이 보고하도록 유도

🔹 연구자, 편집자, 교육자 간 협력 강화
👉 학술지 편집자들이 연구 논문에서 개입 세부 사항을 요구하도록 장려

🔹 개입 자료를 오픈 액세스화
👉 연구 자료를 공개 저장소(CARL 등)에 업로드하여 누구나 접근 가능하도록 만들 것

---

💡 블로그 독자들에게 전하는 메시지

이 연구는 의료 교육 연구가 단순한 실험이 아니라, 실제 현장에서 활용될 수 있어야 한다는 점을 강조합니다.
연구 결과가 아무리 훌륭해도, 그 방법을 제대로 보고하지 않으면 실제로는 쓸모가 없을 수 있습니다.

의료 교육에 관심이 있는 연구자라면,
앞으로 논문을 쓸 때 개입 방법과 자료를 빠짐없이 보고하는 것을 잊지 마세요! 😊

---

Summary in Plain English (Five Sentences)

1. This study examined how completely evidence-based practice (EBP) educational interventions are reported in published research.
2. The findings showed that none of the studies fully described their interventions, making it difficult for educators and researchers to replicate them.
3. The most commonly missing details were intervention materials, instructor information, and session timing/duration, even after contacting study authors.
4. The study highlights that incomplete reporting limits the translation of research into practice, preventing educators from effectively using proven interventions.
5. To improve reporting quality, the authors recommend following structured guidelines like TIDieR and GREET and increasing collaboration between researchers, editors, and educators.

---

한국어 번역 (다섯 문장 요약)

1. 이 연구는 근거기반실무(EBP) 교육 개입이 학술 연구에서 얼마나 완전하게 보고되고 있는지를 조사했다.
2. 연구 결과, 어느 연구도 개입 내용을 완전히 기술하지 않아, 교육자와 연구자가 개입을 재현하기 어렵다는 점이 밝혀졌다.
3. 가장 자주 누락된 정보는 개입 자료, 강사 정보, 교육 세션의 일정 및 기간이었으며, 연구 저자에게 직접 문의한 후에도 여전히 부족했다.
4. 연구는 불완전한 보고가 연구 결과의 실무 적용을 제한하여, 효과적인 교육 개입이 널리 사용되지 못하는 문제를 강조한다.
5. 보고 품질을 향상시키기 위해 연구자들은 TIDieR 및 GREET과 같은 체계적인 보고 지침을 따르고, 연구자·편집자·교육자 간 협력을 강화할 것을 제안했다.

 

Here are five to ten key sentences from the Discussion section of the paper that capture its main takeaways—essentially, the punchlines of the study:

1. "We found that EBP educational interventions in 83 published controlled trials were incompletely reported in the majority of the studies."
   → This highlights the core issue: most studies did not provide a full description of their interventions.
2. "None of the studies included had completely reported all of the main elements of the educational intervention, including the intervention materials."
   → Not a single study provided all necessary details, making replication and application difficult.
3. "Following author contact, 17 study authors were able to supply all missing information."
   → Even after reaching out to study authors, only a small fraction of interventions were fully described.
4. "The most frequently incompletely reported items were: intervention materials; providers of the intervention, and details of the frequency, duration and timing of the intervention."
   → These are the most critical gaps that hinder knowledge translation.
5. "The accessibility of intervention materials is an important prerequisite for widespread knowledge translation, which is why we assessed the availability of materials."
   → Without access to materials, educators cannot implement or adapt effective teaching methods.
6. "The incomplete provision of intervention details impedes research into the reproducibility of findings, results synthesis, and translation into practice."
   → This underscores the broader implications of incomplete reporting.
7. "Without complete details of interventions, EBP educators will be unable to translate interventions shown to be effective into practice, which, in turn, will impede the delivery of quality EBP education."
   → Incomplete reporting directly impacts the quality of medical education.
8. "In the present study, the observed improvement in the completeness of reporting of intervention details over time may reflect our inability to locate the contact details for the authors of some older trials, as well as the development and use of reporting guidelines (e.g. CONSORT) over time."
   → Reporting has improved somewhat, but still remains a challenge.
9. "Authors of trial reports are encouraged to follow relevant reporting guidelines, such as those of TIDieR and GREET."
   → The study calls for stricter adherence to standardized reporting frameworks.
10. "Collaborative efforts involving authors, editors and EBP educators are needed to improve the quality of the reporting of EBP educational interventions."
    → The study concludes that addressing this issue requires collective action from multiple stakeholders.

These sentences succinctly capture the key issues, findings, and recommendations of the research.

 

다음은 논문의 토론(Discussion) 부분에서 핵심 내용을 요약하는 핵심 문장(punchlines) 5~10개입니다.

1. "우리는 83개의 출판된 통제 연구에서 EBP 교육 개입이 대부분 불완전하게 보고되었음을 발견했다."
   → 연구에서 검토한 대부분의 논문이 개입 내용을 완전하게 기술하지 않았다는 점을 강조한다.
2. "포함된 연구 중 어느 것도 교육 개입의 주요 요소, 특히 개입 자료를 완전히 보고하지 않았다."
   → 단 한 편의 연구도 교육 개입을 완전하게 기술하지 않아, 동일한 개입을 재현하거나 적용하기 어렵다.
3. "저자들에게 연락한 후, 17명의 연구 저자가 누락된 모든 정보를 제공할 수 있었다."
   → 연구 저자들에게 직접 문의했음에도 불구하고, 극히 일부 연구에서만 완전한 정보를 제공할 수 있었다.
4. "가장 자주 불완전하게 보고된 항목은 개입 자료, 개입 제공자의 정보, 개입의 빈도, 기간 및 일정에 대한 세부 사항이었다."
   → 이러한 정보 부족이 근거기반 실무 교육 개입의 효과적인 확산을 방해하는 주요 원인이다.
5. "개입 자료의 접근 가능성은 지식 전파(knowledge translation)를 위해 필수적인 요소이므로, 본 연구에서는 자료의 가용성을 평가하였다."
   → 교육 개입을 실무에 적용하려면, 연구에서 사용된 자료에 접근할 수 있어야 한다.
6. "개입 세부 사항의 불완전한 제공은 연구 결과의 재현 가능성, 결과 종합 및 실무 적용을 저해한다."
   → 보고가 불완전할 경우, 연구 결과를 재현하거나 실무에 적용하는 것이 어렵다.
7. "교육 개입에 대한 완전한 정보 없이, EBP 교육자들은 효과가 입증된 개입을 실무에 적용할 수 없으며, 이는 결과적으로 질 높은 EBP 교육의 제공을 방해하게 된다."
   → 불완전한 보고는 의학 교육의 질적 향상에도 부정적인 영향을 미친다.
8. "이번 연구에서 개입 세부 사항의 보고 수준이 시간이 지나면서 개선되었음을 관찰했으나, 여전히 많은 문제가 존재한다."
   → 보고 품질이 점진적으로 향상되었지만, 여전히 해결해야 할 과제가 많다.
9. "연구 논문의 저자들은 TIDieR 및 GREET과 같은 관련 보고 지침을 따를 것을 권장한다."
   → 연구 보고의 품질을 높이기 위해 표준화된 가이드라인을 따를 필요가 있다.
10. "EBP 교육 개입의 보고 품질을 향상시키려면, 연구자, 학술지 편집자 및 EBP 교육자들이 협력해야 한다."
    → 문제 해결을 위해 연구자, 편집자, 교육자 간의 협력이 필수적이다.

이 문장들은 연구의 핵심 문제, 연구 결과, 그리고 해결 방안을 효과적으로 요약하고 있다.

 

Key Findings of the Research Explained Thoroughly in Plain English with Important Terminologies

This research examines how well evidence-based practice (EBP) educational interventions are reported in academic literature. These interventions are designed to teach healthcare professionals how to use the best available research evidence in clinical decision-making. However, for these interventions to be implemented effectively, their details must be reported thoroughly in studies. Without complete descriptions, educators and clinicians cannot replicate or apply them properly in practice.

1. The Problem of Incomplete Reporting

The study found that none of the reviewed EBP educational intervention studies provided a fully complete description of the intervention details in their original publications. This lack of thorough reporting makes it difficult for educators to understand exactly what was done in these interventions, making replication and practical application nearly impossible. Even after searching additional sources (such as related publications and supplementary materials), most interventions were still missing crucial details.

2. Contacting Study Authors for More Information

To address these gaps, the researchers reached out to the original authors of the studies to ask for missing details. While 69 authors were contacted, only 42 responded, and 33 provided additional intervention details. Even with this extra information, only 17 out of 83 studies (20%) could be considered fully complete in their descriptions.

3. Most Commonly Missing Information

The most frequently missing information in these studies was "intervention materials"—the actual tools, resources, or content used in the interventions (such as handouts, workbooks, checklists, slides, or online resources). This information was missing in:

• 96% of original publications
• 93% of additional sources
• 71% of studies even after contacting the authors

Additionally, key details about:

• Who delivered the intervention (the expertise and background of the educators)
• How the intervention was delivered (specific teaching strategies and methods)
• The timing, duration, and frequency of sessions were also often missing or poorly described.

4. Trend Over Time

The study also found that the quality of reporting has improved over time, though it remains inadequate. Studies published in recent years (2010–2016) were more likely to include complete details than those published before 2005.

5. Implications for Research and Practice

Incomplete reporting of EBP educational interventions creates barriers to knowledge translation. If educators and clinicians do not have full access to intervention details, they cannot implement effective teaching methods or improve medical education practices. The study suggests that researchers should follow structured reporting guidelines such as:

• TIDieR (Template for Intervention Description and Replication)
• GREET (Guideline for Reporting Evidence-Based Practice Educational Interventions and Teaching)

Additionally, journals and editors should enforce stricter reporting standards to ensure that educational interventions are fully described in published research.

6. The Way Forward

To improve accessibility, the researchers proposed uploading retrieved materials (that were made publicly available) to open-access databases like the Critical Thinking and Appraisal Resource Library (CARL). They also emphasize that collaborative efforts between researchers, journal editors, and educators are necessary to enhance the completeness and transparency of reporting in EBP educational research.

Conclusion

This study highlights a major issue in medical education research: the failure to provide complete descriptions of EBP educational interventions. Even after contacting authors, most interventions remained partially or incompletely reported, making it difficult to replicate successful programs. Moving forward, researchers, journal editors, and educators must work together to improve the completeness of intervention reporting, ensuring that effective educational methods can be widely adopted in medical training.

 

 

연구의 주요 결과를 중요한 용어를 포함하여 쉽게 설명

이 연구는 근거기반실무(Evidence-Based Practice, EBP) 교육 개입이 학술 문헌에서 얼마나 잘 보고되고 있는지를 조사한 것이다. EBP 교육 개입은 의료 전문가들이 임상적 의사 결정을 내릴 때 최신 연구 근거를 효과적으로 활용할 수 있도록 교육하는 프로그램이다. 하지만 이러한 개입이 실제로 효과적으로 적용되려면, 연구 논문에서 해당 개입의 세부 사항이 명확하고 완전하게 보고되어야 한다. 만약 이러한 정보가 충분하지 않다면, 교육자나 임상의가 같은 방식으로 재현하거나 실무에 적용하는 것이 거의 불가능하다.

---

1. 불완전한 보고의 문제

이 연구는 검토된 EBP 교육 개입 연구 중 어느 하나도 논문의 원본 출판물에서 개입 내용을 완전히 보고한 사례가 없다는 점을 발견했다. 즉, 연구 논문을 읽는 것만으로는 교육 개입이 어떻게 진행되었는지 정확히 이해할 수 없었다. 연구자들은 추가 자료(예: 관련 연구 논문이나 보충 자료)를 조사했지만, 여전히 대부분의 개입에서 중요한 정보가 누락되어 있었다.

---

2. 연구 저자들에게 직접 문의하여 추가 정보 요청

이러한 정보 부족 문제를 해결하기 위해, 연구진은 원래 연구 논문의 저자들에게 직접 연락하여 누락된 정보를 요청했다. 69명의 저자에게 연락을 취했으나, 42명만이 응답했으며, 이 중 33명만이 추가 정보를 제공했다. 그러나 이렇게 추가 정보를 확보한 후에도 83개의 연구 중 단 17개(20%)만이 완전한 보고로 평가될 수 있었다.

---

3. 가장 자주 누락된 정보

논문에서 가장 자주 빠진 정보는 **"개입 자료(intervention materials)"**로, 즉 연구에서 사용된 실제 교육 자료(워크북, 체크리스트, 강의 자료, 온라인 자료 등)가 보고되지 않은 경우가 많았다. 이 정보가 누락된 비율은 다음과 같다.

• 원본 논문의 96%
• 추가 자료에서도 93%
• 저자들에게 직접 문의한 후에도 71%

이 외에도 다음과 같은 주요 정보가 종종 빠져 있었다.

• 개입을 제공한 사람(강사의 전문성과 배경)
• 개입이 진행된 방법(특정 교육 전략과 교수법)
• 교육 세션의 시간, 기간, 빈도

---

4. 시간이 지나면서 보고 품질이 향상됨

연구에서는 시간이 지나면서 보고 품질이 점차 개선되었지만, 여전히 불완전한 경우가 많았다는 점도 발견했다.
특히, 2010년 이후에 출판된 연구들은 2005년 이전 연구보다 상대적으로 보고의 완성도가 높았다.

---

5. 연구와 실무에 대한 시사점

EBP 교육 개입 연구에서 보고가 불완전할 경우, 효과적인 교육 방법이 실제 실무에 적용되는 것을 방해하는 장벽이 될 수 있다.
교육자와 임상의가 특정 개입이 효과적인지 확인하고 이를 활용하기 위해서는 충분한 세부 정보가 필요하다.
이를 위해 연구자들은 **다음과 같은 보고 지침(reporting guidelines)**을 따를 것을 제안했다.

• TIDieR (Template for Intervention Description and Replication)
• GREET (Guideline for Reporting Evidence-Based Practice Educational Interventions and Teaching)

또한, 학술지 편집자들은 연구 개입이 완전하게 보고되도록 보다 엄격한 기준을 적용해야 한다고 강조했다.

---

6. 해결책과 향후 방향

연구자들은 EBP 교육 개입 자료를 더 쉽게 접근할 수 있도록 하기 위해, 일부 연구에서 확보한 자료를
오픈 액세스 데이터베이스(예: Critical Thinking and Appraisal Resource Library, CARL)에 업로드할 것을 제안했다.
궁극적으로, 연구자, 학술지 편집자, 교육자 간의 협력을 통해 교육 개입의 보고 품질과 투명성을 높이는 노력이 필요하다.

---

결론

이 연구는 의료 교육 연구에서 EBP 교육 개입의 보고가 심각하게 불완전하다는 점을 밝혀냈다.
저자들에게 직접 문의했음에도 불구하고, 대부분의 개입은 여전히 부분적이거나 불완전하게 보고되었다.
향후에는 연구자, 학술지 편집자, 교육자 간의 협력을 통해 EBP 교육 개입 보고의 완전성과 투명성을 높여야 하며,
이를 통해 의학 교육에서 효과적인 교육 방법이 보다 널리 적용될 수 있도록 해야 한다.

 

 

 

 

 

 

 

Albarqouni, L., Glasziou, P., & Hoffmann, T. (2018). Completeness of the reporting of evidence‐based practice educational interventions: A review. Medical Education, 52(2), 161-170.