How do you solve a problem like COREQ? A critique of Tong et al.’s (2007) Consolidated Criteria for Reporting Qualitative Research
Received 24 February 2024, Revised 11 July 2024, Accepted 11 July 2024, Available online 25 July 2024, Version of Record 14 August 2024.
https://www.sciencedirect.com/science/article/pii/S2590260124000213
안녕하세요! 질적 연구(Qualitative Research)를 하시는 분들이라면, 특히 보건/의료 계열 연구자분들이라면 논문 투고할 때 COREQ (Consolidated criteria for reporting qualitative research) 체크리스트 때문에 머리 싸매본 적 있으시죠?
"참여자 검증은 했나요?", "데이터 포화는 달성했나요?", "코더 간 일치도는 얼마인가요?"
이런 질문들에 억지로 답을 끼워 맞추느라 답답했던 경험이 있다면, 오늘 소개할 논문이 아주 시원한 '사이다' 가 되어줄 겁니다. 바로 주제 분석(Thematic Analysis) 의 대가인 Braun & Clarke 팀이 쓴 COREQ에 대한 비평 논문입니다.
1. COREQ, 도대체 뭐가 문제인가요? 🤔
많은 저널들이 질적 연구의 품질을 보장하기 위해 COREQ 체크리스트 사용을 요구합니다. 하지만 저자들은 이것이 오히려 연구의 품질을 떨어뜨리고, 연구 방법론을 꼬이게 만든다고 지적합니다. 저자들은 COREQ가 연구자들에게 '좌절의 원천(source of frustration)' 이 되고 있다고 말합니다.
"다른 많은 연구자(우리를 포함하여)에게, 이것은 좌절의 원천이자, 종종 부적절하며, 심지어 질적 보고에 있어 방법론적 불일치를 증가시킬 위험이 있는 도구입니다."
"For many others (including us), it is a source of frustration, a tool that is often inappropriate, and even risks increasing methodological incongruence in qualitative reporting."
2. '소문자 q' vs '대문자 Q'의 충돌 💥
이 논문의 핵심은 질적 연구를 바라보는 관점(Paradigm) 의 차이입니다.
- Small q (소문자 q): 후기 실증주의(Postpositivist) 또는 실재론(Realist) 에 기반한 연구. 진리(Truth)는 어딘가에 존재하고, 연구자는 편향(Bias)을 제거해서 그걸 '발견'해야 한다고 믿습니다.
- Big Q (대문자 Q): 비실증주의(Non-positivist) 연구. 지식은 발견되는 게 아니라 연구자의 해석을 통해 '구성'된다고 봅니다. 연구자의 주관성은 제거 대상이 아니라 연구의 도구입니다.
문제는 COREQ가 철저하게 '소문자 q'의 관점에서 만들어졌다는 점입니다. COREQ는 연구자가 마치 광부처럼 데이터 속에 숨겨진 '사실'을 캐내야 한다고 가정합니다.
"COREQ 내에 암묵적인 (질적) 연구 모델은 후기 실증주의적 모델입니다... 희화화하자면, 연구자들이 알고자 하는 진리가 존재하고... 그들은 가능한 한 가장 편향되지 않고 중립적인 방식으로 데이터에서 이것을 ‘추출’했음을 증명해야 한다는 것입니다."
"The model of (qualitative) research implicit within COREQ is a postpositivist one... In caricature, there is a truth that researchers seek to know... and they need to demonstrate that they have ‘extracted’ this from their data in the least biased and most neutral way possible."
3. 맞지 않는 옷을 억지로 입히는 항목들 🙅♀️
저자들은 COREQ의 특정 항목들이 '대문자 Q(Big Q)' 연구에는 전혀 맞지 않는다고 비판합니다. 대표적으로 세 가지가 있습니다.
① 데이터 포화 (Data Saturation)
데이터 포화는 "더 이상 새로운 정보가 나오지 않을 때까지" 데이터를 모으는 개념입니다. 하지만 연구자가 해석을 통해 의미를 생성하는 연구라면, 분석은 언제나 새로운 통찰을 만들어낼 수 있기 때문에 '완벽한 포화'란 논리적으로 불가능할 수 있습니다.
② 코더 간 일치도 (Inter-coder Agreement)
여러 연구자가 똑같이 코딩했는지 확인하는 것은 "정답이 하나"라고 믿을 때나 유의미합니다. 깊이 있는 해석적 연구에서 다중 코더는 '합의'가 아니라 '다양한 시각을 통한 복합적 이해'를 위해 쓰여야 합니다.
③ 참여자 검증 (Participant Validation)
참여자가 연구자의 해석이 맞는지 확인해 주는 것(Member checking)은 참여자가 자신의 경험에 대한 '최종 진리'를 알고 있다는 가정에서 출발합니다. 하지만 연구자와 참여자는 서로 다른 렌즈로 세상을 봅니다. 불일치는 오류가 아니라, 또 다른 맥락의 반영일 뿐입니다.
4. 그래서 해결책은 무엇인가요? 💡
이 논문의 저자들은 COREQ를 아예 없애버리자고 하지는 않습니다(현실적으로 어렵다는 걸 아니까요). 대신 아주 실용적인 제안을 합니다.
첫째, COREQ는 '소문자 q' 연구에만 쓰도록 제한해야 합니다. 구성주의적이고 해석적인 연구(Big Q)에 이 잣대를 들이대지 말라는 것이죠.
"우리는 COREQ가 제기하는 문제에 대한 해결책은 그 사용을 후기 실증주의적/실재론적 또는 ‘소문자 q’ 질적 연구의 보고 및 평가로만 제한하는 것이어야 한다고 제안합니다."
"We propose that the solution to the problem COREQ poses should be to limit its use to the reporting and evaluation of postpositivist/realist or ‘small q’ qualitative research only."
둘째, '소문자 q' 연구에 쓰더라도 COREQ는 수정되어야 합니다. 단순히 "했니? 안 했니?"를 체크하는 게 아니라, "어떻게, 왜 했니?" 를 설명하도록 요구해야 합니다. 예를 들어 "데이터 포화를 논의했는가?"라고 묻지 말고, "포화를 어떻게 정의하고 결정했는지 설명하라"고 해야 한다는 것이죠.
📝 결론: 체크리스트보다 중요한 건 '연구 가치'
결국 중요한 것은 기계적인 체크리스트 준수가 아니라, 연구자가 자신의 연구 가치(Research Values) 와 방법론적 무결성(Methodological Integrity) 을 얼마나 잘 이해하고 있느냐입니다.
COREQ 때문에 "내가 연구를 잘못하고 있나?" 고민하셨던 분들, 여러분의 연구가 'Big Q' 라면 그 고민은 여러분 탓이 아닙니다. 도구가 맞지 않았을 뿐입니다. 이제 당당하게 자신의 방법론적 입장을 설명하고, 맞지 않는 기준에 대해서는 "내 연구 패러다임과는 다르다"고 이야기해 보는 건 어떨까요?
많은 질적(보건) 연구자(qualitative (health) researchers)들에게 있어, 많은 저널이 원고 제출 및 평가에 사용하는 도구인 COREQ – 질적 연구 보고를 위한 통합 기준 체크리스트(consolidated criteria for reporting qualitative research checklist) (Tong et al., 2007) – 는 질적 연구 보고의 품질을 보호하는 데 가치 있는 기여를 합니다. 하지만 (우리를 포함한) 다른 많은 연구자에게, 이것은 좌절의 원천이자, 종종 부적절하며, 심지어 질적 보고에 있어 방법론적 불일치(methodological incongruence)를 증가시킬 위험이 있는 도구이기도 합니다. COREQ의 타당성(cogency)과 가치에 대한 이러한 서로 다른 입장은 질적 연구 분야(qualitative research terrain)의 복잡하고, 다양하며, 때로는 모호한(fuzzy) 본질을 방증합니다(e.g., Knoblauch et al., 2005; Madill and Gough, 2008). COREQ가 품질을 위한 보편적인 도구로 취급될 수 있고, 질적 학문의 수많은 서로 다른 지향점(orientations)과 가치에 대한 연구자의 인식이 부분적일 수 있는 상황에서, 우리는 COREQ가 문제가 된다고 주장합니다. 1
일부 질적 학자들은 COREQ와 같이 질적 연구를 평가하는 기준론적 접근(criteriological approaches) 2은 전면적으로 거부되어야 한다는 원칙을 우선시해 왔습니다(e.g., Denzin, 2024). 우리는 그러한 거부로 이어지는 기준론적 접근에 대한 비판(Sparkes and Smith, 2009)에는 동의하지만, COREQ의 사용이 계속될 것이라고 믿는 상황에서 우리는 보다 실용적인 입장(pragmatic position) 을 취합니다. 거부 대신, 우리는 COREQ의 사용을 훨씬 더 제한적으로 촉진하는 교정책(correctives)을 제안하고자 하며, 동시에 그 제한된 참조 범위 내에서도 우리가 핵심적인 문제로 식별한 것들을 다루고자 합니다. 우리는 기존의 COREQ에 대한 비판을 종합하고 확장하여, 비실증주의적(non-positivist) 또는 ‘대문자 Q(Big Q)’ (Kidder and Fine, 1987) 질적 학자로서 우리가 COREQ를 어떻게 문제로 이해하는지 보여줄 것입니다.
COREQ의 고착화(entrenchment)를 염두에 두고(Majid and Vanstone, 2018), 이 논문에서 우리는 COREQ가 제기하는 문제에 대한 해결책은 그 사용을 후기 실증주의적/실재론적(postpositivist/realist) 또는 ‘소문자 q(small q)’ 질적 연구의 보고 및 평가로만 제한하는 것이어야 한다고 제안합니다. 그러나 그러한 해결책을 적용하더라도 COREQ는 여전히 품질을 저해할 잠재력을 가지고 있으므로, 향후 COREQ를 사용하려면 수정되고 명확해진 버전이 필요하다고 제안합니다. 실제로 질적 연구에 대한 보편적인 가치와 관행 세트가 부재한 상황에서, 우리는 (지침이 되는) 연구 가치(research values)에 대한 명확성, 그리고 기준이 그러한 가치와 어떻게 부합하는지를 명확히 하는 것이 (COREQ든 다른 것이든) 질적 학문과 관련된 품질 평가 도구에 필수적이라고 제안합니다. 3
시작하기 전에, 용어에 대한 참고 사항:
- 우리는 Kidder and Fine(1987)의 매우 유용한 개념인 ‘소문자 q(small q)’ 를 확장하여, 심리학을 포함한 많은 사회 및 보건 과학 분야를 오랫동안 지배해 온 실증주의적-경험주의적 전통(positivist-empiricist tradition) 에 기반을 둔 질적 연구를 분류하는 데 사용했습니다(마찬가지로 우리는 보다 ‘완전히’ 질적이고 비실증주의적인 접근 방식을 ‘대문자 Q(Big Q)’ 로 사용합니다). 우리는 현재 학문적으로 지배적인 실증주의(positivism) 버전을 나타내기 위해 postpositivist/m이라는 표기를 사용합니다. 우리는 편의와 명확성을 위해 다른 곳(e.g., Braun and Clarke, 2024a)에서 사용하는 (post)positivist와 대조하여 이렇게 표기합니다.
- 그러나 이것은 다소 ‘후기(post)’적일 수는 있어도 ‘비(non)’실증주의적이지는 않은, 다양한 실증주의적 입장을 포괄하는 것으로 받아들여져야 합니다. 이 용어를 사용할 때 우리는 과학 철학(philosophy of science) 에서의 실증주의와 후기 실증주의에 대한 복잡하고 미묘한 논의보다는, 심리학 및 기타 학문의 많은 경험적 연구(empirical research)를 뒷받침하는 작동 철학(working philosophy)을 참조합니다.
- 마찬가지로 우리가 실재론(realism) 을 언급할 때, 우리는 일부 ‘대문자 Q’ 또는 비실증주의적 질적 연구 내에서 사용되는 비판적 실재론(critical realism)의 버전이 아니라, 진리(truth)와 객관성(objectivity)을 핵심으로 하는 과학적 실재론(scientific realism) 을 지향합니다. 또한 우리는 이러한 일반적인 연구 가치 세트를 전달하기 위해 객관주의적(objectivist) 및 사실주의적(factist) 지향이라는 용어도 사용합니다.
1. COREQ(와 그에 대한 불만) 소개
(1. Introducing COREQ (and its discontents))
질적 연구(qualitative research) 와 질적 연구 보고의 품질을 판단하기 위해 고안된 수많은 도구가 있습니다(e.g., Santiago-Delefosse et al., 2015는 133개를 식별함). 그러나 (인터뷰와 포커스 그룹을 사용하는) 질적 연구 보고의 품질을 평가하기 위해 고안된 32개 항목의 체크리스트(checklist) 4인 COREQ (Tong et al., 2007)는 가장 영향력 있는 도구 중 하나입니다(Majid and Vanstone, 2018). Tong et al. (2007)은 COREQ의 목적을 질적 연구의 완전하고 투명한 보고를 장진하고, 인터뷰 및 포커스 그룹 연구의 엄격성(rigour) 을 향상시키는 것이라고 제시했는데, 이는 우리도 공유하는 목표입니다.
- 이것은 (주로) 기존 22개 도구에 대한 검토 및 통합과 저자 합의(author consensus) (Tong et al., 2007)의 조합을 통해 개발되었으며, 이는 체크리스트 개발의 두 가지 일반적인 방법입니다(Buus and Perron, 2020). 총 76개 항목이 22개의 다양한 출처에서 추출되었는데, 그 출처들이 모두 보고 또는 품질 도구였던 것은 아니었으며(Buus and Perron, 2020 참조), 세 가지 영역, 즉 연구팀과 성찰성(reflexivity), 연구 설계(study design), 데이터 분석 및 보고(data analysis and reporting) 로 그룹화되었습니다.
- 그 후 항목들을 검토하여 유지하거나 제외했는데, 후자의 경우 중복되거나, 질적 연구에만 특화되지 않았거나, 평가하기 비실용적이거나, 정의가 모호하거나 불분명한 경우였으며, 남은 30개 항목은 필요한 경우 “명확성을 위해 문구가 수정”되었습니다(Tong et al., 2007, p. 351). Tong et al.은 중요한 누락 사항을 다룬다고 합의한 두 가지 추가 항목, 즉 인터뷰/포커스 그룹을 누가 수행했는지와 데이터 수집 중 비참여자의 존재 여부를 추가했습니다.
- COREQ는 질적 연구에 특화되도록 설계되었으며 더 넓은 범위의 연구에 적용 가능한 기준은 포함하지 않도록 설계되었으나(Tong et al., 2007), ‘연구 설계’ 항목 중 상당수(예: 인구통계학적 정보 보고)는 참여자가 포함된 모든 연구에 적용될 수 있습니다.
- 32개 항목의 체크리스트가 출판되었을 때, 저자들은 체크리스트를 개선하기 위해 독자들에게 의견을 요청했습니다. 다른 이들(Al-Moghrabi et al., 2019; O'Brien et al., 2014; Walsh et al., 2020)은 체크리스트에 더 많은 항목이 추가되어야 한다고 요구해 왔습니다. 그러나 우리가 확인할 수 있는 COREQ에 대한 수정 사항은 없었습니다.
COREQ의 가치와 사용은 널리 지지받아 왔으며(Booth et al., 2014; Smith et al., 2017 참조) – 특히 보건 연구에서 광범위하게 사용되고(Al-Moghrabi et al., 2019; Walsh et al., 2020) – 연구자와 연구 평가자 모두를 위한 도구로 활용됩니다(Sidhu et al., 2017; Walsh et al., 2020).
- 일부 (보건) 저널은 저자가 COREQ를 준수하도록 요구하며(Buus and Perron, 2020), 모든 간호학 저널이 COREQ를 공식적으로 승인해야 한다는 요구도 있었습니다(Walsh et al., 2020).
- 이것은 보건 연구 보고의 완전성과 투명성을 향상시키는 데 관심이 있는 연구자, 의학 저널 편집자 및 검토자, 보고 지침 저자 및 자금 지원 기관의 산하 조직인 EQUATOR (Enhancing the QUAlity and Transparency Of health Research) 네트워크의 승인을 받았습니다(Buus and Perron, 2020).
- 보고 품질은 보건 연구에서 특히 중요한 관심사인데, 이는 질적 연구의 가치가 의문시되어 왔고(그리고 방어되어 왔음, Greenhalgh et al., 2016 참조), 질적 증거 합성(Qualitative Evidence Synthesis, QES) 의 중요성이 커지고 있기 때문입니다. COREQ는 QES를 위한 품질 평가에 있어 (다양한 방식으로) 유용한 도구라고 주장되어 왔습니다(Booth et al., 2014; Majid and Vanstone, 2018).
동시에 COREQ 지지자들조차 이를 준수하는 것이 반드시 품질을 보장하지는 않는다는 점을 인정했습니다.
- Walsh et al. (2020)은 한 연구가 COREQ 항목을 모두 체크하더라도 여전히 품질이 낮을 수 있다고 언급했습니다. 다른 이들은 COREQ를 규범적으로(prescriptively) 사용하기보다는 상세하고 투명한 보고를 위한 프롬프트로 제공해야 한다고 경고합니다(Dossett et al., 2021).
- 또한 단어 수 제한이 부실하거나 불완전한 보고 문제를 악화시킨다는 인식이 있으며, COREQ는 제한된 단어 수나 (특히 의학 저널의) 전통적인 보고 형식의 어려움을 해결하지 못합니다(e.g., Booth et al., 2014; Dossett et al., 2021). 5 설령 COREQ가 보고 품질을 촉진/보장한다고 가정하더라도(de Jong et al., 2021; Walsh et al., 2020 참조), COREQ 준수(compliance) 검토(Al-Moghrabi et al., 2019; de Jong et al., 2021; Walsh et al., 2020)는 준수율이 가변적임을 시사합니다.
- 예를 들어, 다루어진 항목의 평균 수는 약 50%(15–17/32)였으며, 검토된 논문의 절반 이상에서 보고 품질이 단지 ‘보통(moderate)’으로 판단되었습니다(1/3 이상은 ‘나쁨(poor)’으로 판단됨). 만약 COREQ로 추론된 품질이 준수 수준에 의해 결정된다면, 이러한 비판적 평가는 자체적인 참조 기준 내에서조차 COREQ가 사용되는 방식에 변화가 필요함을 시사합니다.
- 아마도 더 중요한 질문은, 이 도구가 보편적으로 적용 가능하다고 가정된다면, 왜 준수율이 낮은가일 것입니다.
왜 COREQ가 (보건) 연구에서 널리 사용되는 것이 우리에게 문제가 될까요? 그것은 보건 분야에서 출판되고 사용되는 질적 연구의 범위와 영역을 제한할 위험이 있을 뿐만 아니라, 더 중요하게는 방법론적 불일치(methodological incongruence) 를 조장할 위험이 있기 때문입니다(Levitt et al., 2017). 따라서 COREQ에 대한 우리의 입장은 COREQ가 질적(인터뷰 및 포커스 그룹) 연구 보고의 모범 사례(good practice)를 의미 있게 포착한다는 가정에 – 다양한 방식으로 – 의문을 제기하는 회의론자들(e.g., Buus and Agdal, 2013; Buus and Perron, 2020; King, 2021; Peditto, 2018)과 더 일치합니다.
- COREQ의 가정된 타당성(validity)의 일부는 문헌 검토, 항목 통합 및 저자 합의라는 개발 방법에 있습니다. 그러나 COREQ의 개발을 복제하려다 실패한 Buus and Perron (2020)의 시도는 COREQ 개발 과정의 편파성을 강조합니다. 그들은 체크리스트 개발이 신뢰할 수 없으므로(not trustworthy) 믿을 수 없고(not credible), 이 체크리스트가 거의 이의 제기 없이 받아들여진다는 사실을 “놀랍다(alarming)”(p. 1)고 기술했습니다.
- 체크리스트가 어떻게 탄생했는지가 그 타당성에 중요하기는 하지만, 우리는 (사회적) 객체(object)로서의 COREQ 자체와 그것이 무엇을 촉진하고, 가능하게 하며, 제약하는지에 더 관심이 있습니다. 이는 COREQ를 그 효과에 있어 중립적인 것이 아니라, 생산적(productive)이고 구성적(constitutive) 인 것으로 이해하는 것에 의존합니다. 우리의 비판 중 일부는 COREQ에서 사용된 언어, 그리고 특정 용어와 개념의 가정 및 함의에 대해 자세히 초점을 맞추는데, 이는 언어에 세심한 주의를 기울이고 언어가 단지 반영하는 것이 아니라 생산적이라는 아이디어를 가진 담론 심리학(discursive psychology) 에서의 우리의 훈련을 반영합니다. 우리의 비판은 다양한 방식으로 COREQ에 대한 기존 비판을 바탕으로 하고 확장하므로, 이제 이에 대해 더 자세히 논의하겠습니다.
COREQ에 대한 이러한 비판 중 일부는 품질 및 품질 보장/결정을 위한 체크리스트의 유의미성에 대한 더 넓은 논의와 합류합니다. 품질에 대한 논의는 기준론적(criteriological) 이라고 불리는 접근 방식과 보다 상대주의적(relativist) (Sparkes and Smith, 2009 참조)이라고 지정되는 접근 방식 사이의 근본적인 긴장을 불러일으킵니다. 비평가들에게 있어, 질적 연구의 창의성과 개방성을 제한하는 것으로 프레임화된, 품질을 “측정(measure)”하는 기준론적(또는 “토대주의적(foundationalist)” 혹은 “준-토대주의적(quasi-foundationalist)”) 방법은 단순히 문제가 있는 것이 아니라 질적 탐구가 추구하는 본질이나 핵심에 배치되는 것입니다(e.g., Denzin, 2024). 실제로 품질이 “측정”될 수 있다는 생각 – 체크리스트를 통해 개념적으로 허용되거나 요구되는 – 은 대문자 Q 질적 연구(Big Q Qualitative) 의 상황적이고, 맥락화되며, 성찰적으로 열린 가치 및 관행과 일치하지 않습니다(Braun and Clarke, 2024a). 일부 사람들에게 측정이라는 아이디어는 정치, 권력, 지식에 대한 깊은 우려(우리는 이에 공감합니다!)와 연결되어 있는 것으로 보이며, 측정 자체가 우리를 실증주의(positivism) 의 객관주의적 관심사로 되돌리고, 기술(techniques)과 품질의 기계적인 정렬을 만들어낼 것이라고 우려합니다(e.g., Smith and Hodkinson, 2005). Sparkes and Smith는 다음과 같이 주장했습니다.
기준론적 접근은 대화를 차단하고, 학문의 지식을 무디게 하며, 창의성을 억누르기 때문에 개념과 이슈들이 새로운 방식으로 탐구되지 못하게 한다. 이 모든 것은, 도전받지 않고 남겨진다면, 존재론적 침체(ontological stagnation) 를 낳고 앎과 존재에 대한 자기 참조적이고 자기 정당화적인 구조의 폐쇄 공포증적 분위기를 조성한다 (p. 496).
COREQ에 대한 우리의 비판은 이러한 (존재론적) 창의성의 무뎌짐, 또는 특정 상황적 척도를 질적 품질의 보편적 지표로 융합함으로 인한 지식의 인식론적 폐쇄에만 국한되지 않고, 그것이 더 빈약한(poorer) 질적 연구를 생산한다는 점에 있습니다.
이미 언급한 일반적인 기준론적 비판을 넘어, (COREQ와 같은) ‘하나의 크기가 (아마도) 모든 것에 맞는다’는 체크리스트는 다음과 같은 이유로 비판받아 왔습니다:
- 지나치게 경직되고 규범적임(Barbour, 2001);
- 보다 전체적인(holistic) 기준을 희생하면서 사소한 세부 사항에 집중함(Barbour, 2001; Buus and Perron, 2020);
- 보고 품질과 연구 품질을 혼동함; 그리고
- 한 전통의 기준과 기술을 다른 전통에 잘못 적용함(Dossett et al., 2021; Shaw et al., 2019).
더욱이, COREQ가 개발된 바로 그 출처들 중 일부(e.g., Malterud, 2001; Mays and Pope, 2000)는 품질에 대한 관점의 다양성을 강조했거나, “질적 연구를 통일된 분야로 취급하는 경향”(Dixon-Woods et al., 2004, p. 223)에 대해 경고했습니다. – 우리는 COREQ가 이러한 경향에 기여한다고 주장합니다.
회의론자들은 체크리스트가 데이터 생성 및 분석 기술과 절차, 그리고 관찰 가능한 현상에 초점을 맞추고 있다고 지적하며, 이것이 기준론적 지향(Sparkes and Smith, 2009)을 환기시킴으로써 잠재적으로 “질적 탐구의 품질을 훼손”(Morse, 2021, p. 819)한다고 주장합니다. 예를 들어,
- 체크리스트의 모든 기준을 충족한 질적 연구라 할지라도 “빈약한 해석으로 고통받고 당면한 현상에 대한 통찰력을 거의 제공하지 못할 수 있으며”(Dixon-Woods et al., 2004, p. 224; 아이러니하게도, COREQ가 기반으로 한 출처 중 하나임),
- 반대로 체크리스트 준수 측면에서는 결함이 있을 수 있지만 “데이터에 근거한 설득력 있고 생생하며 통찰력 있는 서사(narrative)”(p. 224)를 제공하는 연구도 있을 수 있습니다.
Morse(2021)에게 있어 체크리스트는 “연구 산출물(product) 의 가치를 무시”하며 결과가 주제에 미치는 “독창성, 실체, 기여를 다루지 않습니다”(p. 819; Denzin, 2024 참조). 그리고 종종 질적 연구 과정의 일부인 혼란스러움과 복잡성을 효과적으로 ‘정리(tidying away)’함으로써(Krane, 2019), 체크리스트를 준수한 질적 보고는 결함을 드러내기보다는 감출 수 있습니다(Buus and Agdal, 2013). 실제로, 표면적으로는 평가 작업을 더 쉽게 만드는 동안, 체크리스트는 검토의 타당성(validity of review) 을 훼손할 위험이 있습니다. Buus and Perron(2020)은 COREQ가 보고서의 관찰 가능한 특징을 강조하면서 이것들이 왜 중요한지에 대한 고려 없이, 질적 연구의 더 넓은 이론적, 사회적 맥락을 간과하게 만든다고 주장했습니다.
이 논문의 나머지 부분에서 우리는 COREQ가 단지 질적 연구 품질의 보편적 척도로 취급될 때뿐만 아니라, 그 자체로 문제라고 주장할 것입니다. 우리는 COREQ가 질적 연구와는 거리가 먼 모델을 가정하고, 대리적으로(by proxy) 이를 보편적이거나 일반적인 것으로 홍보하는 다양한 방식을 보여줄 것입니다. 학자들이 특정 사항에는 주의를 기울이도록(그러나 다른 사항에는 그렇지 않도록) 하고, 특정 방식으로 글을 쓰도록 유도함으로써, 소문자 q(small q) 질적 연구의 품질조차 위험에 처하게 됩니다. 비록 “기준론” 비판가들의 우려에 태생적으로 공감하지만, 이 비평을 쓰는 우리의 목표는 COREQ와 같은 척도의 어떤 사용도 즉시 일축하려는 것이 아닙니다. – 실제로 언급했듯이, 우리는 우리만의 방법론적으로 한정된 (대문자 Q) 질적 보고 지침을 개발했습니다(Braun and Clarke, 2024a, 2024b). 대신, 현재와 미래의 질적 지형에 대한 우리의 실용적인 해석에 힘입어, 우리의 목표는 방법론적 진실성/무결성(methodological integrity) 과 투명성(Braun and Clarke, 2023; Levitt et al., 2017)을 증명하고, 종종 질적 연구의 일부인 ‘혼란(mess)’을 정리하도록 요구받지 않는(Chenail, 1995; Krane, 2019; Tuval-Mashiach, 2017 참조; Buus and Agdal, 2013 참조) 질적 연구를 촉진하기 위해, 다양한 유형의 질적 학문에 걸쳐 더 잘, 더 명확하게 숙고된 관행을 장려하는 것입니다.
2. 문제로서의 COREQ 이해하기
(2. Understanding COREQ as a problem)
질적 연구(qualitative research) 의 개념화에 있어 한계는 COREQ를 오직 특정(certain) 질적 연구를 위한 평가 도구로서만 유용하게 만듭니다. 우리는 이것이 데이터 생성(data generation) 접근 방식(예: 인터뷰 및 포커스 그룹)에 의해 제한되는 것이 아니라, 오히려 패러다임(paradigm) 또는 가치(values) 의 문제 – 방법론(methodology)과 연결되는 존재론(ontology) 및 인식론(epistemology) 의 질문에 의해 구분되어야 한다고 주장할 것입니다. 비록 우리는 COREQ가 소문자 q(small q) 질적 연구를 평가할 때만 목적에 부합한다고 제안하지만, 그 경우에도 그 목적을 잘 수행하고 불일치(incongruence) 와 낮은 품질의 (소문자 q) 질적 연구가 될 위험을 피하기 위해서는 수정이 필요합니다.
- 질적 연구의 다양성을 고려할 때, 이러한 명확화와 경계 설정(delimitation) 은 중요합니다. COREQ는 이 문제에 대해 명확히 하기보다는 모호하게 만든다는 비판, 특히 일치성(congruence)을 증명하는 것을 포함하여 연구 품질을 고려함에 있어 (존재론적 및 인식론적 수준에서) 이론을 논의하는 것이 얼마나 중요한지를 과소평가한다는 비판을 받아왔습니다.
- Buus and Agdal (2013)은 COREQ에 연구자가 자신의 이론적 가정을 논의하는 것과 그나마 접점이 있는 항목이 단 하나밖에 없다는 점에 주목했습니다. “방법론적 지향과 이론(methodological orientation and theory)”(항목 9)의 결합은 연구자들이 방법론적 지향이나 분석 방법을 기술함으로써 연구의 이론적 토대를 충분히 설명했다고 가정하게 만들 수 있습니다(King, 2021). 이는 질적 보고에 대해 생각할 때 기술관료적(technocratic) (그리고 기준론적(criteriological)) 지향을 고착화할 위험이 있습니다.
만약 COREQ와 같은 체크리스트가 보고 관행을 안내한다면, 출판된 질적 연구가 너무 자주 이론에 대한 논의를 거의 또는 전혀 포함하지 않는 것은 놀라운 일이 아닙니다(Braun and Clarke, 2023). 그러나 질적 연구는 결코 이론적 진공 상태에서 수행되지 않습니다. 연구자가 이를 인식하든 인정하든 상관없이, 그들의 연구는 이론적 가정에 의해 형성됩니다. 이론은 (질적) 연구의 내재적(inherent) 부분이며, 왜냐하면 “그것은 운영되고 생산되는 지식의 종류를 정의하고, 데이터가 무엇이며 어떻게 다루어져야 하는지를 명시하기 […] 또한 인식론적 아이디어는 연구자와 연구 대상 간의 관계를 정의하기” 때문에 중요합니다(Chapple and Rogers, 1998, p. 559). 연구자가 이론을 논의하고 검토자가 이를 고려하도록 요구(requiring) 하지 않음으로써, COREQ는 연구를 형성하는 데 있어 이론의 영향력을 지워버리는 데 기여합니다(Buus and Perron, 2020). 나아가 후기 실증주의적(postpositivist) 학문 규범이 지속적으로 지배적이지만 보이지 않는 상황(Varpio et al., 2017)을 고려할 때, 이론을 명시적으로 고려하지 않는 도구는 부적절한 품질 척도가 비실증주의적 작업에 적용되거나 요구될 경우 개념적 혼란과 방법론적 불일치에 잠재적으로 기여하게 됩니다.
여기에는 두 가지 핵심적인 긴장이 존재하는데, 우리는 이를 다음과 같이 봅니다:
- 1) 연구의 이론적 및 개념적 맥락화(contextualisation) 에 대한 과소평가; 그리고
- 2) 어떠한 개념적 또는 방법론적 근거 없이, 특정(certain) 하고 이론적으로 한정된 관행을 의도치 않게 규범(norm)으로 호출하는 것.
2.1. 개념화: 어떤 질적 연구 모델인가?
(2.1. Conceptualisations: what model of qualitative research?)
비록 COREQ 저자들(Tong et al., 2007)이 질적 연구 내의 다양한 방법론적 및 이론적 틀을 인정(acknowledge) 하고는 있지만, 이것이 COREQ 자체에 반영되지는 않았으며, 확실히 견고하거나 일관된 방식으로는 더욱 아닙니다. 질적 연구가 무엇인지에 대한 절차적(procedural) 설명(또는 오히려 그것이 무엇이 아닌지에 의한 정의) – “질적 연구는 헬스케어에 대한 새로운 지식에 기여하고 새로운 관점을 제공하기 위해 비정량적(non-quantitative) 방법을 사용한다”(p. 350) – 을 제공함으로써, 그들은 질적 연구를 데이터를 수집하고 분석하는 도구와 기술로 개념화하여 환기시킵니다. COREQ 내에 암묵적(implicit) 인 (질적) 연구 모델은 후기 실증주의적(postpositivist) 모델로, 여기서 이러한 도구들은 ‘적절하게’ 사용된다면 알 수 있는 세계(knowable world)를 이해하는 데 유용합니다. 희화화하자면, 연구자들이 알고자 하는 진리가 존재하고, 좋은 질적 연구를 통해 이에 접근할 수 있으며, 그들은 가능한 한 가장 편향되지 않고 중립적인 방식으로 데이터에서 이것을 ‘추출(extracted)’했음을 증명해야 한다는 것입니다. 연구자들이 자신의 연구와 분석을 설명하기 위해 사용하는 언어는 중요합니다 – 예를 들어, COREQ에서 주제 ‘식별(identification)’ 및 ‘발견(findings)’과 같은 언어는 그러한 ‘사실주의적(factist)’ 발견 모델을 환기시킵니다(Braun and Clarke, 2022; Sandelowski, 2010). 전사/해석의 정확성을 위한 참여자 검증(participant validation) 및 데이터 포화(data saturation) 와 같은 관행의 포함뿐만 아니라, ‘편향(bias)’, 연구자 영향, ‘발견(findings)’, ‘표본/표집(sample/sampling)’, ‘식별된 주제(themes identified)’와 같은 용어의 사용을 통해 체크리스트 전반에서 실재론적(Realist)/후기 실증주의적 이론적 가정을 확인할 수 있습니다(비판에 대해서는 Braun and Clarke, 2021, 2022; Clarke, 2021; Smith and McGannon, 2017; Varpio et al., 2017, 2021 참조). COREQ에서의 이러한 소문자 q 연구 방식에 대한 지향은 이것을 오직 특정 유형의(certain types of) 질적 연구를 위한 품질 척도로 설정합니다.
우리에게 있어, COREQ에서 질적 연구의 개념적 프레임 설정(framing)의 핵심 문제는 이 프레임 설정 그 자체나, 실제로 COREQ에서 드러나는 가정, 추론, 또는 개념적 불일치의 일부가 아닙니다. 우리에게 핵심적인 문제는 COREQ 저자들(그리고 결과적으로 COREQ를 사용해 온 많은 이들)이 질적 연구에 대한 (암묵적인) 정의를 편파적/특정한 것으로 위치시키지(situate) 않는 경향이 있으며, 그 특정 관점에서 COREQ의 적용을 고려하지 않는다는 점입니다. 실제로 COREQ와 체크리스트에 대한 다양한 비평가들은 그것들이 질적 연구의 다양성을 인정하기보다는 종종 보편성(universality) 을 가정한다고 지적합니다(Buus and Perron, 2020; Morse, 2021; Varpio et al., 2021). 체크리스트 저자들이 Elliott et al. (1999)이 질적 품질을 위해 중요하다고 제안한 기준 중 하나인 ‘자신들의 관점을 소유(own their perspectives)’하지 않는다면, 어떠한 도구라도 품질에 반(against) 하여 작동할 실제적인 위험이 있습니다. 체크리스트가 품질에 대한 척도로서 갖는 특별한 지위를 고려할 때, 우리는 체크리스트 저자들이 그들의 도구가 기초하고 있는 질적 연구의 근본적 아이디어에 대한 상황적이고 위치지어진(situated and located) 이해를 명확히 해야 한다고 – 즉, ‘자신들의 가치를 드러내야(reveal their values)’ 한다고 주장합니다.
COREQ는 단순히 일반적인(general) 소문자 q 모드를 반영하는 것이 아닙니다. 그것은 널리 사용되고 잠재적으로 가치 있지만, 소문자 q 질적 연구 내에서도(또는 심지어 인터뷰/포커스 그룹 연구 내에서도) 결코 보편적이지 않은 개념들(그리고 관행들, 다음 참조)을 포함합니다(Buus and Agdal, 2013; Dossett et al., 2021; King, 2021; Peditto, 2018). 그리고 비록 그것이 담론 분석(discourse analysis)과 같은 비판적(critical) 질적 방법을 참조하고 있기는 하지만, 우리는 질적 연구 접근법과 지향의 다양성에 대한 유의미한(meaningful) 인정이나, 일반적이거나 이론적으로 중립적이지 않은 체크리스트 항목들의 적용 가능성에 대한 논의가 없다고 주장합니다. 여기에는 개념적 미끄러짐(slippage)과 흐릿함이 있으며, 이러한 긴장은 실제로 중요합니다. 이것은 특히 검토자들이 질적 연구의 더 넓은 맥락 내에서 자신들이 검토하고 있는 연구와 COREQ 기준 모두를 이해하기 위해 얼마나 많은 (성찰적으로 위치지어진) 지식, 기술, 전문성을 갖춰야 하는지(need) 를 고려할 때 더욱 중요합니다(Buus and Perron, 2020 참조). 그리고 우리는 검토자들이 반드시 이러한 전문성을 가지고 있지는 않다는 것을 알고 있습니다(Riley et al., 2019).
COREQ에 포함된 일부 항목들 – 코딩(coding) 및 주제(themes)와 관련된 – 은 일반적이지만(비록 종종 매우 가변적인 방식으로 사용되거나 개념화되지만) 단지 인터뷰와 포커스 그룹 연구만 고려하더라도 보편적인 것과는 거리가 먼 관행들을 환기시킵니다. (단순한) 도구나 기술적 문제처럼 보일 수 있는 것들의 다양성은, (언제나) 그것들을 잠재적으로 꽤 다른 방식으로 형성하는 개념적 토대를 가지고 있습니다. 예를 들어, “인터뷰”와 같은 객체는 단순히 “참여자의 경험과 그들이 그것에 부여하는 의미를 탐색”(Tong et al., 2007, p. 351)하기 위한 도구만은 아닙니다. 인터뷰 과정과 생성된 데이터 모두 꽤 다른 관점에서 이론화될 수 있으며, 예를 들어 담론적 연구(discursive research)에서 사용되는 데이터는 경험이 아니라 진리와 현실의 사회적 구성(social construction) 에 초점을 맞춥니다(e.g., Seymour-Smith et al., 2002). 그리고 COREQ에서 ‘주제’를 강조하고 주제를 참조하는 여러 항목이 있음에도 불구하고(Tong et al., 2007), 주제는 질적 연구의 ‘산출물(product)’이나 결과로서 결코 보편적이지 않습니다 – 예를 들어 담론 분석이나 근거 이론(grounded theory) 같은 접근 방식에서는 다른 개념들이 보고됩니다(예: 담론, 해석적 레퍼토리(interpretative repertoires), 범주, 개념 …). COREQ는 주제의 보편화를 암시(implied) 할 뿐만 아니라, 분석이 위계적으로 정렬된 무언가를 생산할 것이라는 추론( 주요(major) 및 부수(minor) 주제라는 개념이나 코딩 트리(coding trees)의 보고는 층위나 위계에 대한 지향을 환기시킴)도 포함하고 있습니다.
- 일부 ‘주제적’ 방법을 포함하여 일부 질적 접근 방식에서는 차별화되거나 위계적으로 구조화된 분석이 일부가 될 수 있지만(Braun and Clarke, 2022),
- 다른 접근 방식들은 구조나 위계를 완전히 생략합니다. 예를 들어 성찰적 주제 분석(reflexive thematic analysis) 에서, 우리는 너무 많은 차별화와 위계가 얄팍함과 파편화를 통해 품질을 저해할(risks) 수 있다고 주장했습니다(Braun and Clarke, 2022).
보편성이라는 개념을 도입하고 그에 따라 보편적이지 않은 특정 관행에 품질이라는 추론을 결부시킴으로써, 품질은 위협받습니다. 특정 척도를 준수하지 않는 연구는 낮은 품질로 해석될 위험(risks) 이 있습니다 – Buus and Perron (2020)은 COREQ가 체크리스트 항목에 대한 부정적 응답이 무엇을 의미하는지에 대한 지침을 제공하지 않는다고 지적했습니다. 만약 더 적은 수의 COREQ 항목이 체크된다면, 개념적으로 일치하는 훌륭한 품질의 연구조차 선험적으로(apriori) 열등하다고 판단될 수 있습니다. 누군가는 이것이 문제가 되지 않으며, 저자들이 단순히 동의하지 않거나 대안을 제시하면 된다고 주장할 수 있습니다 – 일부가 그러하듯이. 그러나 검토자와 편집자의 평가나 요구를 차치하더라도, 더 큰 문제가 있습니다. 저자들은 관련이 없을 수 있는 사항에 굳이 방향을 맞춰야 할 뿐만 아니라(예를 들어, 질적 데이터 분석 소프트웨어(QDAS)를 사용하지 않은 사람이 분석에서 QDAS를 사용하지 않은 [이유]를 설명한다면 소프트웨어 항목 27번을 체크할 수 있을 것입니다), 어떤 규범과 표준이 환기되는가에 대한 질문이 있습니다. ‘부재하는’ 관행을 설명해야 할 필요성은 그 관행을 이상적인 것은 아니더라도 암묵적으로 규범(norm)으로 설정합니다. 실제로 Buus and Perron (2020)은 COREQ(및 관련 체크리스트)가 단순히 품질 척도의 반영(reflection) 인 것만이 아님을 중요하게 지적했습니다. 그것들은 또한 “특정 관행을 가능하게 하고 유지하는 지식-생성 기술(knowledge-making technology) 로 개념화될 수 있으며”(p. 7), 따라서 학문적 관행과 이념(idea(l)s)을 형성합니다. COREQ 항목과 관련하여, 무엇이 수행되었고, 어떻게, 왜 수행되었는지를 자세히 설명하기 위해 소중한 단어를 사용하는 대신, 연구자들은 비록 그것이 관련이 없더라도 무엇이 수행되지 않았는지, 그리고 그 이유를 잠재적으로 설명해야 합니다. 숙련된 질적 연구자로서 우리에게 이것은 성가시고 좌절감을 주는 일입니다; 그러나 자신감이 부족한 사람들에게 이것은 품질에 반하여 작동하고 모범 사례를 훼손할 잠재력이 있습니다. 우리와 다른 이들이 현재 동료 심사(peer review)에 대해 작성 중인 프로젝트에서, 우리는 일부 연구자들이 심지어 검토자들이 질적 연구에 대해 거의 알지 못하는 것처럼 보일 때조차 그들의 권력을 경계하고 출판을 원하기 때문에 의도적으로 연구에 불일치(incongruence)를 기록한다는 증거를 가지고 있습니다; COREQ 자체가 일치된 보고의 장벽으로 제기되었습니다(Clarke et al., 2024).
부적절한 척도에 관여하도록 요청하는 것조차 개념적 및 학문적 타자화(othering) 의 과정인데, 이에 따라 COREQ의 (암묵적) 가치 및 그것이 품질을 나타낸다고 지정한 관행과 일치하지 않는 연구를 수행하는 학자들은 그럼에도 불구하고 그것들에 방향을 맞추고, 그들의 이탈을 설명해야 합니다. 예를 들어, 참여자 규모를 결정하기 위해 보고된 관행이 성찰적 주제 분석과 개념적으로 일치했던 McGrath et al. (2022, p. 4)이 그럼에도 불구하고 자신들의 접근 방식을 설명할 때 (소문자 q) 규범에 어떻게 방향을 맞추었는지 고려해 보십시오:
성찰적 주제 분석의 원칙과 기풍(ethos)에 따라, ‘데이터 포화(data saturation)’ 개념은 성찰적 주제 분석의 가치 및 가정과 일치하지 않으며 오히려 직접적인 실재론적 존재론과 더 일치하는 것으로 간주되었다(Braun and Clarke, 2021c). 오히려 성찰적 주제 분석의 가정은 연구가 지식 생성의 성찰적 관행으로 위치지어질 때, 항상 새로운 통찰력이나 이해를 위한 잠재력이 있다는 견해와 일치한다(Braun and Clarke, 2021c). 이러한 이유로 정보력(information power) 개념이 적용되었으며—여기서 표본이 보유한 정보력이 클수록 더 적은 참여자가 필요하다(Malterud et al., 2016).
개념적 타자화는 미묘하고 사소해 보일 수 있지만, 우리에게는 중요합니다. 우리는 질적 연구가 정량적 연구에 대항하여 스스로를 정의해야 했던 시점을 (대부분) 지났습니다; 마찬가지로 대문자 Q(Big Q) 연구가 품질 척도와 관행을 포함한 소문자 q 규범에 방향을 맞출 필요가 없다는 것에도 동일하게 적용되어야 합니다.
이 개념화(conceptualisation) 섹션에서의 우리의 마지막 고려 사항은 연구자(들)와 관련이 있습니다. 질적 연구에서 우리가 ‘인간’을 어떻게 해석해야 하는가(해야 하는가)는 COREQ가 질적 연구에 대한 특정하고 한정된(후기 실증주의적) 개념화를 분명히 하는 또 다른 방식입니다.
- 가장 주목할 점은, COREQ가 일부 사람들에게는 모든 질적 연구 품질의 근본적인 측면인 연구자 성찰성(reflexivity)을 지향하지만(King, 2021), 이것이 연구자 편향(bias) 을 (통제하는) 렌즈를 통해 표현된다는 것입니다.
- 이러한 성찰성의 한정은 질적 연구자가 “개인적 편향을 완전히 피할 수는 없다”(Tong et al., 2007, p. 351)는 인정을 통해 분명해지는데, 이는 도구의 중심에 대리적으로 자리 잡은 실증주의적-경험주의적 개념입니다. 후기 실증주의적 틀 내에서, 영향의 효과를 최소화하고 편향을 통제하는 것은 타당한데, 왜냐하면 지식은 이상적으로 연구자와 분리된(separate from) 것으로 개념화되기 때문입니다. 만약 연구자의 편향이 연구를 (너무 많이) ‘오염’시킨다면 연구 품질은 저하됩니다.
- 대문자 Q(Big Q) 관점에서, 이러한 주관성과 형성(shaping)은 언제나 존재합니다. COREQ의 언어에서, 영향력으로 표현되는 연구자의 주관성은 잠재성(potential) 으로 위치지어집니다 – 연구자들은 “독자들에게 이러한 요인들이 연구자의 관찰과 해석에 어떻게 영향을 미쳤을지 모르는지(might) 평가할 수 있는 능력을” 제공하기 위해 개인적 및 전문적 위치 설정의 측면을 공유하도록 초대받습니다(Tong et al., 2007, p. 351, 강조는 필자). 연구자와 참여자 간의 관계는 “그것이 참여자의 반응과 또한 현상에 대한 연구자의 이해에 효과를 미칠 수(can) 있기 때문에” 기술되어야 합니다(p. 351, 강조는 필자).
- 비실증주의적 질적 연구에서 주관성은 지식 생성(creation) 의 내재적(inherent) 구성 요소이며, 연구 과정에서 제거될 수 없는 것입니다(Varpio et al., 2021 참조).
- 지식과 연구자를 분리하는 대신, 성찰성 개념은 우리에게 연구자의 주관성을 “구성적 요소(constitutive elements)”로 보도록 초대합니다(Varpio et al., 2021, p. 169). 성찰성은 지식, 정치, 권력과 연결된 다양한 영역을 포괄하지만(Finlay, 2002), COREQ 내에서 명명되는 것은 개인적(personal) 성찰성과 관련된 측면들(Wilkinson, 1988)입니다. 이들은 전형적으로 편향의 렌즈를 통해 표현되기에 더 용이합니다.
- 연구자 특성에 대한 상대적으로 좁은 초점, 편향과 성찰성의 인정되지 않은 혼동, 그리고 연구자 주관성을 연구에 대한 잠재적 영향으로 프레임화하는 것 모두가 다시금 COREQ의 타당성을 소문자 q 연구로 한정시킵니다.
- 대문자 Q 연구자들에게 연구팀 및 성찰성 영역에서 COREQ를 준수하도록 요구하는 것은 방법론적으로 불일치하고 불완전한 보고를 초래할 가능성이 높습니다.
2.2. 품질 지표로서의 예상된 관행들
(2.2. Expected practices as indicators of quality)
암묵적인 소문자 q(small q) 지향은 COREQ가 암묵적이거나 예상되는 품질 척도로 포함하고 있는 관행들을 통해서도 명백해집니다. 여기서 우리는 COREQ를 일반적(generic)이기보다 특수하게(specific) 만드는 세 가지, 즉
- 데이터 포화(data saturation),
- 코더 간 일치도(inter-coder agreement), 그리고
- 참여자 검증(participant validation)(정확성 확인용)을 간략히 설명합니다.
이러한 연구 관행 중 어느 것도 본질적으로(inherently) 문제가 되는 것은 아닙니다. 적절한 개념적, 방법론적 (그리고 정치적) 맥락에서 그것들은 유용할 수도(may) 있지만, 모두 (우리 자신을 포함하여) 광범위하게 비판받아 왔습니다. 여기서 우리의 초점은 비판 그 자체가 아니라, (맥락화 없는) COREQ 내의 그러한 관행들이 어떻게 특정(certain) 표준을 – 그렇지 않음에도 불구하고 – 보편적인 것으로 규범화하고, 전체적인 질적 품질을 위협하는지에 있습니다.
2.2.1. 데이터 포화 (2.2.1. Data saturation)
- 데이터 포화(종종 그냥 포화라고 함)는 널리 (오)용되는 ‘품질 보증’ 척도이며(Vasileiou et al., 2018), 이는 근거 이론가인 Glaser와 Strauss의 저술에서 이론적 포화(theoretical saturation) 로 구획된 기원을 훨씬 넘어섭니다(Buus and Perron, 2020; Morse, 2015 참조). COREQ는 정보 중복성(information redundancy) – 추가적인 데이터 수집이 새로운 정보를 제공하지 않을 것이라는 아이디어 – 에 기반한 더 느슨한 개념의 ‘데이터 포화’(항목 22, 가이드 질문 “데이터 포화가 논의되었는가?”)를 사용합니다:
- “연구자는 또한 새로운 참여자로부터 새로운 관련 지식을 얻지 못할 때까지 참여자를 모집했는지(데이터 포화) 여부를 명확히 해야 한다”(Tong et al., 2007, p. 356).
- COREQ에 품질 척도로서 데이터 포화가 존재하는 것은 놀라운 일이 아닙니다; 이는 다양한 품질 및 보고 기준/지침(e.g., Levitt et al., 2018; Morrow, 2005) 뿐만 아니라 COREQ의 출처 텍스트들(e.g., Côté and Turgeon, 2005; Spencer et al., 2003)에도 등장합니다. 6 이것은 종종 보편적으로 적용 가능한 것으로 가정되며, 보건 연구에서 참여자 그룹 규모를 결정하는 “골드 스탠다드(gold standard)”로 묘사되어 왔습니다(Guest et al., 2006, p. 60).
- 이러한 데이터 포화의 수용은 문제가 있습니다. 포화에 대한 비판들은 – 그 중 일부는 COREQ보다 앞서 제기됨(e.g., Dey, 1999) – 데이터 포화가 보편적으로 적용 가능한 것이 아니며(e.g., Braun and Clarke, 2021; Leese et al., 2021; O'Reilly and Parker, 2012), 실제로는 오직(only) 후기 실증주의적/실재론적(postpositivist/realist) 질적 연구 내에서만 의미 있고 일관성이 있다고 주장합니다(Braun and Clarke, 2021; Varpio et al., 2017).
- 정보 중복성이라는 (후기 실증주의적) 데이터 포화 구성물 내에서 가정되는 것은 의미가 데이터 내에 고정되어 있고(종종 꽤 자명하며), 따라서 새로운 의미가 더 이상 나타나지 않는 시점을 확인하는 것이 가능하다는 것입니다(Braun and Clarke, 2021 참조). Buus and Agdal (2013)은 COREQ와 관련하여 데이터 ‘의미’를 탈맥락화하고 ‘액면 그대로(face-value)’ 취급하는 관련된 문제를 식별했습니다.
- 이러한 가정은 의미가 데이터 내에(in) 내재하거나 자명한 것으로 이해되지 않고, 주관적이고 상황에 위치한 연구자의 해석적 작업(interpretative work) 에서 비롯되는 것으로 이해되는 대문자 Q 질적 연구(Big Q Qualitative) 에는 번역되지 않습니다:
- “의미는 데이터와 연구자의 맥락적이고 이론적으로 내재된 해석적 관행의 교차점에 존재한다”(Braun and Clarke, 2021, p. 210).
- Low (2019)는 새로운 정보가 없는 것으로 정의된 데이터 포화는 “데이터가 수집되고 분석되는 한 항상 새로운 이론적 통찰력이 만들어질 수 있기 때문에 논리적 오류(logical fallacy)”라고 주장했습니다(p. 131). 연구가 발견이나 추출의 과정이 아니라, 상황적이고 성찰적이며 이론적으로 내재된 지식 생성의 관행으로 개념화될 때, 분석은 결코 완료될 수 없으며(Low, 2019), 항상 새로운 해석, 새로운 의미에 대한 잠재력이 존재합니다.
- 데이터 포화를 포함함으로써, COREQ는 대문자 Q 질적 연구(Big Q Qualitative) 의 방법론적으로 비일관적인 보고 가능성을 높이며, 특히 비판에 익숙하지 않은 검토자/편집자가 그 사용을 고집할(insist) 경우 더욱 그렇습니다. 그러나 비록 COREQ가 후기 실증주의적 연구를 평가하는 데 국한된다 하더라도, 그 프레임은 데이터 포화에 대한 형식적인 관여(tokenistic engagement) 를 지지하고 심지어 장려하며(King, 2021) – ‘공허한(vacuous)’(Leese et al., 2021) 주장이나 수사적인(rhetorical)(Braun and Clarke, 2021) 주장을 용이하게 합니다. 많은 질적 연구자가 하듯이 단순히 “데이터가 포화되었다”(Morse, 2021, p. 819)라고 진술하는 것만으로도 아마 이 항목을 체크하는 데 필요한 전부일 것입니다.
- COREQ는 따라서 척도 자체의 타당성이나 기초에 대한 실제적인 고려 없이, (부적절한) 품질 척도에 대한 일종의 수행적 묵인(performative acquiescence) 을 감수하게 합니다. 우리에게 이것은 실제 보고(또는 실제로 연구) 품질을 향상시키는 데 거의 도움이 되지 않습니다. ‘데이터 포화’가 적절할 수 있는 경우에도, 연구자가 데이터 포화를 어떻게 개념화했는지 논의하고, 이를 달성했다는 주장을 입증할 증거를 제공하며(예: 이상적으로는 데이터 생성 중 연구자의 인상 그 이상), 주장된 데이터 포화를 달성하는 데 있어 실질적인 제약 사항을 논의하도록(King, 2021; Leese et al., 2021; Varpio et al., 2017) 연구자에게 지시한다면, COREQ는 상세하고 투명한 보고를 더 잘 촉진할 것입니다.
2.2.2. 코딩 및 코더 간 일치도 (2.2.2. Coding and inter-coder agreement)
- COREQ에서 개념화된 분석 과정은 주제 분석(thematic analysis)과 질적 내용 분석(qualitative content analysis)의 서로 다른 소문자 q(small q) 버전들에서 과정과 관행을 끌어모으는 것처럼 보이며(주요 및 부수 주제, 다중 코더/연구자 삼각검증이라는 언어를 통해), 또한 (방법론적으로 특정한 코딩 트리(coding tree) 에 대해 묻는 것을 통해) 질적 데이터 분석 소프트웨어(QDAS) 도구와 근거 이론의 개념(메모하기(memoing) – 체크리스트가 아닌 논문에서 언급됨; Tong et al., 2007)을 환기시킵니다. 특히 다중 코더와 코딩 구조에 대한 참조는 ‘분석 및 발견’ 영역의 적용 가능성을 소문자 q 질적 연구로 제한합니다.
- ‘데이터 코더의 수’와 관련하여 Tong et al.은 “다중 코더 또는 다른 방법의 연구자 삼각검증(researcher triangulation) 사용을 명시하는 것은 현상에 대한 더 넓고 복잡한 이해를 나타낼 수 있다”(p. 356)고 주장했습니다. ‘복합적 이해’를 얻는 것은 대문자 Q 질적 연구와 잘 부합하지만, 그러한 이해가 다중 코더를 통해(through) 얻어진다는 제안에 의해 훼손됩니다.
- 구조화된 코딩 접근법(예: 코딩 프레임)과 함께 코딩/해석의 정확성을 보장하거나 데이터 내의(in) 진리에 더 가까이 다가가기 위해(Varpio et al., 2017 참조) 다중 코더/연구자 삼각검증을 사용하는 것은 깊이와 이해를 제한(limit) 하고 상대적으로 피상적이고 기술적으로 구체적인(descriptively concrete) 분석을 초래할 수 있습니다.
- Morse (1997, p. 446)는 “평가자 간 신뢰도 확인(inter-rater reliability check) 을 위해 범주를 정의하려는 목적으로 단순화된 코딩 일정(schedule)을 유지하는 것은 […] 통찰력에서 얻은 풍부함을 모두 잃을 정도로 연구를 단순화할 것이다”라고 주장했습니다.
- 구조화된 코딩 접근법 내에서 사용하기 쉬운 코드 유형들, 특히 다중 코더와 코딩 일치도 측정을 포함하는 유형들은 종종 상대적으로 거칠거나, 피상적이거나, 기술적으로 구체적입니다. 게다가 코더가 작업 기억(working memory)에 담을 수 있는 코드의 수에는 한계가 있으며(O'Connor and Joffe, 2020) – 일치를 용이하게 하기 위해 30–40개(MacQueen et al., 1998) 또는 심지어 20개(Hruschka et al., 2004)의 제한이 권장되어 왔는데, 이는 사실상 더 세밀하고 미묘한 코딩을 배제합니다. 우리의 대문자 Q 입장에서, 이것은 (암묵적으로) 합의(코더 간 일치도) 를 우선시하는 코딩 접근법의 핵심적인 문제점을 강조합니다: 통일성/합의가 깊이와 미묘한 통찰력보다 우선시됩니다.
- 우리에게, COREQ의 그러한 언어와 항목들은 소문자 q 가치, 그리고 사실주의적 지향(factist orientation) 과 데이터 내에 존재하는 진리라는 암묵적인 이념(상)(idea(l))을 환기시키며(Sandelowski, 2010), 이는 (연구자 편향 통제, 삼각검증, 일치도 측정을 통해) 정확하게 결정될 수 있다고 봅니다. COREQ의 다중 코더에 대한 접근이 합의 대신 이해의 복잡성을 달성하는 것을 목표로 하는 더 협력적 코딩(collaborative coding) 을 포괄할 수 있을까요? 출처 문서들에서는 – 사실상 다중 코더(및 삼각검증)가 연구자가 데이터의 진리에 도달하도록 돕는다는 승인(e.g., Côté and Turgeon, 2005; Giacomini and Cook, 2000) 이외의 것을 제공하는 경우가 거의 없는 소문자 q 지향이 지배적입니다. 그러나 Dixon-Woods et al. (2004)은 다중 코더/분석가에 대한 의견 차이를 언급했으며, 일부는 이 관행이 오직 실재론적/토대주의적 패러다임과만 일치한다고 주장한다고 언급했습니다. 비록 이 항목에 대한 해석의 유연성 여지가 다소 있기는 하지만, COREQ 자체와 이 항목에 대한 대부분의 출처는 합의를 통해 분석의 신뢰성(reliability) 이나 신빙성(credibility) 을 보장하는 것으로서 다중 코더를 사용하는 더 소문자 q적인 해석으로 우리를 이끕니다.
2.2.3. (정확성을 위한) 참여자 검증 (2.2.3. Participant validation (for accuracy))
- 소문자 q 연구의 가정에 기초한(그리고 강화하는) 세 번째 척도는 (정확성을 위한) 참여자 검증/구성원 확인(participant validation/member checking) 입니다 – 이는 또 다른 지속적이고 자주 가정되는 품질의 “골드 스탠다드”이며(Motulsky, 2021; Smith and McGannon, 2017; Sparkes and Smith, 2009; Varpio et al., 2017 참조), 품질 및 보고 도구에서 정기적으로 참조됩니다(e.g., Elliott et al., 1999; Levitt et al., 2018).
- COREQ에서 참여자 검증은 오류를 수정하고 참여자의 견해와 경험에 대한 오석 및 오인(misrepresentation) 을 최소화하거나 제거하기 위한 관행으로서 후기 실증주의적 렌즈를 통해 프레임화됩니다(King, 2021; Varpio et al., 2017). 이는 종종 ‘연구자 편향’에 의해 도입되는 것으로 상상됩니다: “연구 결과에 대해 참여자로부터 피드백을 얻는 것은 참여자 자신의 의미와 관점이 표현되고 연구자 자신의 의제와 지식에 의해 축소되지 않도록 보장함으로써 연구자의 해석에 타당성(validity)을 더한다”(Tong et al., 2007, p. 356).
- 부정확성이나 모순이 드러나면 연구자가 데이터 해석을 수정해야 한다는 가정(Varpio et al., 2017)은 연구자가 어느 정도 정확하게 포착할 수 있는, 알 수 있고 드러낼 수 있는 진리에 기초합니다.
- 소문자 q 질적 연구에서 연구자와 참여자 간의 불일치는 문제이며, 연구자와 참여자 간의 합의는(연구자 간의 합의처럼) 분석의 정확성과 신빙성에 대한 확인으로 취급됩니다.
- 대문자 Q에서, 상충되는 해석은 의미를 우발적이고 맥락적인 것으로 보는 관점과 완전히 일치합니다. 그것들은 연구자와 참여자가 데이터 해석에 가져오는 서로 다른 관점, 역할, 경험을 반영하며, 따라서 ‘합의’를 통해 해결 가능한(solvable) 것이 아닙니다.
- 구성원 확인 관행의 실용성, 이론적 가정, 윤리는 광범위하게 논의되어 왔으며, 많은 사람들은 그것이 일반적이고 보편적으로 적용 가능한 품질 관행이 아니라고 생각합니다(e.g., Birt et al., 2016; Dixon-Woods et al., 2004; Motulsky, 2021; Schwartz-Shea, 2020; Shaw et al., 2019; Smith and McGannon, 2017; Varpio et al., 2017); 일부는 “전략으로서의 구성원 확인은 권장되지 않는다”고 명시합니다(Morse, 2015, p. 1216, 강조는 필자). 일부 COREQ 출처 항목들(Mays and Pope, 2000; Spencer et al., 2003)은 구성원 확인의 논쟁적인 성격이나 부분적 적용 가능성을 언급했지만, 그러한 비판적 논의는 COREQ에서 명백하지 않았습니다(Mays & Pope와 Spencer et al. 모두 참여자 검증을 옹호하는 것으로 코딩되었습니다). 따라서 소문자 q 연구 내에서조차 참여자 검증이 항상 사용되지 않는(또는 바람직하지 않은) 수많은 윤리적, 실질적 이유가 존재합니다.
이러한 품질-관행의 포함은 COREQ의 가치-프레임(values-frame)과 질적 연구 논리가 어떻게 그 적용 가능성을 소문자 q 질적 연구로 제한하는지를 보여줍니다. 그러나 우리가 주장했듯이, 심지어 그것조차 복잡합니다; 그것은 대문자 Q를 위해 작동하지 않을 뿐만 아니라; 소문자 q 품질을 위해 작동하기 위해서도 작업이 필요합니다(needs work to work).
3. 질적 품질 평가에서 COREQ의 미래는 무엇인가? (3. What future for COREQ in qualitative quality assessment?)
COREQ(및 기타 품질/보고 기준; Santiago-Delefosse et al., 2016)가 기초하고 있는 ‘통합(consolidation)’과 ‘합의(consensus)’ 모델에 대해서는 중요한 의문들이 존재합니다. 우리에게 있어, 품질 및 보고 기준과 지침에서 항목이 참조되는 빈도는 – 그것이 질적 연구의 범위와 다양성(방법 및 개념적 틀(conceptual frameworks) 모두)을 포괄하거나, 그리고/또는 숙고되고 명시된 가치(values) 에 매우 명확하게 기반을 두고 있지 않는 한 – 포함의 핵심 요건이 아닙니다. 일부 품질 및 보고 기준과 지침(e.g., Tracy, 2010; Yardley, 2015)은 개념과 관행이 어떻게 명료화/표현되는지에 따라(심지어 ‘표본’이나 ‘데이터’와 같이 널리 사용되는 용어조차 일부에서는 비판을 받아왔음 [Denzin, 2013, 2024; Levitt, 2020 참조]) 이론적 중립성(theoretical neutrality) 을 추구하는 데 상대적으로 성공적이지만, 다른 것들은 그렇지 못합니다. 7 실증주의(Positivism) 는 종종 질적 품질 개념과 관행 속에 – 그리고 우리 안에도(Varpio et al., 2017) – 여전히 남아 있습니다. 많은 질적 연구자가 여전히 정량적/후기 실증주의적 전통에서 (먼저) 훈련을 받으며, 연구 가치에 대한 그러한 영향을 알아차리고 떨쳐내기는 어려울 수 있습니다 – 우리의 한 학생은 이를 “실증주의 사상 경찰(positivist thought police)”(Joy et al., 2023, p. 160)이라고 호소력 있게 묘사했습니다. 만약 우리가 보편적으로 적용 가능하지 않은 것(COREQ와 같은)을 많은 사람들이 보편적으로 적용 가능한 것으로 취급하는 상황이라면, 합의나 빈도는 품질 및 보고 기준이나 지침을 개발하는 데 있어 불건전한 기초가 됩니다.
우리는 연구 가치(research values) 에 대한 토대가 품질 기준을 생각하는 데 있어 – COREQ와 같은 체크리스트 형태이든, 생각과 질문을 위한 도발을 포함할 수 있는 더 느슨한 지침의 형태이든(Braun and Clarke, 2024a 참조) – 더 나은 기초라고 주장합니다.
- 의도한 것은 아니겠지만, COREQ의 많은 부분을 형성하는 가치는 질적 연구 초기에 특히 영향력이 있었고 일부 분야(예: 보건 연구), 국가(예: 미국), 학문 분과(예: 심리학)에서는 여전히 지배적인 후기 실증주의적/실재론적(postpositivist/realist) 가치입니다 – 다른 연구 분야, 국가, 학문 분과는 후기 실증주의적 지배로부터 벗어나 그 너머로 나아갔습니다. 설령 그 점을 무시하더라도, Buus and Perron (2020)이 COREQ 개발 과정에서 식별한 결함들(우리는 COREQ를 복제하려고 시도하지 않았음에도 불구하고 일부를 관찰했습니다)은 COREQ의 신뢰성(credibility) 에 심각한 의문을 제기합니다.
이러한 중요한 우려들을 인정하더라도, 우리는 COREQ와 같이 널리 사용되는 도구의 폐기는 가능성이 낮다고 믿습니다. 마찬가지로 소문자 q(small q) 연구와 그 평가에 대한 기준론적 접근(criteriological approaches) 은 남게 될 것입니다. 그렇다면 중요한 질문은 현재 형태의 COREQ 사용으로 인한 품질 위협을 어떻게 가장 잘 억제하고 완화할 것인가가 됩니다.
- 우리는 내재된 가정들과 이것들의 잠재적 결과가 COREQ를 모든 질적 연구의 보고 품질을 평가하는 도구로서 목적에 부적합(unfit for purpose) 하게 만든다고 주장해 왔으며 – 심지어 포커스 그룹이나 인터뷰로 제한된 경우에도 마찬가지입니다.
- 사실상, 우리의 비판은 COREQ 내의 암묵적인 질적 연구 모델이 보편적으로 유용하기에는 너무 좁을 뿐만 아니라, 특정적이고 위치지어진 관행(particular and situated practices) 으로 이해되어야 할 것을 불필요하게 보편화한다는 것입니다.
- COREQ의 적용 가능성이 명확하게 위치지어지고(situated) 한정되지(delimited) 않는다면, COREQ를 ‘따르지 않는’ 연구는 사실상 선험적으로(apriori) 품질이 낮은 것으로 오해받을 수 있습니다.
- 다른 어떤 옵션이 있을까요?
- 우리에게 있어 품질을 위해서는, 품질 표준, 개념 및 관행을 위치지어진(situated) 것으로 이해하고, 우리의 더 넓은 연구 가치(우리의 패러다임적 및 이론적 틀)와 관련하여 그것들을 고려해야 합니다.
- 따라서 품질은 개념적 명확성과 정렬/일치(alignment) (또는 의도적이고 정당화된 분기)뿐만 아니라 접근 방식의 기술적 사용 및 적용에 있어서의 엄격성(rigour) 을 필요로 합니다. 이것은 단지 COREQ뿐만 아니라, 모든 품질 또는 보고 지침에 적용됩니다.
부분적으로 이 논문은 대문자 Q(Big Q) 연구자들이 COREQ에 대한 고집에 저항하거나, 도구의 일치하지 않는(incongruent) 사용에 이의를 제기하는 것을 돕기 위해 고안되었습니다.
- 다른 이들이 지적했듯이(Buus and Agdal, 2013; Riley et al., 2019), COREQ의 문제는 심사(review) 관행을 고려할 때 특히 적절합니다. 질적 연구 관행의 다양성과 데이터 포화, 코더 간 신뢰도(inter-coder reliability), (정확성을 위한) 참여자 검증과 같은 개념의 논쟁 여부에 익숙하지 않을 수 있는 경험과 지식이 부족한 연구자 및 평가자가 COREQ를 사용하는 것은 우리에게 우려스러운 일입니다.
- 만약 검토자와 편집자가 질적 학문의 다양성에 정통하지 않고, 그들이 방법론적 ‘감정가(connoisseurs)’ – 질적 연구에 대해 잘 알고, 특정 관행의 위치를 파악하고 맥락화할 수 있는 자(Sparkes and Smith, 2009 참조) – 가 아니라면, 그들은 COREQ를 사용하여 연구 품질을 평가하기에 적절한 위치에 있지 않을 수 있습니다(Buus and Perron, 2020 참조).
- 현재 형태에서, COREQ는 도구의 한계를 넘어서(beyond) 평가할 수 있고, 평가 대상 프로젝트의 개념화, 설계 및 관행과 관련하여(in relation to) 항목들을 이해하고 위치지을 수 있으며, 특정 항목에 대한 적절성과 일치/불일치를 평가할 수 있는, 성찰적으로 깨어 있는 감정가적 검토자(및 편집자)를 사실상 필요로 합니다(requires).
- 그러나 동료 심사(peer review) 의 위기가 심화됨에 따라, 학자들은 자신의 지식/기술 기반 밖의 원고를 평가하도록 점점 더 요청받게 될 것입니다 – 이는 이미 일어나고 있는 일입니다(Riley et al., 2019). 이를 인식하여, 우리는 저널 편집자들에게 COREQ의 사용을 최소한 소문자 q 질적 (보건) 연구의 평가로만 제한할 것을 촉구합니다.
나아가 우리는 품질 높은(quality) 동료 심사가 체크리스트 기준의 (경직된) 적용이나 단순한 기준론적 접근(Sparkes and Smith, 2009) – COREQ와 같은 도구가 초래하는 것 – 에 의존할 수 없다는 Buus and Agdal (2013)의 견해에 동의합니다. 다양한 질적 접근 방식에 걸쳐 품질을 가장 잘 보장하기 위해서, 저널은 질적 연구의 깨어 있는 실천가이며 자신의 위치와 책무를 인식하고 있는 광범위한 전문성을 가진 검토자를 모집해야 합니다. 그러나 모든 학자들에게 그들의 (근본적이지만 종종 암묵적인) 연구 가치를 성찰하도록 요청하는 것은 일종의 (체크리스트) 기준을 포함하는 모든 심사 과정에 유용한 출발점을 제공할 것입니다.
적절한 패러다임 내 사용으로 제한되어야 한다는 주의사항(caveat)을 전제로 하더라도, COREQ가 소문자 q 품질을 더 잘 촉진하려면 작업이 필요합니다. 모든 항목/기준은 COREQ가 방법론적 불일치를 피하기 위해 감정가적 검토자를 필요로 하지 않도록 프레임화되고 설정되어야 합니다. 수정된 COREQ는 단순히 체크박스 진술(더 많이 체크할수록 더 좋다고 읽힐 수 있는)을 제공하는 대신, 설명되고 성찰적인 관여(engagement) 를 요구함으로써, 그 자체로 사려 깊고 조리 있는 학술적(scholarly) 관행을 촉진해야 합니다. 예를 들어, 연구자들에게 데이터 포화가 논의되었는지 묻는 대신, 포화(또는 유사 개념)가 어떻게 개념화되고 결정되었는지 설명하도록 요청하는 것입니다(King, 2021). 각 항목에서 무엇(What) 이 요구되고 평가되는지는 더 신중한 고려와 명료화가 필요하며(예: 성찰성을 영향/편향과 혼동하지 않는 것), 그래야만 소문자 q 질적 가치 및 관행과 일치하게 됩니다. 분석적 개념(코딩, 주제)을 둘러싼 언어를 통해 암묵적으로 배제(및 환기)되는 것에 대한 더 폭넓은 고려와, (소문자 q) 질적 연구의 스펙트럼 전반에 걸쳐 더 포괄적이 되도록 이것들을 수정하는 것은 COREQ를 개선할 것입니다. 언어와 개념에 대한 이러한 개선은 연구자(및 검토자)가 품질을 위한 모범 사례 지표로서 COREQ에 맞추려고 시도함으로써 (보고에 있어) 잠재적으로 방법론적 불일치를 더하는 도구가 되는 것을 피하도록 도울 것이며, 도구와의 더 사려 깊은 관여를 요구하게 될 것입니다. 그리고 소문자 q 전용(small q-only) COREQ는 이론적/방법론적으로 일치된 보고를 장려하기 위해 연구의 이론적 토대(theoretical foundations) 에 더 큰 중점을 두어야 합니다.
COREQ가 존속할 것임을 인식하며, COREQ의 ‘문제를 해결’하기 위한 우리의 실용적인 해결책은 두 가지 접근 방식(two pronged approach)으로 다루어집니다: 사용을 제한하고 (그 제한된 사용을 위해) 도구를 개선하는 것입니다. 따라서 우리는 저자들, 또는 다른 이들이 우리가 그리고 다른 이들이 제안한 방식으로 체크리스트를 수정하고 확장하여, 그것이 소문자 q 질적 연구의 투명하고 포괄적인 보고를 더 잘 증진할 수 있도록 초대합니다.