Reporting guidelines for qualitative research: a values-based approach

https://doi.org/10.1080/14780887.2024.2382244

Pages 399-438 | Published online: 30 Oct 2024

 

 

 

📝 Big Q Qualitative Reporting Guidelines (BQQRG): 왜 필요할까?

질적 연구(qualitative research)는 점점 더 많이 수행되고, 논문으로 보고되고 있어요. 그런데 양적 연구처럼 “품질의 기준(quality criteria)”을 단순히 항목 체크(checklist)로 정할 수 있을까요? 🤔 연구진은 여기에 큰 의문을 던집니다.

“Developing a set of universal markers of (reporting) quality for all qualitative research is arguably an impossibility.”
(모든 질적 연구에 보편적인 보고 질 지표를 만드는 것은 사실상 불가능하다.)

✅ 기존 체크리스트와 표준의 문제

많은 저널에서는 COREQ 같은 체크리스트(checklists)나 JARS-Qual 같은 보고 표준(reporting standards)을 요구해요. 하지만 이런 도구들은 대체로 small q 중심, 즉 (포스트)실증주의(post-positivist) 전통을 전제로 만들어졌다는 점이 문제예요.

 

예를 들어, 데이터 포화(data saturation), 참여자 검증(participant validation), 코딩 트리(coding trees) 같은 개념들이 모든 질적 연구에 필요하지는 않는데, COREQ는 이를 보편적 기준처럼 다루고 있습니다. 연구진은 이것이 방법론적 불일치(methodological incongruence)를 낳는다고 지적해요.

“This slippage means COREQ has the potential to promote methodological incongruence…”
(이러한 개념적 전이는 COREQ가 방법론적 불일치를 촉진할 수 있음을 의미한다.)

 

🌱 새로운 대안: BQQRG

그래서 연구진은 Big Q Qualitative Reporting Guidelines (BQQRG)라는 새로운 가이드라인을 제시합니다. 이건 기존의 COREQ, SRQR, JARS-Qual과 달리 Big Q Qualitative만을 위한 대안이에요.

BQQRG는 크게 세 가지 열(column)로 구성돼 있어요:

  • ✔️ Practices to consider: Big Q에 합치되는 실천
  • ❌ Practices to avoid: 고려나 정당화 없이 따르면 안 되는 실천
  • 💡 Notes: Big Q에 익숙하지 않은 심사자·편집자를 위한 주석

즉, 단순히 체크리스트를 채우는 게 아니라, 연구자가 자기 연구의 맥락과 가치에 맞게 성찰(reflexive openness)하며 보고할 수 있도록 돕는 도구예요.

🔑 핵심 원칙: 합치와 개방성

연구진이 제시하는 두 가지 큰 원칙은 바로 방법론적 합치(methodological congruence/integrity)와 성찰적 개방성(reflexive openness/transparency)입니다.

  • 방법론적 합치: 연구의 철학적 전제, 질문, 방법론, 자료 처리, 분석이 서로 일관되게 맞아떨어져야 한다는 것.
  • 성찰적 개방성: 연구자가 무엇을, 어떻게, 왜 했는지를 드러내고, 자신의 위치성과 주체성을 숨기지 않는 태도.

“Qualitative research cannot be assessed on its own terms if the researcher has not been clear about what those terms are.”
(연구자가 자신이 설정한 기준을 분명히 하지 않았다면, 질적 연구는 그 자체의 기준으로 평가될 수 없다.)

🙌 마무리: 가이드라인은 규칙이 아니다

연구진은 BQQRG를 규칙(rules)으로 쓰지 말고, 사려 깊게(thoughtfully), 전략적으로(strategically) 사용하라고 당부합니다.

“To use the BQQRG thoughtfully and strategically; to be aware of what is ‘at stake,’ and to use the tool ‘judiciously.’”
(BQQRG를 사려 깊고 전략적으로 사용하고, 무엇이 중요한지 인식하며, 신중하게 활용해야 한다.)

 

즉, BQQRG는 창의성과 다양성을 억누르는 틀이 아니라, Big Q Qualitative 연구가 자신의 고유한 논리와 가치로 존중받을 수 있도록 돕는 도구예요. 🌟

번역: Introduction

연구(research)가 평가(evaluation)되려면, 그것은 자신의 기준(on its own terms) 위에서 평가되어야 한다.
(Finlay 2006, 325, emphasis in original)

 

양적인 기준(quantitative measure), 즉 단순한 연구물의 양(volume)으로 보자면, 질적 연구(qualitative research)는 번성하고 있는 것처럼 보인다. 점점 더 많은 사람들이 질적 연구를 수행하고 보고하고 있기 때문이다. 그러나 질적 연구가 ‘질(quality)’의 관점에서도 번성하고 있는가? 저자이자, 심사자(reviewers), 독자(readers), 그리고 질적 방법론자(qualitative methodologists)로서 우리의 평가는 보다 신중하다. 우리는 질적 연구 보고(qualitative reporting)와 관련된 긴장(tensions), 불일치(inconsistencies), 좌절감(frustrations)을 지적한다.

 

현재 다양한 체크리스트(checklists), 표준(standards), 가이드라인(guidelines)이 존재하며, 이는 질적 연구의 수행과 보고의 질을 향상시키기 위한 광범위한 자원(resource)의 일부이다. 이러한 도구들(whatever we call them, 언어(language)가 중요하다고 생각한다)은 질적 연구의 출판 가능성(publishability)과 양질의 실행(quality practice)을 결정하는 핵심 도구가 되었다. 그러나 우리는 체크리스트와 표준 모두에 대해 우려를 가지고 있으며, 이것이 우리로 하여금 독자적인 보고 가이드라인인 Big Q Qualitative Reporting Guidelines (BQQRG)을 개발하게 했다(Footnote1, Table 1 참조).

 

이 논문에서는 이를 소개하고 맥락화(contextualise)한다. 우리는 이 BQQRG의 사용(use)과 유용성(usefulness)이 심리학자 Kidder와 Fine(1987)이 Big Q Qualitative이라고 명명한 연구에 한정(delimited)됨을 설명한다. 우리는 이를 더 넓게 비실증주의(non-positivist) 연구로 개념화하며, 이는 가치(values)와 패러다임(paradigm), 데이터(data), 분석(analytic) 및 보고(reporting) 관행에서 질적 성격을 지닌 연구를 의미한다(→ Methodological congruence … section 참조).

표 1. Big Q Qualitative Reporting Guidelines (BQQRG): 저자(authors), 심사자(reviewers), 편집자(editors)를 위한 지침

질(quality)과 보고(reporting) 체크리스트는 논쟁적이다. 일부 저널이나 편집자는 이를 거부(reject)하고, 다른 곳에서는 이를 요구(require)하기 때문이다. 비판자들에 따르면, 체크리스트는

  • 지나치게 경직되고 규범적(overly rigid and prescriptive)이며(Barbour 2001),
  • 투명성(transparency)을 억제하고(Treharne and Riggs 2015),
  • 질적 연구를 단순한 기술적 절차(technical procedures) 목록으로 축소하며(Barbour 2001; Buus and Perron 2020; LaMarre and Chamberlain 2022; Tod, Booth, and Smith 2022),
  • 방법 숭배(methodolatry)로 빠지고(Sparkes and Smith 2009),
  • 보고의 질(reporting quality)과 연구의 질(study quality)을 혼동한다(Shaw et al. 2019).

 

또한, 체크리스트의 ‘과도하고 비판 없는 사용(overzealous and uncritical use)’(Barbour 2001, 1115)은 비판을 받아왔으며, 특정 기준(criteria)이 고착화되면 오히려 질을 해칠 수 있다는 점과 연결된다(Gergen 2014). 이러한 일반적인 비판은 우리가 체크리스트와 표준에 대해 제기하는 두 가지 우려를 위한 배경을 형성한다:

  1. 보고 체크리스트 및 표준을 개발하는 방법론(methodologies) 자체의 문제,
  2. 체크리스트와 표준의 사용이 우리가 방법론적 불일치(methodological incongruence)라고 부르는 결과를 초래할 수 있다는 점이다(Buus and Agdal 2013; Morse 2021).

여기서 불일치란 연구의 미시적(micro) 요소에서 거시적(macro) 요소까지 정렬되지 않는 상황(not aligned)을 의미한다. 특히 이는 체크리스트가 질적 연구 내부의 다양성(diversity)—실천(practice)-기반과 개념(conceptual)-기반—을 충분히 인정하거나 더 중요한 것은 수용(accommodate)하지 못하는 데에서 비롯된다. 예컨대 특정 이론적 틀(theoretical frameworks)—(post)positivist와 다양한 non-positivist 또는 interpretivist 패러다임—은 서로 비교 불가능(incommensurable)할 수 있으며(Lincoln, Lynham, and Denzin 2024), 연구 실천(practices)은 이러한 틀과 긴밀히 연결되어 있다. 따라서 모든 질적 연구에 적용할 수 있는 보편적(universal) 보고 질 기준(markers of quality)을 만드는 것은 사실상 불가능하다(Gergen 2014 참조).

이 논문의 Section A에서는 질적 연구에 대한 우리의 관점(perspectives)과 가치(values)를 명확히 구분(demarcate)한다.

 

Section B에서는 출판된 질적 연구에서 나타나는 긴장과 불일치를 통해, 서로 다른 가치와 전제가 출판 기대(publication expectations) 속에서 충돌할 때 무슨 일이 벌어지는지를 보여준다. 또한 체크리스트와 표준의 목적(purpose)과 방법론(methodology), 그리고 통합(consolidation)이나 전문가 합의(expert consensus)에 기반해 그것들이 형성되는 방식에 대한 우리의 비판을 다룬다(Munthe-Kaas et al. 2019). 여기서 예시로 널리 인용되고 영향력 있는

  • COREQ (Consolidated Criteria for Reporting Qualitative Research) 체크리스트—적용된 질적 보건 연구자(applied qualitative health care researchers)들이 인터뷰와 포커스 그룹 연구 보고를 위해 개발한 32개 항목으로 구성(Tong, Sainsbury, and Craig 2007)—와,
  • 미국심리학회(American Psychological Association)의 JARS-Qual (Journal Article Reporting Standards for Qualitative Research)—주로 미국 심리학자들이 개발했으며,
  • 이들은 내러티브 심리학, 구성주의적 근거이론(constructivist grounded theory), 혼합 연구(mixed methods research) 등에 관심이 있음(Levitt et al. 2018)—을 다룬다.

우리는 질적 연구의 질을 법전화(codify)하려는 시도가 가지는 위험(risks)과 위험성(dangers)을 인정하면서도, 왜 여전히 보고 가이드라인(reporting guidelines)이 Big Q Qualitative 연구의 질 논의에 의미 있는 기여를 한다고 보는지 설명한다.

 

Section C에서는 BQQRG를 개발한 과정(process)을 소개하고 설명한다. 우리의 접근법이 기존의 통합(consolidation)과 합의(consensus) 의존 방식과 어떻게 다른지를 밝힌다. 또한 BQQRG 개발을 이끈 두 가지 질 원칙(quality principles)을 논의한다:

  • 방법론적 합치(methodological congruence) (Pearson et al. 2015) 또는 통합성(integrity) (Levitt et al. 2017; Morrill and Rizo 2023)
  • 반성적 개방성(reflexive openness) (Jacobs et al. 2021) 또는 투명성(transparency) (Tuval-Mashiach 2017 등)

우리는 BQQRG가 실용적(pragmatic)이고 수사적으로 유용(rhetorically useful)하며, 동시에 이상적(aspirational)이라고 본다. 이는 단순히 상상하는 것에 그치지 않고, 실제로 Big Q Qualitative 연구를 덜 적대적으로, 더 잘 이해하는 학문적 심리학(academic psychology)을 만드는 데 기여하기를 희망한다.

 

Section A — qualitative horizons – situating ourselves and our understandings of the field

질적 연구(qualitative research)에 대한 질(quality) 혹은 보고 가이드라인(reporting guidelines)을 구획하려는 어떤 시도든,

  • 무엇이 질적 연구를 구성하는지에 대한 명확한 정의(clear definition)와, 그러한 가이드라인이 어떤 질적 연구 접근(approaches to qualitative research)에 적용 가능한지에 대한 이해에 근거해야 한다.
  • 우리는, 보고 가이드라인을 만드는 질적 연구자들(qualitative researchers) 또한 “자신의 관점을 소유한다(own their perspectives)”(Elliott, Fischer, and Rennie 1999)는 데 힘써야 한다고 주장한다—즉 자기 위치를 규정(position themselves)하고, 성찰적(reflexive)이며, 앎을 지향하는 실천가(knowing practitioners)가 되려는 노력을 기울여야 한다.
  • 명시적 위치 지시(explicit positioning)는 중요하다. 이는 독자가 저자들의 질적 상상(qualitative imagination)이 근거하는 토대와 한계, 그리고 그것이 보고 가이드라인(reporting guidelines)의 구성(frame)을 어떻게 형성했는지를 판단할 수 있게 하기 때문이다.
  • 우리는 Morrow(2005)와 Rennie(1994)를 바탕으로, 이러한 위치 지시 작업을 틀 짓는 방식으로서 이해의 지평(horizons of understanding)을 호출한다—이는 개인적 폭로(personal disclosures)에 관한 것이 아니라, 훈련(training), 연구 및 지도(supervision) 경험, 연구 가치(research values)의 세부를 다루는 것이다. 이 절에서 우리는 우리의 경험을 성찰하고, 우리가 ‘토대적(foundational)’이라고 간주하는 연구 가치(values)가 무엇인지 논한다.

우리는

  • 심리학자(psychologists)이며, 우리의 연구는 젠더(gender), 성(sexuality), 가족(family), 체현성(embodiment), 건강(health)과 관련하여 페미니즘(feminism), LGBTQIA+, 비판적 심리학(critical psychology)의 교차점(intersections)을 탐구하는 경향이 있다.
  • 우리는 학부 및 대학원에서 질적 방법(qualitative methods)에 대한 훈련을 받았다.
  • 우리는 여러 인터뷰에서 우리의 배경이 어떻게 우리의 성찰적 주제분석(reflexive thematic analysis, TA)과 질적 감수성(qualitative sensibility)의 발전에 영향을 미쳤는지 성찰해 왔다—예컨대 Jankowski, Braun, and Clarke(2017)와의 인터뷰에서, 우리는 박사과정 지도교수였던 Celia Kitzinger와 Sue Wilkinson이 우리로 하여금 질적 방법을 가지고 모험가(adventurers)가 되도록 격려했으며, 페미니즘(feminism)과 페미니스트 방법론 학술(feminist methodological scholarship)이 우리가 질적 연구자로서 실천을 전개하는 방식에 어떻게 영향을 미쳤는지 논의했다.
  • 다른 인터뷰들에서는, 박사과정 동안 ‘비판적 심리학의 거장(titans of critical psychology)’들에 둘러싸여(예: Coxon, Braun, and Clarke 2022, 39; 또한 Braun, Clarke, and Hayfield 2022 참조) (질적 및 담론적) 방법론(methodology)에 대한 풍부하고 열정적인 초점이 우리의 성찰적 TA와 더 넓은 범주의 방법론 학술(methodological scholarship) 발전에 어떻게 기여했는지를 성찰했다.
  • 우리의 비판적 심리학(critical psychology) 배경과 훈련은 우리로 하여금 질적 연구를 폭넓게 정의하도록 가르쳤다. 질적 연구의 초점을 단 한 단어로 압축해야 한다면, 우리에게 그것은 ‘의미(meaning)’다.

 

우리는

  • (아래 참조하듯 대체로) 서구 지식 틀(western knowledge frameworks) 안에 위치하며, 다음의 방법(methods)과 방법론(methodologies)에 대해 어느 정도의 훈련을 받았고, 직접 사용했거나, 그러한 방법을 사용하는 연구를 지도(supervise)했으며, 어떤 경우에는 이에 대해 글을 쓰기도 했다(관련 방법론 학술/웹사이트를 인용함).
  • 구체적으로는:
    • 인터뷰(interviews)—대면(in person), 인스턴트 메신저(INSTANT MESSENGER), 이메일(email), 전화(telephone), 화상통화(video call) 방식—(예: Braun and Clarke 2013);
    • 포커스 그룹(focus groups)—대면 및 가상(virtual)—(예: Braun and Clarke 2013);
    • 질적 서베이(qualitative surveys)(예: Braun et al. 2021; Braun, Clarke, and Gray 2017b; Terry and Braun 2017);
    • 사진 기법(photo-methods);
    • 드로잉 과제(drawing tasks) 및 기타 (시각) 창의적 방법(visual creative methods);
    • 이야기 완성(story completion)(참조: www.storycompletion.net);
    • 비네트(vignettes)(예: Braun and Clarke 2013; Braun, Clarke, and Gray 2017a, 2017b);
    • 연구자 주도/요청 일기(researcher-directed/solicited diaries)(예: Braun and Clarke 2013; Braun, Clarke, and Gray 2017a);
    • 사용자 생성 콘텐츠(user-generated content)—온라인 포럼(online forums), 페이스북 댓글(Facebook comments), 인스타그램 게시물(Instagram posts)—(예: Braun and Clarke 2013, 2022b; Braun, Clarke, and Gray 2017a);
    • 이차 자료(secondary sources)—신문 및 잡지 기사(newspaper and magazine articles), 텔레비전 토크쇼(television talk shows), 의회 속기록(Hansard), 웹사이트(websites), 문학(literature)—(예: Braun and Clarke 2013; Braun, Clarke, and Gray 2017a);
    • 주제분석(thematic analysis)(참조: www.thematicanalysis.net);
    • 해석학적 현상학 분석(interpretative phenomenological analysis);
    • 근거이론(grounded theory);
    • 내러티브 분석(narrative analysis);
    • 담론 분석(discourse analysis)과 담론심리학(discursive psychology);
    • 대화 분석(conversation analysis)(예: Braun and Clarke 2013, 2021b) 등이다.
  • 한편, 우리의 강의(teaching)에는 포함했지만, 개인적으로 사용하거나 지도한 적은 없는 방법으로는 민족지학(ethnography), 관찰(observation), 현장 연구(field research), 참여/행동 연구 접근(participatory/action research approaches), 민족방법론(ethnomethodology) 등이 있다.

이론적 접근(theoretical approaches)으로 보자면,

  • 우리는 구성주의(constructionism), 탈구조주의(poststructuralism), 비판적 실재론(critical realism), 맥락주의(contextualism), 현상학(phenomenology), 페미니즘(feminism), 비판적 인종이론(critical race theory), 퀴어 이론(queer theory) 등을 활용한 연구를 수행하고 지도해 왔다.
  • 아오테아로아 뉴질랜드(Aotearoa New Zealand)에 위치한 Ginny는 다양한 원주민 지식 틀(Indigenous knowledge frameworks)과도 교류하며, Kaupapa Māori와 Mana Wāhine 접근의 요소를 사용하는 학생들을 (공)지도해 왔다(예: Le Grice and Braun 2018). 다만 본인을 그 분야의 전문가(expert)로 간주하지는 않는다. 이러한 접근들은 Big Q Qualitative 연구를 수행하는 데 있어 관계적(relational), 윤리적(ethical), 연구적(research) 가치들을 서로 다르게 직조(weave)한다.

Ginny는 보통 비판적 질적 접근(critical qualitative approaches)을 사용하는 우등(honours), 석사(Masters), 박사(PhD) 학생들을 지도하는 경향이 있는 반면, Victoria는 (응용 분야에서) 경험적 질적 접근(experiential qualitative approaches)을 사용하는 학부(undergraduate), 석사(Masters), 전문박사(professional doctorate), 박사(PhD) 학생들을 지도하는 편이다(별표 *는 다음 절에서 논의).

 

일부 독자들은 아마 자신들이 선호하는 이론(theories), 방법론(methodologies), 탐구 관행(practices of inquiry)이 이 서술에서 빠져 있다고 지적할 수도 있다. 우리는 알고 있거나 읽어본 다른 많은 접근들이 있지만, 우리가 직접 사용하거나 지도하거나 가르치지 않은 것도 많다. 예컨대 포스트-질적 탐구(post-qualitative inquiry), 오토에스노그래피(autoethnography), 창의적 분석 실천(creative analytic practices)에 대한 우리의 지식은 제한적이다. 그리고 분명 우리가 아직 접하지 못한 접근들도 많을 것이다. 질적 연구는 번성하고 있으며(flourishing), 혁신(innovation)과 가능성(possibility)이 도처에 가득하다(abound)(예: LaMarre and Chamberlain 2022).

Defining qualitative research: our mapping of the field

질적 연구(qualitative research)자들이 일반적으로 동의하는 한 가지는, 질적 연구 내에 다양성(diversity)이 존재한다는 점이다. 그러나 그 이후부터는 훨씬 복잡해진다. 여기서 우리는 앵글로/서구 지식 틀(Anglo/western knowledge frameworks) 안에서 정의되고, 논쟁되고, 실천되는 질적 전통(qualitative traditions)에 초점을 맞추며(Denzin, Lincoln, and Smith 2008; Smith 2021), 동시에 중요한 지역적 차이(regional variation)가 있음을 인정한다(Flick 2005). 질적 연구의 지형을 ‘지도화(mapping the terrain)’하는 방법에는 여러 가지가 있다.

  • 심리학자 Madill과 Gough(2008, 254)는 21세기 초 질적 연구를 “fuzzy set(모호한 집합)”으로 묘사하면서, “이 분야는 공통된 특징을 가진 방법(methods)의 군집(clusters)으로 구성되며, 어떤 점에서는 다른 군집들과 겹치기도 하지만, 동시에 일부 방법은 다른 방법들과 분명한 공통점을 공유하지 않는다”(pp. 254–255)고 언급했다.
  • 사회학자 Creswell(1998)은 다섯 가지 질적 전통/접근(qualitative traditions/approaches)—전기(biography; 이후 내러티브 연구 narrative research, Creswell 2013), 현상학(phenomenology), 근거이론(grounded theory), 민족지학(ethnography), 사례연구(case study research)—의 유형론(typology)을 제시했으며, 이는 여전히 널리 인용된다.
  • 그러나 다양한 학문 분야의 검토 결과, 대부분의 연구는 이 유형론 안에 잘 들어맞지 않는다(Bradbury-Jones et al. 2017).

우리가 우리 자신의 방법론적 글쓰기(methodological writing)에서 사용하고 발전시켜온 구분 중 하나는 심리학자 Reicher(2000)가 제시한 ‘경험적(experiential)’ vs. ‘담론적(discursive)/비판적(critical) 질적 연구’의 구분이다(Braun and Clarke 2013, 2022b). 그는 이 접근들이 “다른 철학적 뿌리(philosophical roots)… 다른 이론적 전제(theoretical assumptions), 그리고 서로 다른 유형의 질문을 던진다(asking different types of questions)”(p. 4)고 설명했다.

  • 그는 경험적 질적 연구(experiential qualitative research)—예: 근거이론—를 정치적으로는 급진적(radical)이나 인식론적으로는 보수적(conservative)이라고 보았다. 경험적 질적 연구는 참여자의 경험과 관점을 진지하게 받아들이는 데 중점을 두지만, (규범적) 양적 심리학(normative quantitative psychology)의 투명한 언어관(transparent view of language)(Hall 1997)과 데이터에 대한 사실주의적 관점(‘factist’ take on data)(Sandelowski 2011)을 공유한다.
  • 반면, 그는 비판적 질적 연구(critical qualitative research)—예: 담론 분석(discourse analysis)과 담론 심리학(discursive psychology)—을 인식론적으로 급진적(epistemologically radical)으로 위치 지었는데, 이는 언어(language)를 사회적 행위(social action)의 한 형태로 간주한다는 점에서 양적 연구와 경험적 질적 연구 모두로부터 벗어난다.

다른 유형론(typologies)은 질적 연구를 지탱하는 패러다임(paradigm)의 차이에 초점을 맞춘다.

  • 어떤 이들은, 질적 연구 내의 대부분의 다양성이 위치할 수 있는 단일한 질적 패러다임이 존재한다고 설명한다(Long and Godfrey 2004).
  • 반면 다른 이들은, “질적 연구는 단일한 패러다임이 아니다(qualitative research is not a [singular] paradigm)”라고 주장하며, 어떤 한 세트의 특성도 모든 질적 연구를 충분히 포괄할 수 없다고 본다(Madill 2015, 214).
    • 흔히 사용되는 구분에는 (포스트)실증주의((post)positivist), 해석적(interpretative), 급진적(radical), 탈구조주의(poststructuralist) 등이 포함된다(Grant and Giddings 2002).
    • Lincoln, Lynham, and Denzin(2024)이 발전시켜온(1994년 Guba and Lincoln 이후) 질적 패러다임의 최신 버전은
      • 포스트실증주의(postpositivism),
      • 비판이론(critical theory)—사회적 권력(social power)에 주목하는 접근, 예: 페미니즘, 비판적 인종이론(critical race theory)—,
      • 구성주의(constructivism) 또는 해석주의(inter-pretivism), 그리고
      • 참여적 접근(participatory)을 포함한다.
    • 심리학자 Willig(2021)은 실재론적(realist), 현상학적(phenomenological), 사회구성주의적(social constructionist) 접근을 구분했다.
  • 그러나 결정적(definitive)인 지도(mapping)는 존재하지 않는다. Denzin과 Lincoln(2018, xv)이 지적했듯, “질적 연구 프로젝트의 개방적 성격(open-ended nature)은 전체 프로젝트에 단일한 우산적 패러다임(umbrella-like paradigm)을 강요하려는 시도에 대해 끊임없이 저항하게 한다.”
  • 우리에게 중요한 것은, 특정 접근에 내재된 가치(values)와 전제(assumptions)를 인식하는 것이지, 그것들이 보편적으로 공유된다고 가정하지 않는 것이다.

우리가(그리고 다른 이들, 예: Willig 2021) 또한 유용하다고 보는 또 하나의 구분—특히 객관주의적 전제(objectivist assumptions)가 종종 눈에 띄지 않게 스며드는 심리학 분야에서(Kirschner et al. 2023)—는 바로 small q qualitative vs. Big Q Qualitative이다(Kidder and Fine 1987).

  • Kidder와 Fine(1987)은 small q 질적 연구(small q qualitative research)를 절차주의적(proceduralist) 관점에서 개념화했으며, 이는 데이터 생성과 분석을 위한 질적 기법(qualitative techniques)의 사용으로 정의된다(주로 혼합 방법 mixed-methods 또는 가설-연역적(hypothetic-deductive) 설계 안에서).
  • 우리는, small q 질적 연구를 지탱하는 연구 가치(research values)는 보통 명시적으로 고려되지 않으며, 종종 (알지 못한 채로) 학문 내 지배적 규범(disciplinary-dominant norms)인 (포스트)실증주의((post)positivism)와 (과학적) 실재론(scientific realism)으로 귀결된다고 본다(Walsh 2015)—때때로 “주류 과학주의(mainstream scientism)”(Morrill and Rizo 2023, 410)로 불린다.
  • 학문적 지배력(disciplinary dominance)은 (포스트)실증주의가 지배적이라는 사실 때문이 아니라, 규범(norm)에 부합하는 실천은 강력한 설명을 필요로 하지 않지만, 그로부터의 이탈(deviation)은 설명을 요구하기 때문이다(Varpio et al. 2017).
  • 그리고 지배적 인식론(dominant epistemologies)은 “그 본성상, 그것을 넘어 보기가 어렵다”(Hunter 2002, 133).

비록 small q와 Big Q 모두 질적 기법(qualitative techniques)이나 탐구의 실천(practices of inquiry)을 사용하지만(Gergen 2014)—종종 매우 다르게—, 두 접근은 근본적으로 서로 다른 연구 가치(research values)에 기반한다.

  • 여기서 우리는 연구 가치를, 단순히 가치론(axiology)이 아니라, 패러다임(paradigms), 존재론(ontology), 인식론(epistemology) 혹은 철학적 메타이론(philosophical meta-theory)을 포괄하는 용어로 사용한다.
  • Big Q Qualitative로 특징지어지는 연구는 질적 기법과 동시에 질적 연구 가치(qualitative research values)를 포함한다(Kidder and Fine 1987). 예컨대, 질적 패러다임의 가치에는
    • 지식을 부분적이고(partial), 맥락적(situated)으로 보는 관점, 그리고
    • 연구자 주체성(researcher subjectivity)을 연구의 질을 위협하는 잠재적 요소가 아니라 연구를 위한 자원(resource)으로 보는 태도가 포함될 수 있다(Gough and Madill 2012).
  • 우리에게 Big Q Qualitative은, 객관주의적 전제(objectivist assumptions), 가치(values), 규범(norms)—심리학을 포함한 다른 학문에서 자주 의문 없이 수용되는 실증주의(positivism) 포함—를 거부하거나 거부하려는 연구를 포괄하는 유용한 우산적 용어(umbrella term)다(Hunter 2002).
  • 우리의 질적 연구에 대한 접근과 이해는 이 Big Q 지향(Big Q orientation) 안에 위치하며, 이러한 관점에서 우리는 보고의 질(reporting quality), 그리고 보고 체크리스트(checklists), 표준(standards), 가이드라인(guidelines)의 문제를 다룬다.

 

Section B — conceptually muddy fields and the challenge of reporting checklists and standards

BQQRG 논의를 맥락화(contextualise)하기 위해, 우리는 먼저 불일치(inconsistency)를 강조하고, 질적 연구 보고(qualitative research reporting)에서 small q가 종종 Big Q Qualitative로 잘못 섞여(muddled) 주장되는 방식을 살펴본다. 우리는 질(quality)과 보고(reporting) 체크리스트(checklists) 및 표준(standards)이 이러한 문제에 기여한다고 위치 짓고, 이러한 것들의 개발에 사용된 방법론(methodologies)이 (많은 경우) 필연적으로—and 문제적으로—가져오는 결과를 강조한다.

Qualitative reporting: a small q–Big Q muddle?

심리학(psychology) 내(그리고 그 밖의 분야에서도) 발표된 많은 질적 연구들은, 의도치 않게 Big Q의 요소와 small q의 요소를 뒤섞어 놓는 경우가 많다(Braun and Clarke 2023a, 2023b). 보건 전문 교육(health professions education)에 대해 논의하면서 Varpio et al.(2017)은, 질적 연구자들이 (포스트)실증주의((post)positivism)와 객관주의(objectivism)가 지배하는 분야에서 질적 연구의 정당성을 확립하기 위해, (포스트)실증주의 친화적 개념(concepts)과 실천(practices)을 사용했다고 지적했다. 이 분석은 심리학에도 동일하게 적용될 수 있다(Masaryk and Stainton Rogers 2024; Morrill and Rizo 2023; cf. Walsh 2015).

  • Varpio et al.은 Glaserian 근거이론(Glaserian grounded theory)(Glaser 1978) 같은 포스트실증주의적 방법론(postpositivist methodologies)의 사용,
  • 그리고 “작은 n에도 불구하고(small n)” 데이터의 강건함(strength)을 독자들에게 안심시키기 위해 전사(transcript) 페이지 수를 나열하는 수사적 장치(rhetorical flourishes)를 지적했다(p. 41).
  • 실제로 많은 질적 연구자들이 실증주의적 근거이론(positivist grounded theory)에서 구성주의적 근거이론(constructivist grounded theory; Charmaz 2014)으로 전환했음에도 불구하고, 질에 대한 기대(expectations for quality)는 여전히 (그리고 종종 무의식적으로) 이러한 (과학적 실재론 scientific realism)과 (포스트)실증주의적 foundationalist frameworks에 부분적으로 뿌리내리고 있는 경우가 많다.

실제로 APA 저널 Qualitative Psychology의 10년을 되돌아보며 Kirschner et al.(2023)은 다음과 같은 문제를 지적했다:

“저자들은 자신의 질적 프로젝트를 보고(reporting)하면서, 때때로 양적 방법(quantitative methods)에서의 전제(assumptions)와 언어(language)를 가져오는데, 이는 아마도 많은 심리학자들처럼 그들이 훈련받은 유일한 접근이 그것이기 때문일 것이다. 이러한 유형의 문제는 여러 방식으로 나타나며, 질적 탐구(qualitative inquiry)에서의 엄밀함(rigor)에 대한 논리(logic)와 기준(criteria)를 평가절하(devaluing)하고, 결과적으로 오해(misunderstanding)하는 것으로 이어질 수 있다.”(p. 386)

 

질적 연구가 점차 주류(mainstream)에 진입하면서, 일관된(congruent) 질 지표(quality markers)와 숙련된 심사자(knowing reviewers)는 항상 그 속도를 따라오지 못했다(Riley et al. 2019). 그 결과, 특정한 질 지표는 Motulsky(2021, 402)가 “무조건적인 knee-jerk ‘해야 한다(should)’ 기법”이라고 묘사한 것으로 굳어지기도 했다.

 

Varpio et al.은 멤버 체크(member-checking)—해석의 정확성(accuracy of interpretation)을 검증하기 위한—, 데이터 포화(data saturation), 삼각검증(triangulation; 데이터, 연구자 등 다원적 출처를 통해 정확성·확증 가능성·단일 진실에 접근)과 같은 질적 연구의 질 관행(quality practices)의 (포스트)실증주의적 존재론(ontology)·인식론(epistemology)의 뿌리와 함의를 분석했다. 그리고 이러한 것들이 질과 보고 체크리스트/가이드라인에 자주 포함된다는 점을 강조했다. (우리가 여기서 집중하는 두 가지 보고 체크리스트/표준인 COREQ와 JARS-Qual에도 포함되어 있지만, 후자에서는 필수적으로 요구되지는 않는다).

 

small q 질적 연구자(small q qualitative researcher)의 관심은 표준화(standardisation), 정확성(accuracy), 신뢰성(reliability)에 있으며, 이는 곧 (포스트)실증주의자의 관심사다. 이것은 일부 학문 분야에서 지배적 규범(dominant norms)을 반영한다(Gaddefors and Cunningham 2024; Masaryk and Stainton Rogers 2024), 그러나 이는 Big Q Qualitative와 일치하지 않는다.

 

이상적 연구 관행(ideal research practices)으로 여겨지는, 예를 들어 연구자의 영향(influence)과 ‘편향(bias)’을 통제하려는 전략(데이터 오염·객관주의 위협의 잠재적 원천으로 간주; Varpio et al. 2021)이나, small q 연구를 보고(reporting)하는 특정한 문체(writing styles)는 Big Q Qualitative에는 거의(혹은 전혀) 잘 맞지 않으며, 적용될 경우 흔히 ‘혼란(muddle)’ 혹은 불일치(incongruence)를 초래한다.

번역

미국 심리학(US psychology)에서, 좋은 보고 관행(good reporting practice)에 대한 지배적 고려사항은 (포스트)실증주의((post)positivist)와 과학적 실재론(scientific realist) 규범에 의해 암묵적으로 형성된다(Walsh 2015). 글쓰기(writing)에 국한해 보자면, Walsh는 APA 스타일(APA Style)의 지배력이 질적 심리학자(qualitative psychologists)들이 다른 학문 분야에서 나타날 수 있는 다양한 보고 형식(formats)과 보고 문체(styles)를 실험할 수 있는 능력을 방해했다고 주장한다(또한 Gaddefors and Cunningham 2024 참조). Tracy(2012, 112)는 “대부분의 심사자와 편집자는 여전히 근거이론적(grounded), 해석적(interpretive), 반복적(iterative) 연구 논문이 대략적으로 양적 연구와 포스트실증주의적 경험적 분석과 동일한 형식으로 진행되기를 기대한다”고 지적했다.

 

학술적 (사회)과학 저널 논문의 지배적 구조는 흔히 “네 막의 연극(four-act play)”(p. 112)로 전개된다:

  1. 서론/문헌고찰(introduction/literature review)
  2. 방법(methods)
  3. 결과/발견(results/findings)
  4. 논의(discussion)

연구의 연역적 논리(deductive rationale)는 서론/문헌고찰에서 제시되며, 기존 연구와 이론을 바탕으로 ‘연구 공백(gap)’을 확인한다. 방법(method) 부분에서는 “데이터 수집과 분석 절차가 종종 효율적이고 공식적(formulaic), 규칙 기반(rule-based) 방식으로 작성되는데—이는 이러한 절차가 선형적이고 합리적인 방식으로 진행되었으며, 필요하다면 다른 연구자들에 의해 복제(replication)될 수 있다는 인상을 준다”(p. 112). 실제로 질적 연구자들은 복제 가능성(replicability)을 목표로 하지 않음에도 불구하고, 복제 가능성의 규범(norm of replicability)은 질적 방법 보고를 안내하는 데 유용하다고 종종 제안된다(예: Treharne and Riggs 2015). 이는 보고의 투명성(transparency of reporting) 확보를 중심으로 구성되기도 한다(투명성은 아래에서 논의).

 

그러나 (부적절한) 실증주의적-경험주의(positivist-empiricist) 혹은 객관주의적(objectivist) 척도나 표준을 무심코 수용하는 것은 개별 연구 보고의 질(reporting quality)을 위협할 뿐 아니라, 학문 내 지배적 이상(disciplinarily dominant ideals)을 강화할 위험이 있다(Masaryk and Stainton Rogers 2024 참조). 이는 Riley et al.(2019)이 (영국의) 질적 심리학(qualitative psychology)에 대해 내린 결론과도 일치한다. 그들은 “해석주의적 질적 방법(interpretivist qualitative methods)을 사용하는 연구자들에게 가장 큰 도전은, 대체로 양적 연구자들을 위해 설계된 거버넌스 시스템에 자신들의 연구를 맞춰야 한다는 점”(p. 476)이라고 주장했다. 체크리스트(checklists)와 표준(standards) 같은 질 지표(quality measures)는 이러한 거버넌스의 핵심 도구로 기능할 수 있다.

심리학자 Morrill과 Rizo(2023)는 (미국 맥락에서) 질적 연구의 부상(rise of qualitative research)은 “지배적 관행(hegemonic practices)의 동화(assimilation)와 비판 없는 수용(uncritical adoption)을 피하기 위한 경계(vigilance)”가 필요하다고 지적했다(p. 412). 많은 기존의 보고 체크리스트와 표준은 질적 연구 보고에서 small q와 Big Q의 혼란(muddying)을 촉진하거나 심지어 장려한다. 이는 심사자(reviewers)와 편집자(editors)의 기대(expectations) 및 요구(requirements)와도 맞물린다(Braun and Clarke 2021a; 또한 Pearson et al. 2015 참조):

“저널 논문은 질적 접근(qualitative approaches)과 이론적 틀(theoretical frameworks)의 다양성을 충분히 이해하지 못한 심사자들에 의해 평가될 수 있다. 흔히 나타나는 문제는 실증주의적 질 기준(positivist quality criteria)의 부적절한 적용, 혹은 좁고 포스트실증주의적 체크리스트를 광범위한 질적 방법론 스펙트럼에 적용하려는 기대이다. (예: 근거이론을 적용하지 않음에도 데이터 포화 data saturation를 기대하거나, 주제분석 thematic analysis에 대해 평가자 간 신뢰도 inter-rater reliability를 요구하는 경우).” (Riley et al. 2019, 468)

현재 우리가 수행하고 있는 질적 연구자들의 동료심사(peer review) 경험에 관한 연구는, 질적 연구자들이 자신의 보고 관행(reporting practices)이 불일치(incongruent)함을 알고 있음에도, 여전히 체크리스트와 심사자/편집자의 요구에 맞추어야 한다는 압력을 느낀다는 사실을 보여준다. 이는 “출판하라 아니면 사라져라(publish or perish)”라는 기대 때문이다(Clarke et al. 2024).

이제 우리는 논의를 체크리스트(checklists), 표준(standards), 가이드라인(guidelines)으로 전환한다. 여기서 중점은 왜 언어(language)가 중요한지, 왜 개발 방법론(development methodology)이 중요한지, 그리고 (포스트)실증주의가 지배하는 맥락에서 질적 연구 개념과 실천의 보편성을 전제할 때 발생하는 (비의도적) 결과에 있다. 이는 Section C로 넘어가기 위한 배경을 설정한다. Section C에서는 우리가 BQQRG를 소개하고, 그것을 개발한 방법론을 설명하며, 그것의 ‘적절한(appropriate)’ 사용에 대한 우리의 기대와 희망을 제시한다.

What’s in a name? Reporting checklists, standards and guidelines

비록 checklists(체크리스트), standards(표준), guidelines(가이드라인)이라는 용어들이 종종 서로 혼용(interchangeably)되지만, 우리는 이들 사이에 중요한 차이가 있다고 생각하며, 용어(terminology)는 중요하다.

 

체크리스트(checklists)는 논문에 반드시 포함되어야 할 항목들의 목록을 포괄하며, 이는 Sparkes와 Smith(2009)가 묘사한 “기준론적 접근(criteriological approach)”—즉, 보편적이고 안정적인 보고 질(reporting quality)의 지표(markers)가 존재한다는 가정, 그리고 더 많은 항목이 체크될수록 보고가 더 투명하고 포괄적이며, 따라서 더 낫다(better)는 추론을 반영한다.

 

심리학 및 관련 학문에서 아마 가장 많이 인용되고 영향력이 큰 체크리스트는 COREQ (Consolidated Criteria for Reporting Qualitative Research; Tong, Sainsbury, and Craig 2007)일 것이다.

  • 이는 특히 보건 연구(health care research) 분야의 수많은 저널들에 의해 권장되거나 요구된다. COREQ는 세 가지 영역(domains)—연구팀과 성찰성(research team and reflexivity), 연구 설계(study design), 분석과 결과(analysis and findings)—에 걸친 32개 항목(items)을 포함한다.
  • COREQ 준수 검토(compliance reviews)는 이러한 기준론적 접근을 잘 보여준다. 즉, 보고 질의 수준을 보고서에 포함된 항목 수로 동일시한다는 것이다(예: Al-Moghrabi et al. 2019; Walsh et al. 2020). 32개 항목 중 25개 이상이 충족되면 연구는 ‘양호(good)’하다고 평가된다.
  • 이러한 논리 안에서, 체크리스트는 어떤 기준(criterion)을 충족하지 못하면 결함(flaw)이나 ‘이상적인 보고서(perfect report)’를 만들어내는 데 실패한 것으로 간주되게 한다. (COREQ의 영향력을 감안할 때, 우리는 별도의 논문에서 COREQ가 Big Q Qualitative 연구의 질을 측정하는 도구로서 어떻게 잘못된 (mis) 측정이 되는지를 비판적으로 다룬 바 있다; Braun and Clarke 2024a).

보고 표준(reporting standards)—예: JARS-Qual (Journal Article Reporting Standards for Qualitative Research; Levitt et al. 2018)—은 체크리스트보다 덜 경직되어 있으며, 보편적 질 지표(universal markers of quality)의 개념을 피한다(eschew). JARS-Qual은 점점 더 널리 인용되고 있으며, The British Journal of Health Psychology에 의해 채택되기도 했다(Shaw et al. 2019). Levitt et al.(2018, 27)은 JARS-Qual을 다음과 같이 설명했다.

“원고(manuscript)를 적절하게 평가(evaluation)할 수 있도록, 원고에서 기대되어야 할 정보가 무엇인지 설명한다. 이는 저자가 원고를 준비하는 과정에서 성찰(reflect upon)해야 하고, 심사자가 원고의 엄밀성(rigor)을 평가할 때 고려(consider)해야 할 명시적 기준(criteria)의 집합이다.”

 

여기서 reflect upon(성찰하다), consider(고려하다)라는 표현이 신호하는 유연성(flexibility)을 주목해야 한다.

  • Levitt et al.은 “one size does not fit all”—즉, 질적 연구 내의 다양성으로 인해 단일한 규정은 적합하지 않으며, “질적 연구 보고는 각 탐구의 고유한 논리(own logic of inquiry)에 따라 평가되어야 한다”(p. 28)고 인정했다. 또한 그들은 “다양한 접근 안에서 수입(imported)되었을 때 질적 방법 보고를 일관되고(congruent), 향상(enhance)시키는 실질적인 권고안을 생성하려 노력했다”(p. 32)고 밝혔다.

COREQ와 마찬가지로 JARS-Qual도 포괄적(comprehensive)이고 투명한(transparent) 보고를 지향하지만, 연구자에게 항목을 다루는 방식에서 어느 정도 자유(freedom)와 유연성(flexibility)을 부여한다.

  • 표준(standards)은 포함 권장 정보(recommended information)를 기술(description) 형태로 제시된다.
  • Levitt et al.은 자신들이 사용한 용어/어휘(예: 탐구 접근 approach to inquiry, 데이터 수집 전략 data-collection strategies, 데이터 분석 전략 data-analytic strategies, 연구 설계 research design)를 정의했으며, “저자들이 이를 자신들의 선호하는 접근 방식의 용어로 번역할 것을 권장한다(encourage authors to translate our terms)”(p. 32)고 했다.

비록 Levitt et al.이 획일적/보편적(monolithic/universal) 틀과 기준을 제안하지 않으려 세심히 주의했음에도 불구하고, 우리가 주의하는 점은 ‘표준(standards)’이라는 언어가 이상적 모델(an ideal), 달성해야 할 기준(a standard to meet)을 불러일으키며, 결국은 규범적(prescriptive)·기준론적(criteriological) 방식으로 읽히고 사용될 위험이 있다는 것이다.

그렇다면 왜 우리는 ‘기준(criteria)’이나 ‘표준(standards)’이 아니라 ‘가이드라인(guidelines)’을 제시하는가? 이는 사소한 구분처럼 보일 수 있지만, 우리가 사용하는 용어에서 우리의 의도(intent)를 분명히 하는 것이 중요하다. 담론 훈련(discursively trained)을 받은 연구자로서, 우리는 언어(language)가 미시적(micro)·거시적(macro) 차원 모두에서 중요한 것임을 이해한다.

 

Buus와 Perron(2020)은 criteria(기준)와 guidelines(가이드라인) 사이의 구분을 주장했다.

  • 그들에게 있어, 전자criteria는 표준화되고(standardised), 관찰 가능한(observable) 항목들로 구성되며, 심사자는 거의 오류 없이, 높은 수준의 합의(high levels of agreement) 속에서 이를 활용할 수 있어야 한다. 어떤 이들에게 가이드라인은 표준과 동의어일 수 있지만, 우리에게 이 용어는 좀 더 느슨하고(looser), 덜 지시적(less directive)으로 느껴진다.
  • 우리는 standards(표준)와 criteria(기준)가 성취(achievements)나 결과(outcome)를 신호하는 반면, guidelines(가이드라인)는 결과로 향하는 과정(process)을 불러일으킨다고 본다.
  • 우리는 가이드라인을 연구 보고(report of research)를 평가할 때 고려해야 할 요소로서 보고 싶으며, 그것들은 심사자의 해석적 판단(interpretative judgements), 경험과 지식을 갖춘 ‘감식가(connoisseur)’ 심사자들(Sandelowski 2015; Sparkes and Smith 2009)의 판단에 더 의존한다.

가이드라인은 규칙(rules)이 아니므로, 그것들이 무비판적으로(thoughtlessly) 준수되거나, 지나치게 규범적(prescriptive)으로 다루어질 위험은 상대적으로 적을 것이다. 물론 이러한 위험은 여전히 존재하며(어떤 정의·코딩·지침 시도에도 내재된 위험), 이를 인정한다. 그러나 가이드라인은 규칙보다는 취향(taste)에 관한 질 지향(orientation to quality)을 더 허용할 수 있다.

  • Sandelowski(2015)는 이를 ‘취향-형성자(taste-makers)’ 공동체 안에서, 이들이 전문적이고 변화하는 ‘심미적(aesthetic) 선호’를 질적 연구 보고 평가에 가져오는 판단으로 묘사했다.

비록 많은 심사자가 이러한 전문가가 아님을 인정하지만(Riley et al. 2019), 우리는 BQQRG에 피해야 할 개념(concepts), 실천(practices), 용어(terminology)와 그에 대한 설명(notes)을 포함시킴으로써, 경험이 적고 지식이 부족한 이들에게도 도움이 되기를 희망한다.

Naming our discontent (with checklists and standards)

COREQ는 절차주의적(proceduralist)이고 small q적 정의를 제시한다:

  • “질적 연구(qualitative studies)는 비양적(non-quantitative) 방법(methods)을 사용하여 새로운 지식(new knowledge)을 기여하고 보건의료(healthcare)에 대한 새로운 관점(new perspectives)을 제공한다”(Tong, Sainsbury, and Craig 2007, 350).

저자들은 질적 연구 내부의 다양성(diversity)을 방법(method) 수준에서 (“질적 연구는 광범위한 연구 방법들을 포괄한다”, p. 350), 그리고 방법론(methodology)과 이론(theory) 수준에서도 인정하긴 했다. 그러나 이들은 이론, 방법론, 방법을 뒤섞어(muddle) 제시한다:

  • “질적 연구에서의 이론적 틀(theoretical frameworks)에는 다음이 포함된다: 근거이론(grounded theory) – 데이터로부터 이론을 구축하기 위해; 민족지학(ethnography) – 공통된 특성을 가진 집단의 문화를 이해하기 위해; 현상학(phenomenology) – 경험의 의미와 중요성을 기술하기 위해; 담론 분석(discourse analysis) – 언어적 표현을 분석하기 위해; 내용 분석(content analysis) – 데이터를 체계적으로 조직해 구조화된 형식으로 만들기 위해.” (Tong, Sainsbury, and Craig 2007, 351)

 

그러나 이러한 다양성에 대한 인정은 체크리스트 항목(checklist items)에는 반영되지 않는다. COREQ 항목들은 많은 질적 접근들에 대해 기껏해야 무관하거나(irrelevant), 최악의 경우 불일치(incongruent)한 개념과 실천들을 참조한다.

  • 예: 데이터 포화(data saturation), 참여자에 의한 전사본 및 결과 검증(participant validation of transcripts and ‘findings’), 코딩 트리(coding trees)(Braun and Clarke 2021b; Motulsky 2021; Smith and McGannon 2017; Varpio et al. 2017).

더 나아가, 불일치는 COREQ 자체에 내재(hardwired)되어 있는 것으로 보인다.

  • COREQ의 항목들은 연구자의 ‘편향(bias)’을 오염(contamination)/객관성(objectivity) 위협으로 보는 small q 개념과, 연구자의 성찰성(reflexivity)을 강조하는 Big Q 개념을 모두 참조한다.
  • 즉, 연구자의 주체성(subjectivity)과 연구에서의 역할을 둘러싼 매우 다른 이론적 경계(theoretically-bounded conceptualisations)가 서로 상호교환 가능한 것처럼(interchangeable) 다루어진다.

이러한 개념적 전이(slippage)는 COREQ가 방법론적 불일치(methodological incongruence)를 촉진할 가능성이 있음을 의미하며, COREQ의 일부 다소 특이한(idiosyncratic) 항목들이 연구의 설계와 수행에 영향을 미쳤을 때에만 투명성(transparency)/성찰적 개방성(reflexive openness)을 제한적으로 지지한다(Braun and Clarke 2024a 참조).

COREQ는, 다른 많은 유사 도구들처럼(예: SRQR, Standards for Reporting Qualitative Research; O’Brien et al. 2014), 통합/종합(consolidation/synthesis)과 합의(consensus) 과정을 통해 개발되었다(Munthe-Kaas et al. 2019). 즉, 저자들이 “질적 연구를 평가하거나 검토하기 위해 사용된 체크리스트(checklists), 그리고 질적 연구 보고를 위한 가이드라인(guidelines)”(p. 351)을 통합(consolidation)했고, 저자들 사이의 합의(consensus)를 통해 도출한 것이다(Peditto 2018).

  • COREQ 개발에 기여한 22개 항목은 매우 다양한 혼합이었다: 질적 연구 평가 가이드라인, 질적 연구의 질 기준(quality standards)에 대한 논의, 특정 영역에서의 내러티브(narrative), 메타-민족지학(meta-ethnographic), 체계적 검토(systematic reviews), 비판적 평가 체크리스트(critical appraisal checklists) 등으로, 간호학(nursing), 의학/보건의료(medicine/health care), 의학교육(medical education), 사회 연구(social research) 분야에 걸쳐 있었다.
  • COREQ를 개발하는 데 사용된 방법론의 문제성에 대한 우려는 제쳐두더라도(Buus and Perron 2020은 COREQ를 재현하지 못했다; Braun and Clarke 2024a 참조), 합의(consensus)—그리고 확장된 의미에서 통합/종합(synthesis), 즉 합의에 이르는 다른 경로로 볼 수 있는 것—의 문제는, 그것이 질(quality)의 다소 객관주의적(objectivist) 지표라는 점이다.
  • Morse(1997)가 평가자 간 신뢰도(interrater reliability)를 지지하기 위해 피상적 부호화 체계(superficial coding schemes)를 사용하는 것에 대해 비판하며 한 말을 인용하면, 합의는 잠재적으로 “겉보기에 건강하지만(dead), 실제로는 죽은(perfectly healthy but dead)” 질 기준/표준을 만들어낼 수 있다(p. 446).

합의는 특정 개념, 실천, 용어를 뒷받침하는 연구 가치(research values)를 고려하지 않는 한, 질적 보고 표준을 결정하는 방법론으로서 거의 무의미하다. 모두가 동의한다고 해도, 그 동의가 개념적으로 적합하지 않다면 아무 의미가 없다.

  • 예컨대, 스무 명의 ‘전문가들(experts)’이 데이터 포화(saturation)를 체크리스트에 포함시켜야 한다고 합의한다고 해서, 구체적 존재론적(ontological)·인식론적(epistemological) 뿌리를 가진 이론적으로 제한된(theoretically-bounded) 개념인 포화가, 갑자기 모든 질적 연구에 적용 가능한 이론-중립적(theoretically-neutral) 혹은 초이론적(trans-theoretical) 개념으로 바뀌지는 않는다(Varpio et al. 2017).

기존 표준들을 단순히 통합/종합(consolidation/synthesis)하여 새로운 체크리스트나 표준을 개발하는 것은, 여러 학문 분야에서 질에 대한 논의를 지배해 온 (문제적) 근본주의적 규범(foundationalist norms)을 사실상 재활용하는 것에 불과하다(Smith and McGannon 2017; Varpio et al. 2017).

JARS-Qual과 그 한계

JARS-Qual (Levitt et al. 2018)은 질적 연구 보고(qualitative research reporting)에 대한 문헌 검토를 바탕으로, 저자/전문가 합의(author/expert-consensus) 과정을 통해 개발되었다. 따라서 이는 COREQ와 마찬가지로 객관주의적 방법론(objectivist methodology)의 문제를 공유한다. 그러나 JARS-Qual은 훨씬 더 광범위한 정의(broader definition)를 제시하며, 다양성을 인정하는 데 있어 더 나은 접근을 보여준다고 우리는 생각한다:

  • “질적 연구(qualitative research)라는 용어는 자연 언어(natural language; 즉 단어 words)의 형태와 경험의 표현(expressions of experiences; 예: 사회적 상호작용 social interactions, 예술적 표현 artistic presentations)을 분석하는 일련의 접근(approaches)을 묘사하기 위해 사용된다. 연구자들은 보통 의미(meanings)에 대한 탐구를 중심에 두며, 이는 결과가 점차 발전하는(iterative process of evolving findings) 과정 속에서 이루어지며, 일반적으로 귀납적(induction)에 의해 주도된다고 본다(cf. Wertz 2010). 그리고 경험에 대한 주관적 서술(subjective descriptions)을 분석을 위한 정당한 데이터(legitimate data)로 간주한다.” (Levitt et al. 2018, 27; 원문 강조 emphasis in original)

그러나 비판적 질적 연구자(critical qualitative researchers)로서, 경험을 중심에 두는 정의는 언제나 경계심(alarm bells)을 울린다. 우리는 종종 경험적 질적 규범(experiential qualitative norm)에 뿌리내린 (질적) 질 관행(practice)에 대한 기대(expectations)를 마주하기 때문이다. Levitt et al.은 언어(language)는 결코 중립적이지 않다는 점을 인정했고, 앞서 언급했듯 연구자들에게 “우리의 용어를 자신들의 선호하는 접근의 용어로 번역하라(translate our terms into those of their own preferred approaches)”(p. 32)고 권고했다. 그러나 보고 표준(reporting standards)을 정리한 표(table)와 Levitt(2020)이 이에 대해 책 길이로(explication) 설명한 부분은, 종종 무심코 (포스트)실증주의적 ((post)positivist) 틀로 귀결된다(default).

  • 예를 들어, 연구자들에게 연구자의 사전 이해(prior understandings)가 어떻게 관리되었는지/연구에 영향을 미쳤는지를 논의할 것을 권고하며, 데이터 수집을 중단할 이유(rationale for stopping data collection)로는 포화(saturation)만이 제시된다(Clarke 2021). 이 두 가지 모두는 바깥(out-there)의 진실/현실(truth/reality)과, 그것과 분리되어 올바른 절차(correct processes)를 통해 그것을 판별할 수 있는 연구자를 전제한다.

실제로 Levitt(2020)—JARS-Qual의 주저자이자, 질적 연구 설계 및 심사에서 방법론적 통합성(methodological integrity)을 다룬 동반 논문(Levitt et al. 2017)의 주저자—과, Levitt et al.(2018)의 공동저자인 Morrow(2005)는 스스로의 “잠재적 포스트실증주의 성향(latent post-positivist tendencies)”(Morrow 2005, 250)에 대해 성찰했다. 이는 미국 심리학(US psychology)에서 포스트실증주의(postpositivism)가 지배적이라는 점(Grzanka and Moradi 2021)을 감안하면 놀랍지 않다.

 

미국 질적 심리학자들이 직면한 도전은, Varpio et al.(2017)이 보건전문직 교육(health professions education) 분야의 질적 연구자들에게서 설명한 도전과 유사하다. 즉, 양적·포스트실증주의적 학문 영역 안에서 정당성을 확보하기 위해, 질적 연구자들은 (포스트)실증주의적 패러다임/인식론과 일치하는(congruent) 방법과 방법론을 사용해 동료들에게 수용 가능한 연구를 설계했다. 예:

  • 질적 내용분석(qualitative content analysis) (Forman and Damschroder 2008),
  • Glaserian 근거이론(Glaserian grounded theory) (Glaser 1978),
  • 합의적 질적 연구(consensual qualitative research) (Stahl, Taylor, and Hill 2012),
  • 우리가 “코딩 신뢰도(coding reliability)” 접근이라 부르는 주제분석(thematic analysis) (Guest, MacQueen, and Namey 2012).

여러 면에서, 미국 질적 심리학(US qualitative psychology)은 많은 질적 연구 질·보고 체크리스트와 표준의 기저를 이루는, 불편한 small q/Big Q 혼합(mingle)을 전형적으로 보여준다.

JARS-Qual은 (포스트)실증주의/(small q)와 비실증주의/(Big Q) 질적 연구 모두를 포괄하려 시도한다. 그러나 이들을 매우 다른—and 잠재적으로 비교 불가능한(incommensurable) (Lincoln, Lynham, and Denzin 2024)—질적 전통으로 명시적으로 구분하지 않는다면, (포스트)실증주의 규범이 지배하게 될 위험이 있다. 그 결과, 특히 양적-실증주의적 훈련 맥락에서 질적 연구로 진입하는 연구자들에게서, JARS-Qual은 무의식적인 해석과 적용(unknowing interpretation and application)을 낳는다(Riley et al. 2019 참조).

 

JARS-Qual은 연구자와 심사자/편집자가 특정 접근에 맞게 표준을 해석하고 번역하도록 의존한다. 동시에, 많은 심사자와 편집자가 질적 연구에 대한 지식과 전문성(expertise)을 갖추지 못했기 때문에 질적 연구 보고 표준의 필요성을 인정한다. 여기서 위험은, 지식이 부족한 심사자·편집자들이 표준을 해석할 깊이(depth of knowledge)를 갖추지 못해, (포스트)실증주의와 비실증주의를 구분하지 못하는 것이다.

 

우리의 경험, X/Twitter에서 빈번히 목격되는 질적 연구자들의 방법론적 불일치(methodologically incongruent) 심사 피드백에 대한 불만, 그리고 다른 연구자들의 관찰(Riley et al. 2019)은 이 위험이 실제로 실현되고 있음을 보여준다. 따라서 JARS-Qual에 추천할 만한 점이 많고, 우리가 방법론적 통합성(methodological integrity; Levitt et al. 2017)이라는 개념적 틀을 좋아함에도 불구하고, Big Q Qualitative 연구를 수행하는 연구자들에게 JARS-Qual의 실제 사용은 불일치(incongruence)를 도입할 가능성을 가지고 있다.

Section C — a new set of guidelines

이것이 우리가 질(quality)과 보고 가이드라인(reporting guidelines)에 처음 발을 들인 것은 아니다. 우리는 주제분석(Thematic Analysis, TA)을 위한 여러 세트의 질 및 보고 가이드라인을 개발해 왔다:

  • 좋은 TA를 위한 체크리스트 기준(checklist criteria for good TA) (Braun and Clarke 2006; 당시에는 ‘체크리스트’라는 용어를 무심코 사용했지만, 지금은 동일한 용어를 사용하지 않을 것이다),
  • 출판을 위한 TA 원고 평가 도구(tool for evaluating TA manuscripts for publication) (Braun and Clarke 2021a),
  • 방법론적으로 일관된(methodologically congruent) TA를 생산하고 ‘앎을 지닌 연구자(knowing researcher)’가 되기 위한 권고(recommendations) (Braun and Clarke 2022a, 2023a),
  • 건강심리학(health psychology)에서 TA 수행 및 보고를 위한 최선의 실천(best practice recommendations) (Braun and Clarke 2023a),
  • 성찰적 TA 보고 표준(reporting standards for reflexive TA) (Braun and Clarke 2022a; 지금이라면 ‘표준 standards’라는 용어는 사용하지 않을 것이다),
  • 성찰적 TA 보고 가이드라인(Reflexive TA Reporting Guidelines, RTARG) (Braun and Clarke 2024b) — 이는 저널들이 보고 체크리스트 사용을 종종 의무화하는 보건의료 분야에서 COREQ와 SRQR을 대체하기 위해 고안되었다.

BQQRG를 개발하고 제시하면서 우리의 범위(scope)는 TA를 넘어 Big Q Qualitative로 확장된다. 다만 여전히 우리는 Finlay(2006, 320)가 표현했듯이, “‘기준(criteria)’에 대해 글을 쓰는 것은 모순된 감정(mixed feelings)을 불러일으키며, 동시에 일종의 놀이(game)이자 심각한 작업(serious undertaking)이다”라는 비슷한 논쟁을 우리 자신들 사이에서도 갖는다.

Why (these) guidelines are needed: caveat emptor

우리가 생각하기에 Big Q Qualitative 연구 보고(reporting)를 형성하고 이끌어야 할 원칙들(이것이 바로 BQQRG가 촉진하고자 하는 것들)을 논의하기 전에, 왜 이러한 가이드라인이 필요한지 설명하고자 한다—단순히 “Big Q Qualitative 연구는 그 자체의 기준(on its own terms)으로 평가되어야 한다”(Finlay 2006)는 점을 넘어서서.

 

이미 질(quality)에 대해 많은 글들이 쓰여 왔지만(예: Flick 2018), 우리는 Big Q Qualitative 가이드라인에 대한 실용적 필요(pragmatic need)가 있다고 본다. 이는 덜 전문적인 학자(less expert scholars)들이 방법론적으로 일관된(methodologically congruent), 성찰적으로 개방된(reflexively open) 질적 연구를 보고할 수 있도록 지원하고, (무의식적으로) small q 위치(small q positioned)의 심사자(reviewers)와 편집자(editors)와 씨름할 수 있도록 돕기 위함이다. 또한 덜 전문적인 심사자와 편집자 자신들에게도 도움이 된다(Finlay 2006; Pearson et al. 2015). 우리는 이러한 지침을 교육학적으로(pedagogically)(Tracy 2010), 실용적으로(pragmatically), 그리고 수사학적으로(rhetorically) 가치 있다고 본다.

 

가이드라인은 단순히 질에 대한 논의에 성실히 기여할 뿐만 아니라, 연구자들에게는 전략적 도구(strategic tool)로 기능하여, 무지하지만(un­knowing) 자신감 있고 집요한(confident and insistent) 심사자나 편집자에게 대응할 수 있도록 해준다. BQQRG를 통해 우리는 단지 Big Q Qualitative의 정신(ethos)과 가치(values)를 더 일관되게 반영하는 보고 접근(reporting approach)의 정당성과 채택을 주장하는 것만이 아니라(Gilgun 2005; Tracy 2012; Walsh 2015), 연구자들에게 ‘부적합한 절차나 실천을 사용하라’는 요구를 거부(resist demands to utilize procedures or practice that are mismatched)할 수 있는 도구도 제공하는 것이다(Morrill and Rizo 2023, 413).

항상 위험은 존재한다. 가이드라인이 규칙(rules)으로 해석되어, “새로운 준수 명령(new mandate to be followed)”처럼 여겨지고, 준수가 곧 성공의 보증(guarantee)으로 간주될 수 있다(Goldberg and Allen 2015, 3). 그러나 보고(및 질) 가이드라인을 비판하려면 지식(knowledge)이 필요하다. 이러한 도구를 비판하는 사람들(예: Buus and Perron 2020)—우리 자신을 포함해서—은 대개 상당한 전문성(expertise)을 갖춘 위치에서 그렇게 한다. 우리의 경험상, 많은 질적 연구자들이 그러한 깊은 경험의 저수지(deep reserves of experience)를 가지고 있지는 않다고 본다.

 

이러한 맥락에서 우리는 Tracy(2010; 또한 Finlay 2006)와 동의한다. 그녀는 여덟 가지 “빅 텐트(big-tent)” 질 기준(quality criteria)을 제시하면서 “기준(criteria)은 그저 유용하다. 규칙과 가이드라인은 우리가 배우고, 실천하며, 완성해 가는 데 도움을 준다”(p. 838)고 주장했다. Tracy는 어떤 기술(craft)이든 초보자(novices)는 학습을 위해 규칙과 구조에 의존한다는 학습 연구를 인용하며, “가이드라인과 최선의 실천(best practices)은 다양한 해석적 예술 해석적 영역에서 유용한 교육적 출발점(pedagogical launching pads)으로 기능한다”(p. 838)고 밝혔다.

 

명확하고 접근 가능한 지침(clear and accessible guidance)을 거부하는 것은 질적 연구를 엘리트적이고 접근 불가능하게 만들 뿐만 아니라, 학문 내 지배적이고—개념적 일관성(conceptual congruence) 관점에서 심각하게 문제적인—‘좋은 실천(good practice)’의 기준들을 영속시키는 효과를 가져올 수 있다(Varpio et al. 2017, 2021).

 

또한 보고 가이드라인은 특히 보건 연구(health research)에서 중요하게 여겨진다. 이는 연구 보고서의 질을 개선(improving the quality)—특히 투명성(transparency)과 포괄성(comprehensiveness)과 관련하여—하고, 연구가 질적 체계적 검토(systematic reviews)나 종합(syntheses)에 포함될 가능성을 높여주기 때문이다(Pearson et al. 2015). 이러한 검토·종합은 신뢰할 수 있고 유용한 증거를 확립하는 기법으로 점점 더 지배적이 되고 있으며, 따라서 응용 분야(applied fields) 연구자들에게는 매우 중요한 고려사항이다.

우리는 가이드라인의 가치를 주장하면서도, 동시에 문제적인 체크리스트와 표준의 무비판적 채택(unknowing uptake)에 반대한다. BQQRG는 Big Q Qualitative 연구를 위해, 구체적이고 전적으로, COREQ와 SRQR 같은 체크리스트뿐 아니라 JARS-Qual 같은 보고 표준(reporting standards)까지도 대체하도록 의도되었다. small q 질적 연구(small q qualitative research)를 이러한 가이드라인으로 보고하려는 시도는 거의 확실히 방법론적 불일치(methodological incongruence)를 초래할 것이다.

 

우리는 실용적으로, 가이드라인을 지배적인 가설-연역(hypothetico-deductive) 모델의 네 부분 구조(four-part paper structure)에 맞게 설계했다(Tracy 2012 참조). 즉, 전통적으로 서론(introduction), 방법(method), 결과(results), 논의(discussion)라 불리는 구성을 따른다(우리가 선호하는 용어는 서론(Introduction), 방법론(Methodology), 분석(Analysis), 논의/결론(Discussion/Conclusion)이다; 표 1 참조).

 

BQQRG의 일부는 다른 보고 형식(reporting formats)을 사용하는 질적 연구자들에게도 관련이 있을 수 있다(Tracy 2012 참조). 예컨대, 시적 탐구(poetic inquiry) 같은 창의적 접근(creative approaches; Lupton 2021). 그러나 이것이 반드시 그렇다고 자신 있게 주장하지는 않는다.

 

우리가 이 가이드라인을 만든 목적은 창의성(creativity)을 억누르려는 것도 아니며(LaMarre and Chamberlain 2022 참조), 질적 저널 논문을 작성하는 데 “단 하나의 최선의 방식(one best way)”(Walsh 2015, 44)이 있다고 제안하려는 것도 아니다. 우리는 Walsh(2015)가 말한 바와 같이, “글쓰기 선호(writing preferences)에 대해 다원주의적 정신(spirit of pluralism)을 키워야 한다”(p. 44)는 데 동의한다. 즉, 질적 연구 이야기는 연구의 맥락(context)과 목적(purpose)에 가장 적합한 방식으로 서술되어야 한다.

 

그럼에도 불구하고, small q (포스트)실증주의적 규범(norms)에 대한 지침은 여전히 중요하다. 그래야만 Big Q Qualitative가 그 자체의 기준(on its own terms) 위에서 번성(flourish)할 수 있기 때문이다.

Methodological congruence/integrity and reflexive openness/transparency

여기서 우리의 초점은 Big Q Qualitative 연구 보고(reporting)를 하는 연구자들, 그리고 그 보고서를 평가하는 심사자(reviewers)와 편집자(editors)를 위한 가이드라인(guidance)이다. 우리는 이미 잘 확립된 두 가지 질 개념—방법론적 엄밀성(methodological rigour)과 포괄적 보고(comprehensive reporting)—을 약간 변형하여 다룬다(Buus and Perron 2020; Pearson et al. 2015). 우리의 변형은 방법론적 엄밀성(rigour)을 방법론적 합치(methodological congruence; Pearson et al. 2015)로 재구성하고, Levitt et al.(2017)이 이를 방법론적 통합성(methodological integrity)으로 다시 명명한 개념과도 연결된다. 또한 포괄적 보고(comprehensive reporting)의 개념은 투명성(transparency; Tuval-Mashiach 2017) 또는 성찰적 개방성(reflexive openness; Jacobs et al. 2021)으로 재정향(reorient)된다.

Rigour(엄밀성)은 연구 수행(conduct of research)과 긴밀히 연결되어 있다. 만약 연구 자체가 엄밀하지 않았다면, 보고 또한 엄밀할 가능성은 낮다. 방법론적 합치(methodological congruence)는 연구 수행에서 중요한 특징이기도 하지만, 동시에 독자가 평가할 수 있는 보고(reporting)의 구체적 측면이다. 합치(congruence; 혹은 integrity, coherence)라는 개념은 연구의 다양한 요소들이 (의도적으로 knowingly) 서로 잘 맞아 떨어지는지를 보여주기 위해 널리 사용된다. 즉,

  • 연구를 지탱하는 철학적 전제(philosophical assumptions),
  • 연구 질문·목표(research questions/aims),
  • 연구 설계·방법론(research design/methodology),
  • 구체적 방법(methods),
  • 데이터 처리(treatment of data) 등이
    • 개념적으로 정렬(aligned)되는 것이다(Chamberlain et al. 2011; Crotty 1998; Finlay 2006; Hills 2000; Levitt et al. 2017; Matthews 2014; Tracy 2010; Willig 2021; Yardley 2024).

 

어떤 경우에는, 이것이 존재론/인식론(epistemology/ontology)에서 연구 질문으로, 그리고 데이터와 분석/보고(data and analysis/reporting)로 이어지는 일종의 흐름(flow)으로 설명되기도 한다(Clark 2003; Matthews 2014). Hills(2000)는 이를 패러다임적 통합성(paradigmatic integrity)의 언어로 표현했다. 반면 다른 이들은, 더 다방향적(multidirectional) 영향을 주장한다(Maxwell 2022). 그것이 어떻게, 언제 성립되든, ‘맞음(fit)’이라는 개념(메타이론에 의해 한정된)은 합치(congruence)의 핵심이다.

논문을 읽으면서, 독자는 불일치(incongruence)가 있는지를 판단할 수 있어야 한다.

  • 예를 들어, 연구자가 자신이 구성주의(constructionist) 또는 담론적(discursive) 관점을 취한다고 주장하면서도, 언어(데이터)를 참여자의 생활 경험(lived experience)을 투명하게 보여주는 창(window)처럼 다룬다면, 이는 불일치다. 구성주의·담론적 접근에 합치되는 태도는 언어를 생산적(productive)이고/또는 수행적(performative)인 것으로 보는 것이기 때문이다(Hall 1997).

 

우리는 합치를 평가하고 구현하기 위해서는 ‘앎(knowing)’을 지닌 연구자(knowing researcher)가 필요하다고 주장한다. 즉, 연구자는 자신의 이론적·개인적 관점(perspectives)을 ‘소유(own)’하려 노력하고(Elliott, Fischer, and Rennie 1999), 의도적으로(deliberative) 의사결정을 하며, 연구 실천과 보고에서 성찰적(reflexive)이어야 한다(Braun and Clarke 2023b). 연구자가 자신의 전제를 독자와 공유하고, 자신의 연구 보고가 방법론적 합치와 일치하는지를 평가하려면, 그 전제들에 대해 일정 수준의 통찰(insight)을 가지고 있어야 한다. 이러한 ‘knowingness’는 합치를 평가하는 데뿐만 아니라, 합치에서 벗어나는 불일치(disjuncture)를 설명하고 정당화하는 데도 중요하다(Tracy 2010).

투명성(transparency)과 성찰적 개방성(reflexive openness)은 연구자가 무엇을 했는지, 어떻게 그리고 왜 했는지를 포착한다. 여기에는 연구자의 이론적 전제(theoretical assumptions), 연구 목표(goals), ‘증거(evidence)’ 생산 관행(practices), 분석 과정(analytic processes), 연구자의 위치성(positionality)과 주체성(subjectivity), 그리고 연구 참여자와의 개방성(openness with participants)이 포함된다(Tuval-Mashiach 2017).

 

우리는 투명성/성찰적 개방성에는 실질적 한계(practical limits)가 있음을 인정한다. 예를 들어 연구자는 참여자와 공동체를 보호해야 할 윤리적 의무(ethical obligations)를 지니며, 연구자 자신의 안전도 고려해야 한다. 또한 연구자의 (항상 제한적인 limited) 통찰 능력—자신의 전제와 내재된 가치(implicit values), 그것들이 연구 관행을 어떻게 형성했는지—역시 제한적이다. 그러나 비판적 성찰(critical reflexivity)을 지속적 실천으로 삼는다면, 우리의 깊이 내재된 인식론적·기타 전제들을 ‘숨겨진(hidden)’ 상태로 유지시키는 요인들을 조금씩 허물어낼 수 있다(Hunter 2002).

 

이러한 이유로, 우리는 성찰적 개방성(reflexive openness)을 지향하는 실천이 중요하다고 강조한다. 그래야만 탐구 논리(logic of enquiry)에 적절한 평가 기준이 사용될 수 있기 때문이다(Jacobs et al. 2021). 연구자가 자신이 사용하는 용어와 기준을 분명히 하지 않았다면, 질적 연구는 그 자체의 기준(on its own terms)으로 평가될 수 없다.

 

성찰적 개방성은 또한 ‘기술적 설명(technical description)’을 강조하거나, 보고(reporting)에서 연구자를 지워내는(writing out the researcher) 방식에 반대한다(Gaddefors and Cunningham 2024). 이는 연구 과정에서 ‘무대 뒤(behind the scenes)’(Tuval-Mashiach 2017) 혹은 ‘백스테이지(back stage)’(Chenail 1995)에서 일어나는 일을 더 많이 드러내고, 보고에서 더 많은 ‘정직(honesties)’를 보여줄 것을 요구하는 주장이다(Finlay 2006). 연구 목적의 변화(evolutions in purpose), 방향 전환(changes in direction), 잘못된 시작(false-starts), 심지어 실패(failures)에 대한 논의가 억압되는 것은 문제적이다(Buus and Agdal 2013; Tracy 2012). 질적 연구의 유연성과 유동성(flexibility and fluidity)을 감안할 때 더욱 그렇다.

“Methodology” for producing the BQQRG

우리는 BQQRG를 제작(producing)하는 과정을 설명하기 위해 “방법론(methodology)”이라는 용어를 약간 아이러니하게(ironically) 사용한다. 왜냐하면, 다른 많은 보고 체크리스트(reporting checklists)와 표준(standards)과는 달리, 이 가이드라인은 통합/종합(consolidation/synthesis)이나 (전문가) 합의((expert) consensus)를 기반으로 하지 않기 때문이다. BQQRG는 주관적(subjective)임을 숨기지 않으며, 기존 가이드라인과 우리의 관점과 경험을 바탕으로, Big Q Qualitative 연구 보고(reporting Big Q Qualitative research)에 대한 우리의 해석(our Big Q ‘take’)을 나타낸다.

 

BQQRG는 기존 체크리스트와 표준에 대한 오로지 Big Q적 대안(exclusively Big Q alternative)을 제공하기 위해 고안되었기 때문에, 우리의 공식적 과정은 JARS-Qual, COREQ, SRQR에서 시작되었다. 우리는 각 항목(items)과 요소(elements)를 하나하나 검토하며, 그것이 Big Q의 가치(Big Q values)와 일치(cohere)하는지 아닌지를 논의했고, 따라서 방법론적 합치(methodological congruence)와 성찰적 개방성(reflexive openness)을 촉진하는지를 평가했다. 우리는 Big Q 보고와 대체로 합치한다고 느낀 항목/요소는 유지하거나 재구성(reworked)했고, 그렇지 않은 것들은 거부(rejected)하거나 교체(replaced)했다. 우리는 보고 가이드라인 및 그것들에 대한 비판(critiques)을 폭넓게 읽고, JARS-Qual, COREQ, SRQR의 항목 재구성을 통해 포착되지 않은 유용한 것들은 다른 가이드라인에서 가져왔다. 저자들은 종종 (무의식적으로) small q 성향의 심사자(reviewers)와 편집자(editors)와 씨름하게 될 것이므로(Riley et al. 2019), 우리는 또한 흔히—그러나 잘못—보편적인 것으로 가정되는 개념과 실천을 피해야 할 것(things to avoid)으로 강조하는 것이 유용하다고 보았다.

우리는 이 가이드라인이 완벽한 Big Q 구현(flawsless manifestation)이거나, 이 주제에 대한 최종적 결론(final thing)이라고 주장하지 않는다! 예를 들어,

  • 우리는 여전히 ‘데이터(data)’라는 용어를 사용한다(Braun and Clarke 2024c). 그러나 일부 학자들은 이 용어가 실증주의적 인식론(positivist epistemology)을 불러일으킨다며 강하게 반대하고, 이를 ‘경험적 자료(empirical materials)’로 대체해야 한다고 주장한다(Denzin 2013, 2024; St Pierre 2013).
  • 마찬가지로, 우리는 여전히 ‘방법(method)’이라는 용어를 사용한다. 그러나 일부는 이를 ‘탐구의 실천(practices of inquiry)’(Gergen 2014)으로 대체해야 한다고 주장한다. 왜냐하면 ‘연구 방법(research methods)’이라는 개념이 실증주의적 경험주의와 연결되어 있기 때문이다.
  • 실제로 Big Q Qualitative 연구에서는 아직까지 양적 연구에서 유래한 용어를 전면적으로 거부(wholesale rejection)하지 않았다. 오히려 일부 용어들은 재구성(reworked)되어 새로운 의미(new meanings)를 갖게 된다. (예: 일반화(generalisation)에 대한 비실증주의적 관점, Smith 2018; 데이터(data)에 대한 비실증주의적 해석, Sandelowski 2011).

우리는 BQQRG에서 다양한 용어를 사용하지만, 앞으로 어떤 언어가 가장 적합한지에 대해 우리의 생각이 바뀔 수도 있다. 언어(language)가 중요하다는 점은 인정하지만, 특정 용어의 사용을 의무화(mandate)하려는 의도는 없다. 맥락(context) 역시 중요하다는 것을 알기 때문이다. 따라서 Levitt et al.(2018)처럼, 우리는 저자들에게 자신들이 사용하는 용어에 대해 성찰(reflect)하고, 그 용어들이 무엇을 함축(connotes)하는지 고민하며, 자신들의 연구 가치(research values)와 개념적으로 일관된 용어를 사용할 것을 권한다. BQQRG를 통해 우리가 촉진하고자 하는 것은 기계적(mechanistic)·관료주의적(technocratic) 접근이 아니라, 가치 지향적(values-oriented)이고 사려 깊은(thoughtful)—즉 ‘앎(knowing)’을 지니거나 성찰적으로 자각(reflexively aware)하는—질적 실천(qualitative practice)이다. 이런 방식으로 우리는 방법 숭배(methodolatry; Chamberlain 2000)에 맞서, 사려 깊은 실천을 지원하는 도구를 제공하고자 한다.

우리가 생각을 바꿀 수 있다는 가능성은 또 하나의 중요한 점을 제기한다. 만약 학자들, 심사자들, 편집자들이 BQQRG를 좋아하거나 가치 있게 여긴다면, 그것은 독자적인 생명(a life of its own)을 얻게 될 수도 있고, 반대로 잊혀질 수도(disappear into obscurity) 있다. 근본적으로 BQQRG는 특정한 시간과 장소(of a time and place)의 산물이다. 마치 Big Q가 만들어내는 지식처럼, BQQRG 역시 위치적(situated)이고, 부분적(partial)이며, 주관적(subjective)이다.

 

이 가이드라인은 고정된 것이 되어서는 안 되며, 진화할 수 있고 진화해야 한다. 우리가 질적 연구자로서 발전하듯, 그리고 질적 연구의 실천이 발전하듯 말이다. 새로운 접근들이 개발되고, 한때 받아들여졌던 개념들이 문제적이고 시대에 뒤떨어진 것으로 간주되며(Smith and McGannon 2017; Tod, Booth, and Smith 2022), 오래된 접근이 다시 소환되고, 재개발되고, 재배치된다. 우리는 부분적(partial)이며, 알기도 하고 모르기도 하며(knowing and unknowing), 끊임없이 발전·학습·성찰(evolving, learning, reflecting)한다. 우리는 생각을 바꾸고, 실천을 발전시키며, 다른 이들에게서 배우고, 유익한 피드백과 성찰을 받아들인다(Braun and Clarke 2019).

 

따라서, 이 가이드라인은 지금 우리의 위치(where we are at now)를 반영한다. 그러나 이는 변할 수 있고, 실제로 변하기를 바란다. 우리는 스스로 BQQRG를 수정·업데이트할 수도 있으며, 다른 이들이 이 작업을 이어갈 수도 있다—우리가 COREQ와 JARS-Qual에 대한 완전히 Big Q적인 대안(fully and solely Big Q alternative)을 개발하려 했던 것처럼 말이다.

 

 

Introducing the BQQRG

BQQRG (Table 1)는 Big Q Qualitative 원고(manuscript)의 요소들을 제시한다. 우리는 세 개의 열(column)을 제공한다:

  1. Practices to consider – Big Q 접근과 합치되는(practices congruent with Big Q approaches) 실천들,
  2. Practices to avoid – 고려·정당화 없이(defaulting without consideration and justification) 따르지 말아야 할, 피해야 할 실천들,
  3. Notes for reviewers/editors – Big Q에 덜 익숙한 심사자·편집자를 위해 설명이 필요하거나 도움이 될 수 있다고 느끼는 주석(notes).

목록화된 일부 항목들은 기술적(descriptive)이다. 즉, 질적 연구를 보고(reporting qualitative research)할 때 저자가 포함을 고려해야 할 자료(materials)를 명시한다(특정 연구 설계/접근과 관련될 경우). 다른 항목들은 평가적(evaluative)이다. 즉, 저자가 자신의 보고서를 비판적으로 평가하여 방법론적 합치(methodological congruence)와 성찰적 개방성(reflexive openness)을 확보하도록 요구한다.

 

우리는 저자들이 주 원고(main manuscript)에서 포함할 수 없는 경우, 가능한 한 보충자료(supplementary materials)를 활용하여 이 보고 가이드라인을 의미 있게 다룰 것을 권장한다. 우리는 심사자와 편집자에게, 원고 평가를 시작할 때 반드시 자신의 가치(values)와 신념(beliefs)을 성찰(reflect)하고, 이것들이 원고 해석에 어떤 영향을 미치는지를 인식하려 노력할 것을 촉구한다(Tod, Booth, and Smith 2022).

마지막으로, 우리는 독자들에게 BQQRG의 지침을 느슨하게(hold loosely) 다룰 것을 권한다(Gergen 2014 참조). 사려 깊고 전략적(thoughtfully and strategically)으로 BQQRG를 사용하되, 무엇이 ‘위험에 처해 있는지(at stake)’를 인식하고, 이 도구를 ‘신중하게(judiciously)’ 사용할 것을 요청한다(Finlay 2006, 232). 또한 BQQRG가 질적 연구(및 질적 연구 보고) 안의 혁신(innovation)과 다양성(diversity)을 억압하지 않도록 할 것을 당부한다(Goldberg and Allen 2015).

 

 

 

 

 

 

 

 

 

 

 

 

 

Table 1. Big Q Qualitative Reporting Guidelines (BQQRG) for authors, reviewers and editors

1) Writing style (글쓰기 스타일)

  • 권장되는 실천 (Practices to consider, congruent with Big Q approaches):
    • 글쓰기는 성찰적(reflexive), 주관적(subjective), 개인화(personalised), 인간화(humanised), 맥락화(contextualised), 열정적(passionate)이어야 하며(Walsh 2015), 생생하고(lively), 감각적이며(evocative), 독자를 끌어들이는(compelling) 글쓰기를 지향해야 한다(Gilgun 2005).
    • 연구자는 ‘밖에서(out)’ 기술하기보다 ‘안에서(in)’ 참여적으로 글을 써야 한다(Gaddefors and Cunningham 2024).
  • 피해야 할 실천 (Practices to avoid):
    • 객관적(objective), 중립적(neutral), 거리 둔(detached), 맥락 제거된(decontextualised), 수동적(passive), 무관심한(dispassionate) 글쓰기는 피해야 한다.
  • 심사자/편집자를 위한 메모 (Notes for reviewers/editors less familiar with Big Q):
    • Big Q 연구자는 특정한 시공간에서 특정한 입장(standpoint)을 가지고 글을 쓴다. 따라서 연구자는 자신이 다루는 주제(subject-matter)에 대해 부분적(partial)인 설명만을 제시할 수 있다 (Walsh 2015, p.43).

2) Terminology (용어 사용)

  • 권장되는 실천:
    • 연구와 관련 있다면 핵심 용어(key terms)와 개념(concepts)을 명확히 정의하고, 연구자가 선택한 용어를 설명해야 한다. 특히 논쟁이 있는 용어라면 연구자의 선택을 분명히 밝혀야 한다.
  • 피해야 할 실천:
    • 연구 주제/영역과 관련된 문헌이나 커뮤니티에서 이미 문제적이라고 지적된 낙인화(stigmatising), 병리화(pathologising) 용어는 피해야 한다.
  • 심사자/편집자를 위한 메모:
    • 질적 연구에서의 많은 용어는 논쟁적(contested)이다. 중요한 점은 연구자가 특정 지배적 관점(dominant understandings)에 맞추기보다는 자신의 사용(usage)을 설명하는 것이다.

3) Title (제목)

  • 권장되는 실천:
    • 제목은 분석의 주제 영역(topic area)과 중심 이야기(storyline)를 포착해야 하고, 필요하다면 방법론(methodology)까지 반영해야 한다.
    • 독자를 끌어들이고 흥미를 유발하며, 읽고 싶게 만들어야 한다.
    • 검색 가능성을 극대화하려면(discoverability) 첫 부분에 1~2개의 핵심 키워드를 포함하는 것이 좋다.
  • 피해야 할 실천:
    • 축약형(abbreviations)은 피하는 것이 좋다.

4) Abstract and keywords (초록과 키워드)

(저널 플랫폼에 따라 길이 제한이나 키워드 사용이 제약될 수 있음)

  • 권장되는 실천:
    • 논문의 핵심을 요약하고,
    • 연구 주제/질문을 맥락화(contextualise)해야 한다.
    • 이론적 접근(theoretical approach)과 연구 설계/방법론(study design/methodology/practices of inquiry), 참여자(participants)/경험적 자료(empirical materials)를 명시해야 한다.
    • 주요 분석 논지/관찰(main analytic arguments/observations)을 제시하고,
    • 결론/함의를 신호(signalling conclusions/implications)해야 한다.
    • 제목을 넘어 주제, 접근, 연구 방법과 관련된 키워드를 포함해야 한다.
  • 피해야 할 실천:
    • 초록을 양적 실증주의적(positivist-empiricist) 전통에 맞춰, 도입-방법-결과-논의로 기계적으로 구분(segmenting)하는 방식은 피해야 한다(물론 경우에 따라 요구될 수 있음).
  • 심사자/편집자를 위한 메모:
    • 구조화된 초록(structured abstract)은 정보 전달의 방식과 범위를 제한할 수 있다. 그러나 필요하다면 초록 항목을 유연하게 수정/적용하는 것이 좋다. 이는 질적 연구를 합치적으로(congruently) 보여줄 뿐만 아니라, 연구의 본질(essence)을 가장 잘 드러내도록 돕는다.

 

Introduction (서론)

저자는 이 부분의 여러 요소들을 자신의 접근/논문에 가장 적합한 순서로 배열할 수 있다. 만약 제목이 필요하다면, Literature Review보다는 Introduction을 권장한다. 이 부분은 연구의 광범위한 목적(broad purpose)을 드러내야 한다.

Background and rationale (배경과 근거)

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • 연구를 해당 주제에 대한 대화(conversation)에 참여하는 것으로 틀 짓기.
    • 제안된 연구를 위한 탄탄한 맥락(context)과 근거(rationale) 제공.
    • 기존 연구·이론·더 넓은 맥락(사회, 정책, 실천, 정치, 이데올로기 등)을 검토·비평·종합(discussing/reviewing/critiquing/synthesising)하며 연구를 맥락화.
    • 기존 질적 연구(qualitative research)에 깊게 관여.
    • 다른 지식을 부분적(partial)이고 특정한 관점에서 산출된 것으로 위치짓기. 예컨대 양적 연구(quantitative research)처럼 다른 가치 기반에 선 연구를 논의할 때, 방법론적 함의를 함께 고려.
  • 피해야 할 실천 (Practices to avoid):
    • 기존 양적 연구(quantitative literature)를 논의하면서 저자가 (Big Q와 합치되지 않는) 철학적 가정에 동의한다는 인상을 주는 방식.
    • 기존 연구의 방법론적 한계(methodological limitations)를 (포스트)실증주의적 관점에서 중심적으로 비판하며 자신의 연구 정당화의 핵심 근거로 삼는 것(특별한 이유가 없다면).
  • 심사자/편집자를 위한 메모 (Notes for reviewers/editors):
    • 방법론적 비판(methodological critique) 자체(즉, 연구의 한계를 지적하며 “내 연구가 훨씬 낫다”고 주장하는 것)는 일반적으로 Big Q의 핵심 정당화 기법이 아니다. 다만 특정 상황에서는 적절할 수 있다. 예컨대 문제적 가정이나 배제, 용어의 문제를 지적하면서 새로운 주제·분야·방법론을 위한 근거를 제시하는 경우. 그러나 이는 필수 요소(necessary element)는 아니다.

Research question, aims, and/or purpose (연구 질문·목표·목적)

  • 권장되는 실천:
    • 연구 질문·목표를 명확히 진술.
    • 질문과 전체 접근 방식 간 방법론적 합치(methodological congruence)를 보여주기.
    • 논문이 더 큰 연구의 일부라면, 다른 출판물과 연결(linking)하되 이 논문만으로도 독자가 이해할 수 있도록 명확한 초점(clear focus)을 유지.
    • 논문에서 다루는 것과는 다른/더 넓은 연구 질문으로부터 파생된 변화나 세부 조정(shift or refinement)에 대해 논의.
  • 피해야 할 실천:
    • 연구 질문을 가설(hypotheses)이나 “무엇이 발견될 수 있을지(expectations about what might be ‘found’)”에 대한 기대치처럼 공식화.
    • 연구 질문을 변수 간 관계를 측정하는 방식(예: X가 Y에 미치는 효과)으로 공식화.
    • 경험적 질적 연구(experiential qualitative)에서 연구 질문을 연구자의 주관성(subjectivity)을 고려하지 않고, 참여자 경험을 통해 X 현상을 탐색하기보다는 X 현상을 직접 조사하는 식으로 설정.
  • 심사자/편집자를 위한 메모:
    • 데이터셋 분할(splitting a dataset)은 양적 연구에서 ‘살라미 슬라이싱(salami slicing)’이라 불리며 비판받지만(Menon and Muraleedharan 2016), 질적 연구에서는 정당할 수 있다. 즉, 한 질적 연구를 여러 논문으로 발표하는 것이 가능하며, 단 각 논문은 고유한 초점을 가져야 한다(Levitt et al. 2018).

‘Owning your perspectives’ – discussion of theory (이 내용은 Methodology 부분에서 다뤄질 수도 있음)

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • 연구를 이끄는 메타-이론적 전제(meta-theoretical assumptions) 및 이론(예: 설명적, 정치적/이데올로기적 이론)을 포함해 서술.
    • 방법론적 합치(methodological congruence)를 보여주기 – 즉, 패러다임적, 존재론적(ontological), 인식론적(epistemological) 전제와 기타 이론 사이의 일관성을 드러내야 함.
  • 피해야 할 실천 (Practices to avoid):
    • 존재론적/인식론적 불일치(ontological and epistemological incongruence): 예컨대 구성주의(constructionism)를 주장하면서 경험을 있는 그대로 다루고, 언어를 투명한 창(window)으로 취급하는 경우.
    • 객관주의적(objectivist) 혹은 기초주의적(foundationalist) 사고를 암묵적·명시적으로 사용하며, 이를 Big Q와 섞어 사용하는 것. 예: 반성적 주제분석(reflexive thematic analysis)을 사용하지만 데이터 해석이 객관적이고 재현 가능(reliable)하다고 전제하는 경우.
    • 자신이 주장하는 이론적 틀과 불일치하는 개념·용어 사용. 예: 구성주의를 주장하면서 사회인지적(social cognitive) 개념(신체 이미지, 태도 등)에 의존하는 경우.
    • 양적 연구(quantitative research) 전통에서 나온 개념을 이론적으로 중립/초이론적(trans-theoretical)이라 간주하고 그대로 질적 연구에 옮겨오는 것.
    • 연구자의 ‘편향(bias)’을 객관성 위협으로 취급하며 참조.
    • 연구자의 ‘영향력(influence)’을 피할 수 있는 것으로, 대신 필연적이라는 점을 부정하는 방식으로 참조.
    • 연구자의 기존 이해/기대(prior understandings/expectations)를 암묵적으로 전제하면서 이를 당연시하는 것.
  • 심사자/편집자를 위한 메모 (Notes):
    • 연구와 보고는 방법론적 합치/통합성(methodological congruence/integrity)을 보여야 한다 (Levitt et al. 2017). 즉, 이론적 전제, 연구 질문, 방법론, 탐구 관행, 데이터 생성과 분석, 연구 목적 등이 개념적으로 서로 맞아떨어져야 한다.
    • 불일치는 종종 명시된 이론적 전제와 보고 내용의 다른 측면들 간의 불일치에서 발생한다. 예: 언어와 개념 사용(주제 개발, 연구 주체성, 데이터 해석, 데이터 처리, 질 관리 관행 등). 흔히 쓰이는 언어와 관행이 Big Q와 개념적으로 어긋나는 경우가 많으므로, 언어 사용에 민감해야 한다.

‘Owning your perspectives’ – discussion of reflexivity (이 내용은 Methodology 부분에서 다뤄질 수도 있음)

  • 권장되는 실천:
    • 연구자의 전문적·개인적 위치성(professional or personal positioning)과 경험, 혹은 그들의 경험을 형성한 더 넓은 맥락(context)을 논의. 예: 특정 주제·참여자 집단과 관련된 연구자의 경험과 관점이 연구를 어떻게 형성했는지(Lazard and McAvoy 2020).
    • 비판적 성찰성(critical reflexivity)을 보여주기 – 사회적 위치성(social positioning)에 대한 비판적 탐구(interrogation).
  • 심사자/편집자를 위한 메모:
    • 1인칭 글쓰기(first person writing)는 Big Q에 적합한 좋은 관행이다. 이는 연구자를 연구 안에 위치시키는 효과가 있다 (Gaddefors and Cunningham 2024).
    • 연구자의 위치성(positioning)과 ‘자신의 관점을 소유하기(owning perspectives)’는 바람직한 관행이다. 하지만 연구자가 개인적(personal) 정보를 과도하게 드러내야 하는 요구는 부적절할 수 있으며, 오히려 연구자를 곤란하게(discrediting) 만들 수 있다.

‘Owning your perspectives’ – discussion of reflexivity (continued) (이 내용은 Methodology 부분에서 다뤄질 수도 있음)

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • 구조적(structural)·대인관계적(interpersonal) 역동성(dynamics)이 연구와 보고에 어떤 영향을 주었는지 보여주기 (Grzanka & Moradi 2021).
    • 반성적 저널링(reflexive journaling)을 연구 실천에 포함했다면 이를 언급하기.
    • 연구자의 성찰성(reflexivity)·결정 등을 논의할 때 1인칭 글쓰기(first person writing style) 사용.
  • 피해야 할 실천 (Practices to avoid):
    • 연구자의 위치성을 오염/왜곡(contamination/distortion)의 잠재적 원인으로 보는 것.
    • 3인칭 글쓰기(third person writing style)로 연구자 자체를 보고에서 지워버리는 것.
  • 심사자/편집자를 위한 메모 (Notes):
    • 연구자가 낙인(stigmatising)을 경험하거나 소수자 집단(marginalised communities)의 일원일 수 있으므로(Grzanka & Moradi 2021), 성찰성 위치를 특정 방식으로 강제하는 것은 적절하지 않다.
    • Big Q 보고에는 연구자 성찰성(researcher reflexivity)의 이상적인 위치(ideal location)가 없다. 즉, 성찰성이 논문 어디에 나타나야 하는지는 처방적(prescriptive)이어서는 안 된다 (Wu et al. 2016).

Methodology

우리는 섹션 제목으로 Method보다 Methodology라는 이론적으로 포함된(theoretically-embedded) 용어를 선호한다. 정보의 순서는 규범적으로 정해져 있지 않지만, 일반적으로 연구의 근거/접근(rationale/approach)이 설계(design)·절차(procedure)보다 먼저 제시되면 이해가 쉽다. 중복을 피하려면 소제목 사용도 상황에 따라 유연하게(flexibly) 결정하는 것이 좋다.

 

Research design/approach/methodology (때로는 논문 앞부분에 더 잘 위치할 수도 있음)

  • 권장되는 실천:  
    • 연구 설계·접근·방법론을 설명.
    • 해당 설계를 선택한 근거(rationale)를 제시.
    • 다방법/다원적 설계(multi-method or pluralistic design) vs. 단일 설계(single method design)의 개념적 틀을 설명 (예: Chamberlain et al. 2011).
    • 피해야 할 실천:
      • 양적 연구 설계(quantitative designs)를 규범(norm)이나 이상(ideal)으로 암묵적으로 전제하는 것.
    • 심사자/편집자를 위한 메모:
      • 질적 연구에 대해 양적 연구 대비 기본 정당화(default justification)를 요구하는 경우도 있으나, Big Q를 환영하는 맥락에서는 드물다.

Participants/data sources/empirical materials

  • 권장되는 실천:
    • 연구 참여자(participants)·데이터 항목(data items)의 선정(selection)·수(number)을 설명하고, 그 근거(rationale)를 제시.
    • 선정·모집(selection/recruitment) 기준을 설명.
  • 피해야 할 실천:
    • ‘샘플링(sampling)’이라는 용어를 양적 연구와 동일하게 사용해 모집단(population)으로부터 통계적 일반화를 위한 표집으로 오해하게 하는 것.
    • ‘표본 크기(sample size)’ 혹은 ‘데이터 생성 중단 시점(stopping data generation)’을 양적 기준(criteria)에 따라 정당화하는 것.
  • 심사자/편집자를 위한 메모:
    • 질적 연구에서 참여자 수/데이터 항목의 적절성에 대한 합의는 없다.
    • 또한 연구 질문, 방법론, 탐구 실천(practices of inquiry)에 따라 필요한 참여자 수는 달라질 수 있다.

Participants/data sources/empirical materials (continued)

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • 데이터셋의 크기와 범위를 비실증주의(non-positivist) 질적 개념(예: information power, sufficiency)을 근거로 논의하면서, 연구 질문과 목적을 해결할 수 있는 데이터의 질(quality)에 초점을 두기 (Malterud, Siersma & Guassora 2016).
    • 참여자/데이터 항목의 특성과 모집·데이터 생성 맥락을 설명하기.
    • 참여자 연구에서는 참여자 집단을 맥락화(situate the participant group)하는 필요성과 익명성(anonymity)을 균형 있게 고려 (예: 최소한의 인구통계만 보고하거나, 적절히 집계).
    • 연구자와 참여자의 관계를 연구 전·중·후에 걸쳐 설명하고, 그 과정에서 발생한 윤리적 고려사항(ethical considerations)을 기술 (예: 이중 관계, 연구자가 내부자/외부자로서의 위치성).
    • 연구 목적이 참여자에게 어떻게 전달되었는지 설명하고, 주요 용어나 개념의 정의가 있었다면 명시.
    • 가명(pseudonyms)·참여자 코드 사용 시, 선정 방식·근거(rationale)를 포함하여 설명 (Heaton 2022).
    • 기관 차원의 윤리 승인(ethical approval)을 명시.
    • 참여자 연구에서는 사전 동의(informed consent) 과정을 기술.
    • 보상(incentives/compensation)을 제공했다면, 그 이유와 근거를 제시.
  • 피해야 할 실천 (Practices to avoid):
    • 데이터/코드/주제의 포화(saturation)를 통계적 모델처럼 사용하는 것. 이는 Big Q와 개념적으로 맞지 않음 (Braun & Clarke 2021b; Varpio et al. 2017).
    • 참여자별 인구통계 정보를 표(table) 형식으로 제공하여 익명성을 해칠 수 있는 방식으로 제시.
    • 참여자의 익명성을 위협할 수 있는 부적절한 가명·코드 사용.
  • 심사자/편집자를 위한 메모 (Notes):
    • 충분한 참여자 수를 판단하는 것은 해석적·상황적·실용적 판단에 달려 있음. 특히 학생 연구나 비자금 지원 연구에서 두드러짐.
    • 작은 표본을 설명하려 할 때 느껴지는 ‘불안(anxiety)’은 종종 실증주의의 잔재다. 더 크다고 반드시 좋은 게 아니라, 데이터의 질이 중요하다.
    • 숫자·코드가 참여자를 비인간화(dehumanise)할 수 있으므로, 가명 사용이 선호되기도 한다.

Ethical approval and ethical code/principles followed

  • 권장되는 실천:
    • 기관 윤리 승인을 상세히 기술.
    • 참여자 연구에서는 사전 동의 과정(informed consent)을 설명.
    • 제공된 보상/인센티브와 그 근거를 서술.
  • 피해야 할 실천:
    • 참여자 익명성을 위협할 수 있는 방식으로 세부사항을 제공.
    • 연구가 암묵적·무비판적으로 배제적(exclusionary)일 때 (연구의 기여를 제한).
  • 심사자/편집자를 위한 메모:
    • Big Q에서는 윤리 고려사항이 제도적 심사(institutional review)를 넘어 확장되며, 이 섹션은 더 포괄적(expansive)일 수 있다.

Ethical approval and ethical code/principles followed (continued)

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • 연구 설계/사회정치적 맥락(study/design/sociopolitical context)과 관련된 구체적인 윤리적 고려사항(ethical considerations)과 실천(practices)을 논의.
    • 접근성(accessibility)·포용성(inclusion)·형평성(equity)·교차성(intersectionality) 관련 우려가 어떻게 다뤄졌는지 설명.
    • 필요할 경우, 참여자 정보 문서(participant information), 동의서(consent form) 등을 보조자료(supplementary material)로 포함.

Data generation (우리는 수집(collection)·모으기(gathering)보다는 생성(generation)이라는 용어를 선호한다. 이는 연구자의 능동적 역할을 포착하고, 데이터가 연구 이전부터 존재하는 것이 아니라 연구 과정을 통해 데이터가 ‘된다’는 점을 인정하기 때문이다.)

  • 권장되는 실천:
    • 선택한 탐구/데이터 생성 방법(practices of inquiry/data sources)을 설명하고, 왜 이 방법/데이터가 연구 질문·참여자 집단·이론적 틀과 잘 맞는지를 기술.
    • 관련 있다면, 다방법(multi-method) 또는 다원적(pluralistic) 설계 사용 목적·근거 설명 (예: crystallisation, Tracy 2010).
    • 데이터 생성 도구/프로토콜의 개발 과정과 특성을 논의하고, 가능하다면 이를 보조자료로 포함.
    • 파일럿(piloting)을 사용했을 경우, 그 변화·진화 과정을 설명하고 연구 설계에 어떻게 반영되었는지 논의.
  • 피해야 할 실천 (Practices to avoid):
    • 데이터 원천을 삼각검증(triangulation)으로 정당화하며, 이를 사실/진실에 더 근접하기 위한 실재론적(realist)/객관주의적(objectivist) 방식으로 제시.
    • 데이터 생성의 재현성(replicability)을 기준으로 삼는 것.
    • 표준화되지 않은 데이터 생성 방법·맥락·환경을 문제·편향의 원인으로 취급.
    • 표준화(standardisation) 자체를 목적으로, 예를 들어 연구자 훈련을 통한 상호작용적 데이터 생성에만 초점.
    • 데이터 양(quantity)을 데이터 질(quality)과 동일시.
    • 전사(transcription)를 ‘있는 그대로(verbatim)’ 또는 ‘정서법적(orthographic)’이라 언급하면서 추가 설명을 제공하지 않는 것.
  • 심사자/편집자를 위한 메모 (Notes):
    • Big Q 연구는 종종 “늦게, 지연된(delayed), 혹은 늦은(tardy)” 것처럼 보일 수 있다 (Howell 2019). 예컨대 몇 년 전 생성된 데이터를 보고할 수도 있다. 그러나 Big Q에서는 ‘오래된 데이터(older data)’가 거절 사유가 되지 않는다. 새 지식으로 대체되지 않았고 여전히 관련성이 있기 때문이다.
    • 데이터/분석의 시의성(timeliness)과 긴급성(urgency)은 비판적으로 해체되어야 한다. 이는 학문적 규범이 장애 학자(disabled academics) 등 특정 집단에 불리하게 작동하는 방식을 드러낸다.
    • 연구 절차와 실천을 설명할 때, 질적 연구의 ‘어수선함(mess)’을 드러내는 것이 적절하다.

Data generation (continued) (우리는 수집 collection·gathering 대신 generation이라는 용어를 선호한다. 이는 연구자의 능동적 역할을 강조하고, 데이터가 연구 이전부터 존재하는 것이 아니라 연구를 통해 ‘데이터가 된다’는 점을 인정하기 때문이다.)

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • 데이터 생성의 방식(modality)을 기술: 예컨대 화상 인터뷰(video call interviews), 대면 포커스 그룹(in person focus groups), 온라인 설문(online qualitative survey) 등.
      연구의 시점(time frame), 데이터 생성 환경(setting), 절차적 세부사항도 포함.
    • 상호작용적 데이터 생성 과정에서 이루어진 오디오/비디오 녹음(audio/video recording) 및 기타 기록 관행(field notes, 사진, 참여자/연구자 그림 등)을 명시.
    • 어떤 연구자가(interviewer) 또는 어떤 역할(role)이 데이터 생성을 수행했는지 기록.
    • 연구자가 참여자에게 자신의 전문적·개인적 위치성(positioning)이나 동기(motivation)를 사전·중간에 공개했는지, 그리고 그것이 안전했는지 설명.
    • 연구자가 데이터 생성에 가져온 기술(skill)·경험(experience)이 있다면 명시.
    • 개별 데이터 항목의 길이(duration/length), 전체 데이터 항목의 수를 제시. (예: 인터뷰의 평균 길이, 범위; 포커스 그룹, 이야기 완성(story completion) 등).
    • 분석을 위한 데이터 준비 과정: 오디오/비디오 전사(transcription), 전사 기호(notation) 체계(필요 시 보조자료에 전사 키(key) 포함), 개인정보 식별 제거, 오타 수정 여부, 가명·참여자 코드 사용 여부, 발췌문 편집 등.
    • 분석 접근(analytic approach)을 설명하고 정당화.
    • 필요하다면, 접근 방식의 변형(variant) 또는 데이터 지향성(data orientation)을 설명 (예: 귀납적 inductive, 연역적 deductive).
  • 피해야 할 실천 (Practices to avoid):
    • 단순히 전사본 페이지 수(transcript page numbers)만 제시하고 더 이상의 설명 없음.
    • 데이터가 편집되었거나 ‘정리(cleaned up)’되었음에도 이를 명시하지 않는 것.
    • 참여자 검증(participant validation)을 전사 정확성(accuracy) 확인으로만 제시.
    • 데이터 생성 시점·장소를 지나치게 상세히 기록하여 참여자의 익명성을 해치는 것.
  • 심사자/편집자를 위한 메모 (Notes):
    • 투명한 연구(transparent research)는 연구의 예상치 못한 난관과 변화가 어떻게 시간이 지나면서 전환되었는지를 드러내는 것과 관련된다 (Tracy 2010).

Data analysis procedures

  • 권장되는 실천:
    • 분석 접근(analytic approach)을 설명하고 정당화.
    • 필요하다면, 사용한 접근 방식의 변형(variant)과 데이터 지향성을 구체적으로 기술 (예: 귀납적 inductive, 연역적 deductive).
  • 피해야 할 실천:
    • 단순히 일반적 특성(generic characteristics)만 언급 (예: 접근이 “접근 가능하다, 유연하다” 등) 하고, 그것이 해당 연구와 어떻게 관련 있는지를 설명하지 않는 것.
  • 심사자/편집자를 위한 메모:
    • Big Q에서는 단일 코더/분석가(one coder/analyst)도 전혀 문제가 되지 않는다. 이는 연구의 타당성(validity)에 위협이 되지 않는다.
    • QDAS(Qualitative Data Analysis Software) 사용은 필수가 아니다.

Data analysis procedures (continued)

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • Describing who (author or role) analysed the data;
    • 분석이 협력적(collaborative)일 경우, 이것이 연구자의 성찰성(reflexivity)/통찰(insight)에 어떻게 기여했는지 논의.
    • 확립된 분석 접근법을 사용했다면, 연구자가 분석 과정에 어떻게 참여했고, 분석이 어떻게 발전되었는지 설명.
    • 분석 접근법을 수정하거나(tweaking), 보완하거나(supplementing) 했을 경우, 어떤 절차를 변경했고 왜 그렇게 했는지 기술.
    • 필요하다면 보조자료(supplementary material)를 활용하여 분석 과정을 더 충분히 설명.
    • 연구자의 역할을 보여주는 언어 사용: 예를 들어 반성적 주제분석(reflexive TA)에서는 연구자가 주제를 생성·구성·창조·발전시키는 능동적 역할을 수행함을 언어로 드러냄.
    • 사용한 소프트웨어(QDAS)를 명시.
    • 분석 과정에서 도구나 방식이 변했을 경우(예: QDAS → 수기 작업), 그 이유와 전환으로 얻은 것/잃은 것을 성찰적으로 논의.
    • 필요하다면, 분석을 안내한 이론의 역할을 논의 (예: “연구자의 안경(the analyst’s reading glasses)”으로서 이론이 어떻게 분석을 비추었는지; Malterud 2001).
  • 피해야 할 실천 (Practices to avoid):
    • 확립된 분석 접근법에 추가 절차(supplementary procedures)를 덧붙였음에도 이를 설명하거나 근거를 제시하지 않는 것 (예: 6단계 반성적 주제분석에 코드북(codebook) 생성을 ‘덧붙임’).
    • 상호코더 합의(inter-coder agreement) 또는 합의적 코딩(consensus coding)을 정확성/신뢰도 지표로 사용하는 것.
    • 확립된 방법론을 단순히 브랜드명(brand names)으로만 언급하고, 구체적으로 어떻게 사용했는지 설명하지 않는 것 (Tuval-Mashiach 2017).
    • 절차적 언어(procedural/technical description)만 나열하고, 실제 연구에서 방법이 어떻게 사용되었는지를 논의하지 않는 것.
    • 부적절한 언어 사용: 예컨대 반성적 주제분석(reflexive TA)에서 주제를 데이터 속 ‘실재하는 것(real things)’처럼 취급하며, 연구자가 단순히 그것을 발견했다고 암시하는 경우 (Braun & Clarke 2016).
    • 다른 방법론에서 가져온 언어·개념을 사용하면서도, 그 출처나 맥락을 설명하지 않는 것 (예: 해석적 현상학적 분석(IPA)에서의 상위 주제(emergent/superordinate themes), 라인별 코딩(line-by-line coding), 지속적 비교(constant comparison) 등).

Quality practices

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • Big Q 관점에서의 품질 실천(quality practices)을 다루기. 여기에는 데이터셋, 참여자 집단, 연구 설계·접근·절차의 한계(limitations)를 반성적으로 논의하는 것도 포함.
  • 피해야 할 실천 (Practices to avoid):
    • 포스트실증주의적(postpositivist) 품질 기준을 적용하는 것: 예컨대 삼각검증(triangulation, “더 정확한 진실에 가까워지기”를 목적으로), 연구팀 내 합의(consensus), 다른 연구자의 분석 확인(corroboration).
    • 근본주의적(foundationalist) 참여자 확인(member checking)을, 맥락 없이 “진실 검증”으로 사용하는 것.
  • 심사자/편집자를 위한 메모 (Notes):
    • Big Q에서 적절한 품질 실천은 다양할 수 있으며, 항상 필요한 것은 아님. 예: 참여자 성찰(member reflections), 결정화(crystallisation; Tracy 2010), 다른 연구자가 비판적 친구/거울 역할을 수행하는 것(Morrow 2005; Smith & McGannon 2017).
    • 반성적 글쓰기(reflexive journaling)도 품질 강화에 도움 됨.

Analysis (우리는 Findings/Results 대신 Analysis라는 제목을 선호한다. Findings는 연구자가 “발견했다/식별했다”는 뉘앙스를 주고, Results는 통계적 분석 산출물과 강하게 연관되기 때문이다. Analysis는 인간 현상에 대한 해석이 본질적으로 논쟁적(contestable)임을 드러낸다.)

Structure, number, and names of patterns/themes/categories/discourses/narratives (etc.)

  • 권장되는 실천:
    • 분석 구조(analytic structure)를 명확히 보고.
    • 논문의 길이에 맞는 적절한 패턴/주제/범주/담론/서사를 제시하여, 분석을 충분히 깊이 있게 보여주기.
  • 피해야 할 실천:
    • 지나치게 파편화되거나 모호한 구조.
    • 논문 길이에 비해 너무 많은 패턴/주제 등을 보고하는 것.
    • 코딩 연구에서 코드 수(예: 주제당 코드 수)를 타당도 지표처럼 제시.
  • 심사자/편집자를 위한 메모:
    • 패턴(주제 등)의 이름은 재미있고, 도발적이고, 독자를 끌어들이는 방식으로 지을 수 있음.
    • 짧은 데이터 인용(quotation)이나 패러프레이즈가 패턴 이름에 사용되기도 하는데, 이는 흔한 일이며 패턴의 핵심을 잘 포착할 때 특히 유용함.

Overview of, or introduction to, analysis, if relevant

  • 권장되는 실천:
    • 분석의 개관(overview)을 포함하거나, 패턴 등을 보여주는 분석 지도(map), 표(table), 시각화를 활용.
    • Analysis 섹션 소제목과 패턴 이름을 일관되게 맞추어 사용.
  • 피해야 할 실천:
    • Analysis 섹션 제목이, 실제 보고된 패턴과 연결되지 않고 뜬금없는 경우.
    • 미리 제시된 분석 구조와 맞지 않는 결과 패턴을 제시하는 것.

Theme/category/discourse/narrative (etc.) conceptualisation, where relevant

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • 분석 접근법과 일치하는 패턴/주제 등의 개념화(conceptualisation) 사용 (예: 반성적 주제분석[reflexive TA]에서 ‘주제(theme)’는 중심 조직 개념과 보고된 공유된 의미를 가짐).
    • 패턴/주제 등의 개념화에서 발생하는 차이를 설명/정당화하여 방법론적 일관성(methodological congruence)과 맞추기.
  • 피해야 할 실천 (Practices to avoid):
    • 패턴 개념화와 방법론적 접근의 불일치(예: 방법론에서 설명된 것과 실제 보고된 것 사이 불일치).
    • 단순한 주제 요약을 반성적 TA의 ‘주제’라고 부르는 것.
  • 심사자/편집자를 위한 메모 (Notes):
    • 질적 연구에서는 동일한 이름(예: theme, discourse)을 사용해도, 그것들이 개념화되는 방식은 매우 다양함.
    • 따라서 “주제(theme)”가 무엇인지, 연구자마다 다르게 정의될 수 있음을 이해해야 함.

Analytic depth

  • 권장되는 실천:
    • 분석적 내러티브(analytic narrative)를 제공하여 데이터 발췌(data extracts)가 의미하는 바와 중요성을 설명하고, 연구자의 해석을 제시. (단, ‘데이터는 스스로 말하지 않는다’는 원칙에 의해 연구자의 해석이 필수적).
    • 풍부한 서술적/해석적 이야기로 데이터를 설명.
  • 피해야 할 실천:
    • 패턴/주제의 빈도 수(frequency counts)를 보고하는 것.
    • 연구 질문을 그대로 ‘주제’로 보고하는 것.
    • 지나치게 얇고 단일 차원의 패턴을 제시하는 것.
    • 데이터를 단순 요약(paraphrase)하는 것.
    • 해석을 자명(self-evident)하다고 다루는 것.
    • 데이터를 ‘논박(arguing with the data)’하려는 태도. Big Q의 목표는 옳고 그름이 아니라 데이터의 의미를 탐구하는 것임.
  • 심사자/편집자를 위한 메모:
    • “semi-quantification”(Neale, Miller & West 2014) — 예: ‘몇몇(few)’, ‘어떤(some)’, ‘많은(many)’과 같은 모호한 수량 표현 — 은 경우에 따라 적절할 수 있지만 필수 기준은 아님.

Use of data extracts, where relevant

  • 권장되는 실천:
    • 데이터셋에서 충분한 수와 범위의 데이터 발췌(data extracts)를 제시하여 분석적 주장을 설득력 있게 뒷받침.
  • 피해야 할 실천:
    • 패턴을 제시하면서 데이터셋 전체를 대표하지 않는 소수의 참여자 발췌만 제시하는 것(합당한 설명 없이).
  • 심사자/편집자를 위한 메모:
    • 추가 발췌와 분석은 보조 자료(supplementary materials)에 포함될 수 있음 (Levitt et al. 2017).
    • 발췌와 분석적 내러티브의 균형은 선택한 방법론/분석 접근에 따라 달라짐.

Table 1. (Continued)

Use of data extracts, where relevant (continued)

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • 데이터 발췌(data extracts)를 적절히 소개하고 맥락화하여 독자가 그 내용을 이해할 수 있도록 하기.
    • 데이터 발췌와 분석적 내러티브 사이의 일관성(congruence)을 보여주기.
    • 분석적 내러티브와 증거 자료(데이터 발췌)의 비율을 적절히 균형 있게 조정하기.
    • 데이터 발췌를 적절히 익명화(anonymising)하기.
    • 분석을 이끄는 (메타)이론적 개념과 언어의 사용이 연구 접근법과 일관되도록 하기.
  • 피해야 할 실천 (Practices to avoid):
    • 분석적 주장을 뒷받침할 데이터 발췌 없이 연구 요약만 제시하는 것.
    • 매우 짧은 분석 개요 한두 문장만 쓰고, 이어서 여러 데이터 발췌를 단순 나열하는 것(충분한 분석적 설명 없이). → 이런 경우 독자가 ‘끝없는 데이터의 바다에 빠지는’ 느낌을 받게 됨 (Chenail 1995).
    • 데이터 발췌에 충분한 맥락화를 하지 않아 문자 그대로의 의미가 불분명한 것.
    • 분석 주장과 데이터 발췌 사이 불일치 (데이터가 주장을 설득하지 못하는 경우).
    • 주장된 이론/접근과 언어 사용 사이의 불일치 (예: 구성주의를 표방하지만 언어를 ‘경험에 대한 투명한 창’으로 다룸; Hall 1997 참조).
    • 데이터 발췌에 참여자 익명을 해칠 수 있는 정보가 포함된 경우.
    • 데이터/‘결과(Results)’와 해석을 분리하는 것.
    • 해석 없이 단순한 기술/요약(description/summary)만 제시하는 것.
  • 심사자/편집자를 위한 메모 (Notes):
    • 데이터 발췌는 두 가지 방식으로 활용될 수 있음:
      1. 예시적(illustrative)으로 사용 – 분석적 주장의 일반적인 사례를 보여주며, 다른 예시로 대체 가능.
      2. 분석적(analytical)으로 사용 – 특정 발췌의 특징을 해설하며 분석을 전개. 이 경우 보통 적은 수의 발췌를 쓰지만 더 많은 분석적 내러티브가 동반됨.

Integration of analysis with existing research and theory

  • 권장되는 실천:
    • 기존 연구와 이론을 활용하여 분석을 맥락화(contextualise)하고, (잠재적으로) 데이터 해석을 심화하기.
    • 이때 이론은 주로 개념적 또는 메타이론적(ontology/epistemology 수준) 차원에서 쓰이는 것이 아니라, 분석적 논의를 강화하는 데 기여해야 함.
  • 피해야 할 실천:
    • 기존 문헌과의 연결 없이 데이터를 단순 요약(summary)하는 것.
    • 데이터/‘결과’와 해석을 분리하여 기술하는 것.
  • 심사자/편집자를 위한 메모:
    • Big Q에서는 분석(Analysis) 섹션이 단순한 “결과 보고(results)”가 아니라, 기존 문헌과 연결하여 결과를 논평(commentary)하는 자리임.
    • 즉, 데이터 발췌와 해석, 기존 연구를 함께 엮어내는 것이 바람직함.

Integration of analysis with existing research and theory (continued)

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • 단순히 존재론/인식론 수준(meta-theory, ontology/epistemology)이 아니라, 데이터를 해석하는 데 도움을 주는 설명적 틀(explanatory frameworks)과 개념들(예: healthism, resilience, consent)을 활용하기.
    • 해당되는 경우, 이런 연구와 이론을 분석적 내러티브 속에 엮어내기.
  • 피해야 할 실천 (Practices to avoid):
    • (예: Riley 2023)에서 말하듯, 단순히 실험적 연구 보고서와 같은 방식으로 쓰는 것.
  • 심사자/편집자를 위한 메모 (Notes):
    • Analysis에서 다루는 문헌은 반드시 Introduction에서 언급된 문헌과 일치할 필요가 없음.

Discussion/Conclusion 이 섹션의 범위는 이전 Analysis 섹션에서 ‘결과(results)’와 ‘논의(discussion)’가 얼마나 통합되었는지에 따라 달라짐. 이미 다룬 내용을 반복하기보다는, 글 전체의 논지를 더 발전시키는 데 초점을 맞추는 것이 권장됨.

Analytic conclusions and contributions

  • 권장되는 실천:
    • 여러 패턴(patterns 등)을 가로지르는 분석적 결론을 도출하기.
    • 연구가 기존 연구와 이론에 기여한 바를 설명하고, 이를 학문적·사회적 맥락 속에 위치시키기.
    • 이 연구를 통해 우리의 지식이 어떻게 변화했는지, 즉 특정 주제에 대한 이해가 어떻게 확장·변화했는지 반영하기.
  • 피해야 할 실천:
    • 각 패턴(pattern 등)에 대응하는 결론을 단순 나열하고, 전체적인 분석적 이야기나 통합적 결론을 제시하지 않는 것.
  • 심사자/편집자를 위한 메모:
    • 참고하는 문헌은 Introduction에 등장한 것에 국한되지 않으며, 실제로는 다른 문헌이 활용되는 경우가 많음.

Study evaluation/reflection

  • 권장되는 실천:
    • 연구 맥락, 과정, 결과, 잠재적 영향에 대한 총체적 성찰(reflexive consideration)을 포함하기.
    • 연구 설계, 절차, 연구 관행의 강점과 한계를 솔직하게 드러내며 반성적으로 논의하기.
  • 피해야 할 실천:
    • “샘플이 작다(small), 대표성이 없다(nonrepresentative)”와 같은 양적 연구 중심의 평가 기준으로 정리하는 것.
  • 심사자/편집자를 위한 메모:
    • Big Q 입장에서는 연구 평가/반성에 다음과 같은 요소들이 포함될 수 있음:
      • 참여자 그룹/데이터셋의 특성과 맥락.

Study evaluation/reflection (continued)

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • 연구 탐구 과정(inquiry), 절차(procedures), 연구자의 결정(decisions) 등을 연구 범위(scope)와 연구 자체의 한계(parameters)에 맞추어 성찰(reflexivity)하기.
    • 연구자 성찰(researcher reflexivity)에 대한 별도 논의가 없는 경우, 이 섹션에서 연구자의 역할과 지식 생산에 미친 영향에 대해 반영하기.
    • 같은 참여자 집단(participant community)과 함께 일하는 다른 연구자들이 같은 탐구 관행(practices of inquiry)을 통해 연구와 분석으로부터 무엇을 배울 수 있는지 고려하기.
    • 질적 연구의 일반화 개념(qualitative conceptions of generalisability)(예: Smith 2018)을 사용하기.
  • 피해야 할 실천 (Practices to avoid):
    • 일반화 부족(lack of generalisability)을 연구의 약점으로만 다루고, 이를 통계적 일반화(statistical generalisability) 개념으로 은연중에 축소시키는 것.
    • 연구자의 편향/영향(bias/influence)을 ‘오염(contamination)’ 또는 ‘객관성에 대한 위협(threat to objectivity)’으로 한정하여 한계로만 언급하는 것.
  • 심사자/편집자를 위한 메모 (Notes):
    • 어떤 방법과 방식(methods and modalities)이 데이터를 형성했는가?
    • 연구자들이 데이터를 어떻게 형성했는가?
    • 연구의 잠재적인 전이 가능성(transferable implications)은 무엇인가?

Researcher reflexivity

  • 권장되는 실천:
    • 연구 과정과 관행 속에서 연구자의 역할을 성찰(reflecting)하기.
    • 필요하다면 추가적인 연구자 성찰(further reflexivity)을 포함하기.
  • 피해야 할 실천:
    • 연구에 영향을 준다고 단순히 나열하는 식의 ‘세탁목록(laundry list)’식 정체성 위치(identity positions) 나열.
    • 연구자의 편향/영향을 오염(contamination) 또는 객관성 위협(threat to objectivity)으로 불러일으키는 것.
    • 연구자가 연구에 영향을 미쳤을 수도(may) 있다는 식의 표현(즉, ‘if influenced’)으로 논의하는 것.
  • 심사자/편집자를 위한 메모:
    • Big Q에서는 연구자의 영향(influence)은 본질적으로 존재하는 것으로 간주됨.
    • 따라서 문제는 연구가 ‘영향을 받았는지 여부(whether)’가 아니라 ‘어떻게(how)’ 영향을 받았는가임.
    • 영향에 대해 ‘if’를 사용하는 것은 영향이 없을 수도 있다는 전제를 함축하며, 이는 연구자와 연구 사이의 분리를 가능하고 이상적이라고 보는 시각을 드러낼 수 있음.

 

Implications for future research, policy and practice, where relevant
미래 연구, 정책, 실천에 대한 함의 (해당되는 경우)

  • 권장되는 실천 (Practices to consider, congruent with Big Q):
    • 근거 기반(evidence-based) 제안하기 (가능하다면). 예: 다른 집단(groups)이 잠재적으로 다른 경험/관점을 가지고 있다는 근거를 제공.
    • 실천(practice)과 ‘실질적인(actionable)’ 결과에 대한 함의 논의하기 (Sandelowski & Leeman 2012).
  • 피해야 할 실천 (Practices to avoid):
    • 단순히 ‘다른 집단/커뮤니티에도 연구가 필요하다’는 식의 ‘laundry list’ 나열.
  • 심사자/편집자를 위한 메모 (Notes):
    • Big Q 연구는 전체 모집단 지식(complete-population knowledge)이나 맥락이 없는 일반화(uncontextualized generalisability)를 목표로 하지 않음.
    • 따라서 ‘이 주제를 다른 집단/커뮤니티에서도 연구해야 한다’는 제안은 본질적으로 타당하지 않음.

각주 (Footnotes)

  1. 이 표에는 약간의 서식 불일치(formatting inconsistencies)가 있을 수 있음. 가능한 한 읽기 쉽고 일관되게 만들기 위해 최선을 다했으며, 최종 버전에서는 이러한 불일치를 수정할 예정.
  2. 여기서 사용된 섹션 소제목은 학술지 논문용 권장 제목이 아님. BQQRG의 구조적 제시를 위해 사용했을 뿐임. 논문, 학위논문 등 다양한 형식에도 적용 가능하도록 설계됨.
  3. *etc.*는 ‘다른 가능성도 존재함’을 알리기 위해 사용되며, 열거가 완전하지 않음을 의미.
  4. ‘첫 번째 용어 + etc.’의 조합은 전체 열거를 반복하지 않기 위한 단축 표현으로 사용됨.
  5. 연구자의 개인적 위치(personal positioning)는 연구자가 안전하다고 느낄 경우에만 공유해야 함. 개별 연구자의 프라이버시를 보호하는 차원임.
  6. 일부 연구에서는 서술적(narrative) 스타일이 인구학적 특징을 보고하는 데 적합할 수 있음. 상황에 따라 요약 표(summary table)가 더 적합할 수도 있음.
  7. 반복적인 나열을 피하기 위해 patterns (etc.)라는 용어를 표 전체에서 사용함.

'논문 읽기 (with AI)' 카테고리의 다른 글

[AHSE] 8 구술시험 (Oral Examinations)  (0) 2025.10.04
[AHPE] 7 서술형 및 선택형 문항의 고품질 작성법  (0) 2025.10.04
말이 통하지 않을 때: 질적 인터뷰를 위한 혁신적 유도 기법에 대한 통합적 검토 (Med Educ. 2025)  (0) 2025.09.26
의학 교육에서 전문직 정체성 형성을 위한 중재에 대한 비판적 검토 (Acad Med. 2022)  (0) 2025.09.24
모순과 기회: 전문적 정체성 형성과 역량 기반 의학 교육의 조화 (Perspect Med Educ. 2023)  (0) 2025.09.23

+ Recent posts

티스토리툴바