“정말 자신 있게 틀리기”: 방법론적으로 부조화한 동료 심사 피드백에 대한 질적 연구자들의 경험 (Qualitative Psychology, 2025)

Meded 2026. 2. 5. 10:48

2026. 2. 5. 10:48

“Being Really Confidently Wrong”: Qualitative Researchers’ Experiences of Methodologically Incongruent Peer Review Feedback

Victoria Clarke , Virginia Braun, Jeffery Adams, Jane E. M. Callaghan, Andrea LaMarre, Joanna Semlyen

Clarke, V., Braun, V., Adams, J., Callaghan, J. E. M., LaMarre, A., & Semlyen, J. (2025). “Being really confidently wrong”: Qualitative researchers’ experiences of methodologically incongruent peer review feedback.Qualitative Psychology, 12(1), 7–24. https://doi.org/10.1037/qup0000322

"리뷰어님, 정말 자신 있게 틀리셨네요?" 🤦‍♀️ 질적 연구자를 괴롭히는 황당한 동료 심사 경험

안녕하세요! 오늘은 질적 연구(Qualitative Research)를 하시는 분들이라면 무릎을 탁 치며 공감할만한, 아니 어쩌면 읽다가 혈압이 조금 오를 수도 있는 흥미로운 논문을 하나 소개해드리려고 해요.

연구를 마치고 설레는 마음으로 저널에 투고했는데, 돌아온 동료 심사(Peer Review) 결과가 내 연구의 철학이나 방법론과는 전혀 맞지 않는 엉뚱한 지적들로 가득했던 경험, 혹시 있으신가요?

오늘 소개할 논문의 제목부터 심상치 않습니다. 바로 <“정말 자신 있게 틀리기”: 방법론적으로 부조화한 동료 심사 피드백에 대한 질적 연구자들의 경험> 입니다.

연구진은 트위터에서 "리뷰어들이 질적 연구를 이해하지 못한다"는 불만을 토로하다가, "이거 우리만 겪는 문제가 아니구나!"를 깨닫고 본격적인 연구를 시작했다고 해요. 전 세계 163명의 질적 연구자들의 목소리를 담은 이 논문, 핵심 내용을 함께 살펴볼까요? 🔍

1. 도대체 뭐가 문제인가요? : 방법론적 부조화 (Methodological Incongruence)

이 논문에서 가장 중요하게 다루는 개념은 바로 방법론적 부조화(Methodological Incongruence)입니다. 쉽게 말해, 질적 연구의 고유한 가치와 철학을 무시하고, 엉뚱한 기준(주로 양적 연구의 기준)을 들이대는 것을 말해요.

연구진은 이를 이렇게 정의합니다.

우리는 (방법론적) 부조화(Incongruence)라는 용어를 저자의 연구 가치 및 방법론(Methodology)—이는 그들의 연구가 위치한 더 넓은 지식 프레임워크(Frameworks)를 포함합니다—과 일치하지 않는 동료 심사자(Peer reviewer) 및 편집자의 코멘트를 지칭하기 위해 사용합니다.

We use (methodological) incongruence to denote peer reviewer and editor comments that do not align with the authors’ research values and methodology, which includes the broader knowledge frameworks within which their work is situated.

즉, 축구 경기(질적 연구)를 하는데 심판이 야구 규칙(양적 연구 기준)을 들고 와서 "왜 배트를 안 휘두르냐"고 따지는 상황인 거죠. 😅

2. "샘플이 너무 작아요!" : 부적절한 보편화 (Inappropriate Universalization)

연구 참여자들의 가장 큰 불만은 리뷰어들이 양적 연구(Quantitative Research)나 후기 실증주의(Postpositivism)의 잣대를 질적 연구에 강요한다는 점이었어요. 이것을 논문에서는 부적절한 보편화(Inappropriate Universalization)라고 부릅니다.

가장 흔한 지적들은 이런 것들이었어요.

"표본 크기(Sample size)가 너무 작아서 일반화할 수 없다." (질적 연구는 원래 일반화가 목적이 아닌데 말이죠!)
"코딩의 신뢰도(Reliability)를 검증할 수 있는 통계 수치를 가져와라."
"데이터를 정량화(Quantification)해서 빈도를 보여달라."

이런 리뷰어들의 태도를 연구진은 아주 날카롭게 꼬집습니다.

수십 년간의 질적(Qualitative) 학문 연구(Scholarship)에도 불구하고, 이 리뷰어들은 여전히 양적/후기 실증주의적(Quantitative/postpositivist) 규범을 보편화하여 질적 학문 연구를 본질적으로(Inherently) 방법론적으로 불충분한 것으로 구성(Construct)하는 것으로 보입니다.

Despite decades of qualitative scholarship, these reviewers appear to still universalize quantitative/postpositivist norms to construct qualitative scholarship as inherently methodologically insufficient.

3. 연구자들의 고충: 권력 역학(Power Dynamics)과 감정 노동

이런 말도 안 되는 리뷰를 받으면 연구자들은 어떻게 반응할까요? 화가 나지만, 논문을 출판해야 하는 '을'의 입장이기에 울며 겨자 먹기로 따르거나, 엄청난 에너지를 쏟아 리뷰어를 설득해야 합니다. 😭

특히 신진 연구자(ECR)들의 경우, 이런 경험이 연구 의욕을 꺾거나 심지어 '가면 증후군(Impostor Syndrome)'을 느끼게 만들기도 한다고 해요. 한 참여자의 말이 너무 짠하네요.

동료 심사(Peer review)는 좋을 때는 좋지만, 나쁠 때는 종종 나쁩니다. 왜냐하면 기본적으로 리뷰어/편집자들에게 '질적 연구 개론(Qual 101)'을 가르치는 셈이고 그것은 극도로 지루하기 때문입니다. ... 당신은 그저 어떤 리뷰어의 손을 잡고 질적 연구(Qualitative research)의 기초를 안내하고 있으며 모두의 시간이 낭비되고 있습니다.

Peer review is good when it’s good, but it’s often bad because you’re basically just teaching Qual 101 to reviewers/editors and it’s extremely boring. ... you’re just handholding some reviewer through the basics of qualitative research and everyone’s time is wasted.

4. 그래서 어떻게 해야 할까요? : 제언 (Recommendations)

이 논문은 단순히 불평만 늘어놓는 게 아니라, 질적 연구 심사의 무결성(Integrity)을 지키기 위한 구체적인 제언을 내놓습니다.

👩‍🏫 편집자(Editors)에게: "아무 리뷰어나" 쓰지 말고, 해당 방법론에 전문성(Expertise)이 있는 리뷰어를 섭외하세요. 그리고 리뷰어가 헛소리(?)를 하면 편집자가 중간에서 개입해야 합니다!

편집자들은 일부 리뷰어들의 포화(Saturation)나 일반화 가능성에 대한 제안(Suggestions)이 그냥 명백히 틀렸다는 것을 더 강력하게 명시해야 하며—이것을 리뷰어들에게 말해줘야 합니다!!!

editors need to be stronger in stating that suggestions of saturation or generalisability by some reviewers is just plain wrong—and tell reviewers this!!!

🕵️‍♂️ 리뷰어(Reviewers)에게: 자신의 전문 분야가 아니라면 솔직하게 인정하고 거절하거나, 모르는 부분에 대해서는 코멘트를 자제해 주세요. "정말 자신 있게 틀리지(Confidently wrong)" 말고요!

마치며

이 논문은 질적 연구자들이 겪는 부조리함을 시원하게 긁어주면서도, 학계가 나아가야 할 방향을 명확히 제시하고 있습니다. 여러분도 혹시 "자신 있게 틀린" 리뷰를 받아본 적이 있으신가요?

그럴 때마다 너무 좌절하지 마세요. 여러분의 연구가 잘못된 게 아니라, 심사 시스템의 방법론적 부조화(Incongruence) 때문일 수 있으니까요. 우리 모두 "방법론적 무결성"을 지키며 꿋꿋하게 연구해 나가요! 💪

이 논문(Article)은 저희 중 한 명이 트위터(Twitter, X)에서 리뷰어들이 질적 연구(Qualitative research)를 "이해하지 못하는(not getting)" 것에 대해, 그리고 우리가 제출한 연구의 방법론적 접근과 일치하지 않는(Incongruent) 수정을 요구하는 것에 대해 좌절감(Frustration)을 토로했던 대화에서 발전했습니다. 이러한 좌절감은 우리만의 것이 아니었습니다! 활발한 대화 끝에, 우리는 질적 연구의 동료 심사(Peer review) 과정에서 발생하는 부조화(Incongruity)에 대해 더 엄밀한 탐구가 필요하다고 판단했고, 널리 공유된 문제로 보이는 것을 이해하기 위한 프로젝트를 시작했습니다. 저자들의 동료 심사 경험과 부적절한 동료 심사 관행에 대한 대부분의 연구는 과학, 기술, 공학, 수학 학문 분야(Disciplines)에 집중되어 있거나(Atjonen, 2019), 자연과학/양적 연구(Hard sciences/Quantitative research)와 호환되는 동료 심사 모델만을 암묵적으로 적용하고 있으며(e.g., Allen et al., 2019), 질적(Qualitative) 연구자들의 동료 심사 경험이나 열악한 심사 관행에는 거의 관심을 기울이지 않았습니다.

(질적 연구의) 동료 심사 — 뿌리 깊게 자리 잡았으나 망가졌는가?
Peer Review (of Qualitative Research)—Entrenched but Broken?

동료 심사는 지식 생산의 질을 보장하고 신뢰성을 강화하는 것으로 이해되는 학술(Academic) 출판의 초석입니다(Tennant & Ross-Hellauer, 2020). 그러나 동료 심사(Peer review)에 결함이 있다는 것은 이미 널리 인정되고 있습니다. 너무 많은 논문(Articles)에 비해 이를 심사할 전문가는 너무 적다는 도전(Challenge)(Rodríguez-Bravo et al., 2017)뿐만 아니라, 이 과정은 자원 집약적이며(Aczel et al., 2021), 투명성(Transparency)이 부족하고(O’Brien et al., 2021), 불공평하며(Steinberg et al., 2018), 때로는 적극적으로 적대적이기까지 합니다(Mavrogenis et al., 2020). 저자들의 동료 심사 경험에 관한 연구는 저자들, 특히 신진 학자들(e.g., Horn, 2016; Watling et al., 2023)과 소외된 집단 출신의 학자들(e.g., Silbiger & Stubler, 2019)에게 동료 심사가 끼치는 해악을 강조해 왔습니다. 입증된 부적절한 동료 심사 관행에는 수준 이하의, 모순적이며, 파괴적인 피드백(Feedback)(Atjonen, 2018)과 리뷰어나 편집자의 개인적 편향(Biases) 또는 서로 다른 학파에 기반한 피드백이 포함됩니다(McCloskey & Merz, 2022; Overall, 2015). 저자들은 부적절한 동료 심사 관행이 적어도 부분적으로는 잘못 선정된 리뷰어들(Jamali et al., 2020)과 저자의 방법론 및 패러다임(Paradigms)에 대한 친숙성(Familiarity) 부족을 포함한 리뷰어의 역량(Competence) 결핍으로 설명된다고 인식합니다(Atjonen, 2018, 2019; Watling et al., 2023). 문제가 있는 동료 심사는 저자들이 논문 게재를 위해 자신이 동의하지 않거나 부정확하다고 생각하는 변경 사항을 수정하도록 이끌 수 있습니다(McCloskey & Merz, 2022; Overall, 2015). 이 시스템을 망가진 것으로 묘사하며, Overall (2015, p. 287)은 학계에 "학술 저널 심사 과정의 쇠약하게 만드는 문제들을 수정(Correcting)하는 데 집중할 것"을 촉구했습니다. 우리의 논문은 질적(Qualitative) 연구자의 경험에 내재된 문제를 이해하는 것을 넘어, 질적 연구 동료 심사의 방법론적 무결성(Methodological integrity)(Levitt et al., 2017)을 지원하기 위한 자원을 개발함으로써 그 수정(Correction)에 기여하고자 합니다(see also Levitt et al., 2021).

이 문제는 새로운 것이 아닙니다. 20년 전, 동료 심사(Peer review)가 처음인 학자들을 지도하던 한 노련한 의학 저널 편집자는 질적(Qualitative) 논문 심사를 의뢰받은 이들에게 다음과 같이 조언했습니다. "첫째, 당신의 전문성(Expertise)이 질적 연구(Qualitative research)에 있지 않다면 이를 분명히 하십시오"(Clark, 2003, p. 228, 강조 추가). Clark의 조언은 현재 훌륭한 동료 심사 관행에 대한 논의(e.g., Spigt & Arts, 2010; J. Taylor & Bradbury-Jones, 2014)와 출판 윤리 위원회(Committee on Publication Ethics Council, COPE, 2017) 지침과 같은 동료(Peer) 리뷰어를 위한 윤리 지침, 그리고 출판사의 동료 심사 지침(Guidance)(e.g., Sage, n.d.; Wiley, 2024)에 명시된 원칙을 반영합니다. Wiley(2024)의 지침(Guidelines)은 부정적인 리뷰의 일반적인 원인이 자신의 지식 한계에 대한 리뷰어의 인식 부족임을 시사하며, 리뷰어들에게 유의미한 피드백(Feedback)을 제공할 수 있는 자신의 능력에 대해 스스로 솔직해질 것을 권합니다. 편집자들 또한 공정하고 적절한 동료 심사 과정을 보장해야 하는 더 넓은 책임의 일환으로 적절한 전문성을 갖춘 동료 리뷰어를 선정할 윤리적 책임이 있습니다(e.g., see Herber et al., 2020; Kleinert & Wager, 2011).

질적 연구(Qualitative research)에 대한 친숙성(Familiarity) 부족(그리고 이러한 부족의 정도에 대한 인식 부재)은 동료 심사(Peer review)에서 방법론적 부조화(Incongruence)를 야기할 수 있습니다(Levitt et al., 2017, 2021).

예를 들어 건강 심리학(Health psychology) 분야에서 리뷰어들은 종종 고유한 질적(Qualitative) 전통(Traditions)보다는 후기 실증주의(Postpositivist) 규범과 가치에 더 친숙(Familiar)합니다(Braun & Clarke, 2023). 이는 질적 연구가 그 자체의 장점으로 평가받지 못하게 만들며, 리뷰어들은
- 변수 간 관계 검증, 평가자 간 신뢰도(Intercoder reliability) 점수 제공, 결과 검증, 집단 간 차이에 대한 질문, 표본 크기(Sample size), 일반화 가능성(Generalizability) 및 객관성(Objectivity)의 (부재)에 대한 우려와 같이, 양적(Quantitative) 연구나 데이터 분석에 더 적합한 관행의 부재를 비판하거나 수정을 요구하게 됩니다(Braithwaite et al., 2014; Herber et al., 2020; Martin et al., 1999).
최근 의학 저널에 제출된 질적 논문(Articles)의 다양한 요소에 대해 리뷰어들이 흔히 하는 코멘트 유형을 매핑하고 종합(Synthesis)한 연구는 일부 리뷰어들의 코멘트가 "근본적인 양적 사고방식(Mindset)"(Herber et al., 2020, p. 1)과 질적 연구의 기본 원칙에 대한 이해 부족뿐만 아니라, 어떤 경우에는 질적 연구에 대한 적대감(Hostility)을 시사한다고 주장했습니다. 적대감이 없더라도 질적 연구의 목적, 방법, 가정에 대한 오해와 "질적 연구를 '양적화(Quanti-sise)' 하려는 시도(질적 평가에 양적 패러다임(Paradigms)의 가정을 적용하는 것)"(Clark, 2003, p. 220)는 저자들을 좌절하게 할 뿐만 아니라 "그들 연구의 출판을 금지(Prohibit)"(Clark, 2003, p. 220; see also Martin et al., 1999)시켜, 좋은 품질의 연구가 (부당하게) 거절당하게 만듭니다.
이러한 경험과 영향은 질적 패러다임과 양적 패러다임 전반에 걸쳐 균등하게 분포되지 않습니다. 질적 연구에 대한 친숙성 부족 문제는 저널 편집자들의 지식 격차로 인해 더욱 악화될 수 있으며, 일부 편집자들은 특히 리뷰어들의 방법론적 피드백이 모순될 때 저자들에게 그러한 피드백(Feedback)에 어떻게 대응해야 할지 안내할 자신감과 기술이 부족합니다(Levitt et al., 2017).

Herber et al. (2020)은 질적 연구(Qualitative research)에 익숙하지 않은(Unfamiliar) 리뷰어들은 이러한 지식 부족에 대해 정직해야 하며, 단순히 "질적 연구물 평가에 양적 렌즈(Quantitative lens)를 적용"(p. 13)하기보다는 심사 요청을 거절해야 한다고 결론지었습니다. 그렇다면 이러한 도전(Challenges)들은 질적(Qualitative) 연구자들이 동료 심사(Peer review)를 제공할 때 해결될까요? 제한된 연구 증거는 이 질문에 대해 '그렇기도 하고 아니기도 하다'는 답변을 제시합니다. 교육 연구라는 광범위한 영역에서 1990년대의 두 리뷰는 낙관론(Optimism)과 신중론(Caution)을 동시에 제공합니다.

Zaruba et al. (1996)은 The Review of Higher Education에 리뷰된 질적 논문(Articles)에 대한 분석(Analysis)에서, 일반적으로 ("대체로 질적 전통(Tradition)에 정통한", p. 438) 리뷰어들이 저자들에게 방법론적으로 일치하는 언어와 적절한 섹션(Section) 제목을 사용하도록 장려하고, 분석적 관찰의 정량화(Quantification)를 요구하거나 통계적 일반화 가능성(Generalizability)의 부족을 한탄함으로써 양적 규범을 불러오지 않고 전통적인 보고 형식을 탈피하도록 하는 등 "질적 연구의 '문화'를 고수했다"(p. 454)고 언급했습니다.
그러나 E. W. Taylor et al. (2001)—역시 교육 분야—은 동료(Peer) 리뷰어들 전반에 걸쳐 질적 연구에 대한 암묵적인 공유 표준 세트(철학적 우려보다는 기술적(Technical) 우려에 종종 초점을 맞춘)가 분명히 존재한다고 설명했습니다. 그들은 해당 분야가 덜 "전통적인" 형태의 질적 연구에 대해 얼마나 개방적인지에 대해 우려를 제기하며, 리뷰어(및 편집자)들에게 "다른 형태의 질적 연구를 접하고 자연주의적 탐구 관행에서 현재 일어나고 있는 일을 파악할 것"(p. 176)을 장려했습니다.

질적 연구(Qualitative research)에 대한 질적(Qualitative) 동료 심사(Peer reviews)의 논평과 분석 전반에 걸쳐, 우리는 데이터 포화(Saturation)(Clark, 2003; Herber et al., 2020), 연구자 삼각측량/코딩 일치도(Triangulation/coding agreement)(Clark, 2003) 및 연구 참여자 확인(Member checking)(Braithwaite et al., 2014; Clark, 2003; Herber et al., 2020; Zaruba et al., 1996)과 같은 특정 개념들을 (모든) 질적 연구 관행과 호환되는 것으로 지정하려는 경향을 확인했습니다. 하지만 이러한 관행들은 많은 이들에 의해 논쟁이 되거나 비판받고 있습니다(e.g., Motulsky, 2021; Varpio et al., 2017, 2021). 보편화(Universalizing)는 방법론적 부조화(Incongruence)의 위험을 초래합니다. 또한 이는 일치성(Congruence)이 단지 기술적(Technical) 고려사항일 뿐만 아니라, 존재론적 및 인식론적(Ontoepistemological)이며 개념적인 고려사항이라는 점에 대한 이해가 필요함을 강조합니다.

동료 심사에서의 방법론적 (불)일치 정의하기
Defining Methodological (In)Congruence in Peer Review

우리는 (방법론적) 부조화(Incongruence)라는 용어를 저자의 연구 가치 및 방법론(Methodology)—이는 그들의 연구가 위치한 더 넓은 지식 프레임워크(Frameworks)를 포함합니다—과 일치하지 않는 동료 심사자(Peer reviewer) 및 편집자의 코멘트를 지칭하기 위해 사용합니다.1 많은 질적(Qualitative) 연구자들은 이러한 정렬(Alignment) 개념을 "건전하고 의미 있는 연구 성과"를 산출하는 데 중요한 질적 연구(Qualitative research)의 핵심 (품질) 원칙으로 간주합니다(Chamberlain et al., 2011, p. 152). 이 개념은 많은 질적 품질 기준 및 보고 표준(Levitt et al., 2017; Tracy, 2010; Yardley, 2024)에서 특징적으로 나타나며,

방법론적 무결성(Methodological integrity)(Levitt et al., 2017, 2021),
패러다임적 무결성(Paradigmatic integrity)(Hills, 2000),
의미 있는 일관성(Meaningful coherence)(Tracy, 2010), 그리고
방법론적 일치성(Methodological congruence)(Pearson et al., 2015)이라는 언어를 통해 전달됩니다.

일치성(Congruence)은 종종 연구 설계(Research design)와 관련하여 논의되며, 철학적 지향부터 데이터 생성(Generation) 방법에 이르는 연구의 모든 측면 간의 정렬 필요성을 지향합니다(Hills, 2000).

또한 일치성(Congruence)은 예를 들어 패러다임(Paradigm), 존재론(Ontology), 또는 인식론(Epistemology)의 선택과 관련하여 논의되기도 하는데, 이러한 선택들은 다른 선택들을 제한하고 방향을 제시합니다(Crotty, 1998).
서로 다른 패러다임의 "모순되고 상호 배타적인(Mutually exclusive)" 측면을 끌어오는 것을 피해야 한다는 점이 강조됩니다(Lincoln et al., 2024, p. 99).
이는 일치성(Congruence)을 효과적으로 달성(Achieve)하는 능력은 연구자가 방법과 이론(Theory) 모두를 파악하고 있는지에 달려 있음을 의미합니다(Yardley, 2024).

따라서 방법론적 부조화(Methodological incongruence)는 (아마도 무지하게) 양립 불가능한(Incommensurate) 프레임워크들, 그리고 양립 불가능한 프레임워크에 뿌리를 둔 개념과 관행들을 아무런 설명(Explanation) 없이 결합함으로써 발생할 수 있습니다. Tracy (2010)는 자신의 8가지 "포괄적인(Big-tent)" 품질 기준 중 하나로 의미 있는 일관성을 논의하면서, 만약 연구자가 다른 프레임워크에서 개념을 차용한다면 "두 관점 사이의 단절(Disjuncture)을 주의 깊게 언급하고 어떻게 [그들이] 의도적으로 그 접근법들을 엮어냈는지 설명해야 한다"(p. 849)고 주장했습니다. 질적 연구자들이 패러다임 혼합(Paradigm-blending)의 문제점에 대한 동의/부동의 여부에서 때때로 의견을 달리한다는 점, 그리고 어떤 접근법들은 서로 다른 패러다임을 결합한다는 점(e.g., 합의적 질적 연구[Consensual qualitative research], Hill et al., 1997, 응용 주제 분석[Thematic analysis], Guest et al., 2012)을 인정하는 것이 중요합니다.

우리에게 있어 방법론적 일치성(Methodological congruence)은 질적 연구(Qualitative research) 전통(Traditions)의 다양성(Diversity)을 고려할 때 리뷰어와 편집자를 위한 필수적인 지침 원칙입니다. 좋은 질적(Qualitative) 동료 심사(Peer review)란 특정 질적 전통에 국한된 엄격성(Rigor) 개념을 강요하기보다는, 연구자가 무엇을 수행했고 그것을 어떻게 보고했는지에 대한 전반적인 일치성(Congruence)을 평가하는 것을 포함합니다.

문헌들은 일치된 동료 심사에 대한 주요 위험이 양적(Quantitative) 가치나 질적이지만 후기 실증주의적(Postpositivist)인 가치, 개념, 관행(데이터 포화[Saturation], 참여자 확인[Member checking], 연구자 삼각측량[Triangulation] 등, see Varpio et al., 2017)을 그것들이 많은 질적 접근법의 기초 가정에 부합(Fit)하지 않음에도 불구하고 보편화(Universalizing)하는 데서 온다고 시사합니다. 이는 일치된 심사를 위해 질적 연구의 철학적, 개념적, 그리고 실천적 변이(Variation)에 대한 어느 정도의 이해를 필요로 합니다.

이 다양성을 "매핑(Map)"하는 데는 여러 가지 방법이 있지만, 우리가 유용하다고 생각하는 기본적인 구분은 소위 '소문자 q 질적 연구(small q qualitative)'와 '대문자 Q 질적 연구(Big Q Qualitative)' 사이의 구분입니다(Braun & Clarke, 2022; Kidder & Fine, 1987). 소문자 q와 대문자 Q 연구 모두 질적 데이터(Qualitative data) 생성(Generation) 및 분석 기법을 포함하지만,

대문자 Q는 이를 질적 연구 가치라는 프레임워크 내에서 배치합니다. 대문자 Q는 뚜렷하게 질적이고 비실증주의적인(Qualitative, nonpositivist) 패러다임(Paradigm)(e.g., 해석주의[Interpretivist] 및 구성주의[Constructionist]) 내에서 수행되는 반면,
소문자 q는 종종 많은 학문 분야(Disciplines)(e.g., Varpio et al., 2017)와 심리학(Gough & Lyons, 2016; Morrill & Rizo, 2023; Riley et al., 2019)을 지배하는 후기 실증주의적 규범과 가치를 기본값으로 합니다.
소문자 q는 기술적(Technical) 혹은 절차주의적(Proceduralist) 지향을 제공하며, 여기서 질적 접근법은 "심리학자의 도구 상자에 있는 또 다른 (기술적이고 합리적인) 도구 세트"로 이해됩니다(Gough & Lyons, 2016, p. 237).
출판된 소문자 q 연구는 이론적 가정에 대한 명시적인 논의를 거의 포함하지 않습니다(Braun & Clarke, 2023).
부조화(Incongruity)는 소문자 q 질적 연구에 적용될 수 있는 표준과 기준들—널리 사용되는 질적 연구 보고 통합 기준(COREQ) 체크리스트(Checklist)(Tong et al., 2007)에서 입증된 많은 것들과 같은—이 대문자 Q 질적 연구에 (무지하게) 적용되어, 대문자 Q 연구가 부족하거나 심지어 치명적인 결함이 있는 것으로 판단될 때 발생합니다(Braun & Clarke, 2024).

부조화한 동료 심사에 대한 질적 연구자들 Qualitative Researchers on Incongruous Peer Review

우리의 연구는 질적(Qualitative) 연구자들의 목소리를 추가함으로써 질적 연구(Qualitative research)의 동료 심사(Peer review)에 관한 제한된 문헌을 확장합니다. 그들 자신의 경험과 질적 연구(Qualitative research) 모두에 전문성(Expertise)을 가지고 있기에, 우리는 방법론적으로 부조화한 피드백(Feedback)이 무엇인지, 그것을 받는 것이 어떤 것인지, 그리고 그들이 그러한 피드백을 어떻게 헤쳐 나가고 대응했는지 알고자 했습니다. 동료 심사가 이러한 방식으로 질적 연구자들을 실망시키는 방식을 체계적으로 탐구함으로써, 우리는 궁극적으로 동료 심사 과정의 무결성(Integrity)(그리고 그 안의 질적 연구자들)과 출판된 질적 연구의 방법론적 일치성(Congruence)을 지원하는 것을 목표(Aim)로 합니다(see also Note 1 of the Supplemental Material).

방법론 Methodology

우리는 질적(Qualitative) 설문조사를 사용했고, 광범위한 소셜 미디어와 네트워크(Network) 공유를 통해 참여자를 모집했으며, "코드북(Codebook)" 주제 분석(Thematic analysis)과 다소 유사한 요약-기술적(Summative-descriptive) 접근법을 사용하여 데이터를 분석했습니다. 프로젝트에 대한 윤리적 승인은 제1저자의 보건, 과학 및 사회 대학 연구 윤리 위원회(College of Health, Science and Society Research Ethics Committee)로부터 받았습니다.

질적 설문조사 및 모집 The Qualitative Survey and Recruitment

질적(Qualitative) 설문조사(Survey)를 사용하기로 한 결정은 실용적이고 참여자 중심적인 선택이었습니다. 이것은 지원금을 받지 않은 연구였습니다. 우리는 학자들(Academics)의 바쁜 직장 생활과 연구 참여(Participation)를 위한 제한된 시간, 지리적 분산(Dispersal), 그리고 일부에게는 연구의 잠재적으로 민감한(Sensitive) 성격(질적 설문조사는 강력한 익명성(Anonymity) 감각을 제공합니다; Terry & Braun, 2017)을 염두에 두었습니다. 우리는 전반적인 질적 연구자들의 동료 심사(Peer review) 경험을 이해하고자 했으며, 따라서 학문 분야(Discipline)/분야(Field), 경력 단계, 사용된 질적 접근법과 관련하여 다양한 학자 그룹의 의견을 듣고 싶었습니다. 서면 양식(Modality)은 또한 기여자들에게 그들의 동료 심사 내용과 그에 대한 대응(많은 이들이 그렇게 했습니다)을 인용하도록 요청할 수 있게 해주었습니다.

우리의 짧은 질적(Qualitative) 설문조사(Survey)(see Note 3 in Supplemental Materials)는 기여자들에게 동료(Peer) 리뷰어와 편집자로부터 받은 "방법론적으로 일관성 없는(Methodologically incoherent)" 코멘트에 대해, 그리고 기회가 있었다면 이에 대해 어떻게 대처했는지 물었습니다. 또한 그들은 그러한 코멘트를 받은 저널(우리는 이를 식별하지 않기로 선택했습니다), 그들의 학문 분야(Discipline)/연구 영역, 그리고 경력 단계(박사 과정 학생, 신진[박사 학위 취득 후 10년 이내], 중견[10-20년], 중진[20년 이상] 연구자, 그리고 "기타" 옵션으로 미리 정의됨)를 식별하도록 요청받았습니다. 우리는 설문조사를 가능한 한 간결하게 유지하고(참여[Participation]를 장려하기 위해) 익명성(Anonymity)에 대한 체감(Felt sense)을 극대화하기 위해 기여자들에 대해 묻는 질문을 제한하기로 했습니다. 이러한 예방 조치에도 불구하고, 일부는 저널 이름, 학문 분야/연구 영역 및 경력 단계에 대한 정보를 제공하지 않기를 선택했습니다—일부는 이러한 질문이 신원을 너무 드러낸다고 표시했거나, 저널의 명성을 보호하기를 원했습니다. 우리는 또한 기여자들이 원하는 다른 내용을 추가할 수 있는 개방형 질문을 포함했습니다(절반 조금 넘는 인원이 작성했습니다). 우리는 기여자들에게 인용되거나 의역될 수 있는 옵션을 제공했습니다. 또한 감사의 말(Acknowledgements)에 이름을 올릴 수 있는 옵션도 제공했는데, 절반 조금 안 되는 인원이 이를 선택했습니다.

우리는 2022년 7월 7일에 설문조사(Survey)를 시작했으며, (업무 관련) 소셜 미디어 계정, 질적(Qualitative) 연구자들을 위한 이메일 리스트, 그리고 전문적인 네트워크(Network)를 통해 공유했습니다. 응답 수와 내용(Content)/깊이(Depth)를 확인하고 우리의 목적을 위해 충분한 데이터가 생성되었다고 판단한 후, 우리는 2022년 10월 8일에 설문조사를 종료했습니다.

기여자들 Contributors

참여(Participation)는 질적 논문(Article)의 동료 심사(Peer review)에서 방법론적으로 부조화한 코멘트를 경험한 모든 질적(Qualitative) 연구자에게 열려 있었습니다. 우리는 163개의 완료된 설문조사를 받았으며, 절반 조금 넘는(n = 85; 52%) 응답이 신진 연구자(ECRs)로부터 왔고, 35명(21%)은 중견 연구자로, 29명(18%)은 박사 과정 학생으로, 10명(6%)은 중진 연구자로 확인되었습니다; 나머지 5명(3%)은 다른 옵션을 선택했습니다. 이들은 학부생, 대학원 석사 과정, 박사 학위 취득 후 10년 이내이지만 중견 경력자, 그리고 박사 학위가 없는 연구자(n = 2)였습니다. ECR과 박사 과정 학생의 우세는 소셜 미디어에 참여하는 학자들(Academics)의 인구통계학적 프로필(Profile)을 반영할 수 있습니다—초기 경력 학자들이 소셜 미디어를 사용할 가능성이 더 높을 수 있습니다(Chugh et al., 2021)—그리고/또는 동료 심사 과정을 헤쳐 나가는 것이 경력 단계와 어떻게 교차하는지를 반영할 수 있습니다—초기 및 후기 경력 연구자들은 동료 심사를 다르게 보고 경험하는 것 같습니다(e.g., Atjonen, 2019; Horn, 2016; Severin & Chataway, 2021; Watling et al., 2023). 질적 연구(Qualitative research)의 인기 증가(및 정상화)(e.g., Gough & Lyons, 2016)를 감안할 때, 초기 경력 학자들이 질적 접근법에 더 큰 관심과 관여를 가질 수도 있습니다.

거의 모든 기여자(151명)가 광범위한 학문 분야(Discipline) 또는 특정 연구 초점을 언급했습니다(많은 이들이 여러 연구 영역을 나열했습니다). 절반 가까이(75명)가 건강(Health)을 표시했는데, 이는 다양한 학문 분야(e.g., 간호학[Nursing], 공중 보건, 의학 교육)를 아우릅니다; 심리학도 잘 나타났으며(39명), 교육학과 사회학(Sociology)은 10명 이상이 언급한 유일한 다른 학문 분야였습니다. 기타 학문 분야/분야에는 인간 컴퓨터 상호작용, 장애, 젠더(Gender) 및 레즈비언, 게이(Gay), 양성애자, 트랜스젠더(Transgender), 및 퀴어(Queer) 연구, 사회 복지(Social work), 사회 정책, 범죄학(Criminology), 경영학, 스포츠 과학(Sport science)이 포함되었습니다. 구체적으로 묻지는 않았지만, 응답을 통해 기여자들의 질적 연구(Qualitative research) 경험과 관행이 소문자 q와 대문자 Q 스펙트럼(Spectrum)을 가로지르고 있음이 분명했습니다.

데이터 분석 Data Analysis

우리의 분석 전략은 코드북 주제 접근법(Thematic approaches)(Braun & Clarke, 2022)과 유사하며, 설문조사(Survey) 응답을 읽고 메모한 후에 결정되었습니다. 우리는 분석 결과를 보고하기 위한 범주(Categories)를 개발했고, 이 범주 내에서 관련 데이터를 정리하고 요약했습니다. 우리는 처음에 6개의 범주를 사용했으나, 이후 3개를 더 넓은 (보편화) 범주로 병합하여(Collapsing) 4개로 정제했습니다:

(a) 부적절한 보편화;
(b) 방법론적으로 부조화한 코멘트를 헤쳐 나가는 전략;
(c) 권력 역학(Power dynamics), 상실, 그리고 (감정) 노동(Labor);
(d) 질적(Qualitative) 논문(Articles)의 동료 심사(Peer review) 무결성(Integrity) 향상을 위한 제언.

데이터에 대한 우리의 분석적 처리는 대체로 경험적(Experiential)이었습니다. 우리는 기여자(Contributor)들의 설명을 그들의 인식과 경험에 대한 다소 직접적인 표현으로 간주했으며(Braun & Clarke, 2013), 기여자들에게 해석적 권위(Interpretative authority)를 부여함으로써(동시에 우리의 본질적으로 해석적인 역할을 인식하면서) 그들이 "전문가 증언(Expert testimony)"을 제공하는 것으로 불러일으키고자 했습니다. 이는 참여자(Participants) 대신 기여자(Contributors)라고 지칭하기로 한 우리의 결정에도 반영되어 있습니다.

분석 Analysis

대부분의 기여자는 동료 심사(Peer review)에서 방법론적으로 부조화한 피드백(Feedback)을 광범위하게 경험했다고 보고했습니다.

다양한 형태의 부조화(Incongruity)를 하나로 묶는 핵심 개념은 양적(Quantitative) 연구나 특정 질적 연구(Qualitative research) 접근법과 관련된 규범이나 관행을 보편화(Universalizing)하는 것이었습니다. 이는 우리의 첫 번째 범주인 '부적절한 보편화'에서 전달됩니다.
부조화한 동료 심사의 함의에 대한 우리의 관심은 두 번째와 세 번째 범주에서 전달됩니다.
- 이를 헤쳐 나가는 전략에 대한 논의(두 번째 범주)는 학계 내 권력 구조가 대응 방식과 어떻게 교차하는지, 그리고 (부조화한) 동료 심사를 둘러싼 (감정) 노동(Labor)에 대한 탐구를 통해 맥락화됩니다.
- 전통적인 고찰(Discussion) 섹션(Section) 대신, 우리는 질적 연구 동료 심사의 방법론적 무결성(Integrity)을 향상시키기 위한 기여자들의 제안(Suggestions)을 종합(Synthesizing)하며 마무리합니다.

부적절한 보편화 Inappropriate Universalization

방법론적으로 부조화한 심사는 가장 전형적으로 심사 대상인 논문(Article)에 부적절한 기준이나 관행을 적용하는 코멘트, 주장 또는 기대 등을 통해 나타났습니다. 이들은 주로 후기 실증주의(Postpositivist) 및/또는 양적 연구(Quantitative research) 관점(Perspectives)과 기준을 반영했지만, 일부는 한정된(Delimited) 질적(Qualitative) 기준이 부적절하게 보편화된 경험을 보고하기도 했습니다. 기여자들은 일부 학문 분야(Disciplines)(e.g., 기여자들이 종사하는 주요 분야인 보건 분야)에서 양적(Quantitative) 연구자들이 후기 실증주의적 렌즈(Lens)를 통해 접근하며 질적 연구(Qualitative research)에 "가볍게 손대기(Dabbling)" 시작했다고 설명했는데, 이는 그들이 생산한 연구와 그들의 동료 심사(Peer reviews) 모두에서 분명하게 드러납니다(Riley et al., 2019에서도 언급된 경향).

어떤 경우에는 동료(Peer) 리뷰어와 편집자들이 질적 연구(Qualitative research)가 양적 연구(Quantitative research)와 어떤 측면(Respects)에서는 다르다는 것을 어느 정도 이해하는 듯 보였지만, 그럼에도 불구하고 질적 연구가 동일하거나 유사한 연구 가치를 따를 것을 기대했습니다. 가장 흔하게 보고된 보편화 방식은 "표본 크기(Sample size)", (코딩[Coding]을 위한) "신뢰도 관행(Reliability practices)"의 필요성, 그리고 정량화(Quantification)(의 부재)와 관련이 있었습니다. 예를 들어:

제가 받는 주된 코멘트는 표본 크기(Sample size)에 관한 것과 그것이 "대표성(Representative)"이 없으므로 데이터로부터 어떠한 결론도 도출할 수 없다는 것입니다. 다중 코더(Multiple coders)와 평가자 간 신뢰도(Intercoder reliability)에 대한 강조가 심한데, 이는 그것이 양적(Quantitative) 측정치이기 때문이며, 연구에 그것이 없다면 리뷰어들은 당신의 엄격성(Rigour)을 의심합니다. (C140)

일부 기여자들의 경험에 따르면, 리뷰어와 편집자들은 작게 구성된(따라서 비대표적이고, 비일반화 가능하며, 비무작위적이고, 통계적으로 유의하지 않은; see also Clark, 2003; Herber et al., 2020; Martin et al., 1999; Zaruba et al., 1996) 데이터 세트(Data set)를 논문(Article) 거절의 근거로 취급했습니다.

리뷰어의 코멘트와 질적(Qualitative) 리뷰에 선정된 매우 적은 수의 참여자를 고려할 때, 원고는 출판에 적합하지 않다고 판단됩니다. (C144, 편집자 인용)

우리가 질적(Qualitative) 연구를 출판하기는 하지만, 우리는 모든 연구가 큰 집단이나 문화로 일반화될 수 있는 결과를 갖기를 기대합니다. 당신이 인터뷰한 15명의 개인이 [국가]의 수천 명의 이민자를 대표할 가능성은 낮습니다. (C69, 편집자 인용)

대안적으로, 리뷰어와 편집자들은 저자들에게 더 많은 데이터를 수집하고/하거나 "작은 표본"을 연구의 한계점으로 언급할 것을 요구했습니다. 우리는 변경 사항에 대해 "요구했다(Requested)"라는 용어를 사용하지만, 종종 이러한 요구는 더 유동적으로 프레임 되기도 했습니다—리뷰어는 특정 관행이 필수라고 명시적으로 말하기보다는 무엇이 수행되지 않았거나 누락되었는지에 대해 코멘트할 수 있습니다. 반대되는 편집상의 지침(Guidance)이 없는 한, 이것들은 사실상의 요구가 됩니다. 일부 기여자들은 리뷰어와 편집자가 표본 크기(Sample size)의 타당성(Validity)을 입증하기 위해 검정력 분석(Power analysis) 및 기타 계산을 요구하거나, 중단 기준(Criterion)으로서 데이터 포화(Saturation)(즉, 정보 중복성[Redundancy])의 증거를 요구하는 경우를 접했습니다(Herber et al., 2020). 예를 들어:

저는 근거 이론(Grounded Theory)을 사용하지 않았음에도 불구하고, 우리가 어떻게 데이터 포화(Saturation)를 달성했는지 나타내라는 요청을 여러 차례 받았습니다. 사람들은 이것이 통계(Statistics)를 사용할 때 표본 크기(Sample size)와 검정력(Power)을 산출하는 것의 질적(Qualitative) 등가물이라고 생각하는 것 같습니다. (C72)

포화(Saturation)를 달성했습니까? 이 중요한 문제는 해결되어야 합니다. (C8, 편집자 인용)

코딩(Coding)의 "신뢰도(Reliability)" 측정에 대한 요구는 방법론적으로 부조화한 심사의 또 다른 흔한 예였습니다(see Braithwaite et al., 2014; 비록 Herber et al., 2020은 이를 드물게 보고했지만). 예를 들어, C161은 다음과 같이 묘사했습니다:

보조 코더로부터의 평가자 간 신뢰도(Interrater reliability) 통계(Statistics)에 대한 요구... 그들은 보통 심층적인 질적(Qualitative) 분석(e.g., 성찰적 주제 분석[Reflexive TA], 해석학적 현상학적 분석[IPA], 담론 분석[Discourse analysis])을 보완하기 위해 카파(Kappa), 감마(Gamma) 또는 ICC를 원합니다. ... 표본 크기(Sample size)와 관련된 일반화 가능성(Generalisability): 저는 IPA, 내러티브 등의 설계에 대해 질적 연구(Qualitative research)를 수행하려면 "일반화 가능성을 위해" 큰 표본 크기(수백 명의 참여자)가 필요하다는 말을 끊임없이 듣습니다. ... 이것은 심리학을 괴롭히는 실증주의적 존재론(Ontology) 때문입니다. ... 그들은 빈도/백분율(Frequencies/percentages)이 있는 표(Table)를 원하는데, 그래야 주제 내의 변동성(Variability)을 이해할 수 있다고 합니다—예를 들어 6명만 있는 연구에서는 이것이 어렵습니다. 또는, 그들은 "일부", "대부분" 등에 대한 명확한 기술을 원합니다. ... 그들은 최소한의 연구자 개입, 표준화된 코드북 등을 원합니다. ... 그들은 이론적 프레임워크/렌즈(Frameworks/lenses)를 전혀 이해하지 못합니다.

여기에 보고된 것과 같은 리뷰어 및 편집자의 피드백(Feedback)에서, 양질의 (대문자 Q) 질적 연구(Qualitative)(Gough & Madill, 2012)에 필수적인 연구자의 주관성(Subjectivity)은 문제이자 객관성(Objectivity)에 대한 위협(Threat), 따라서 연구의 결함으로 개념화됩니다. 단 한 명의 코더만 있는 것(질적 연구에서는 흔한 일)은 리뷰어와 편집자들에게 문제가 있는(Problematic) 것으로 이해되었습니다. 리뷰어와 편집자들은 저자들이 분석 절차에 코드북, 코딩(Coding) 규칙, 추가 코더, 코더 훈련, 그리고 합의(Consensus) 관행(e.g., 여러 코더가 코드에 동의, 여러 연구자가 주제에 동의/연구자 삼각측량[Triangulation])을 추가하기를 원했습니다. 질적 데이터 분석 소프트웨어(Software)(QDAS)—구체적으로 NVivo—를 사용하지 않는 것은 신뢰도를 높이는 방법으로 간주되었기 때문에 리뷰어와 편집자들에게 문제로 인식되었습니다. 일부 기여자들은 동료(Peer) 리뷰어와 편집자들이 녹취록의 정확성(Accuracy)에 대한 참여자 검증(Validation)과 해석(Interpretations)의 정확성을 보장하기 위해 연구 참여자 확인(Member checking)을 사용할 것을 요구했다고 보고했습니다(Zaruba et al., 1996)—이는 연구자의 주관성을 억제해야 할 편향(Bias)과 위협의 잠재적 원천으로 개념화(Conceptualization)하고 있음을 다시 한번 시사합니다.

세상이 분절적으로(그리고 객관적으로) 알 수 있다는 생각은 분석의 정량화(Quantification)에 대한 수많은 요청에서도 전달되었습니다—이미 C161에 의해 언급됨(see Clark, 2003). 기여자들은 리뷰어와 편집자들이 논문(Article)에 빈도수(Frequency counts)에 대한 (논의)를 추가하거나 심지어 데이터 세트(Data set)에 대한 통계적 분석(Statistical analysis)을 원했다고 보고했습니다. C105는 리뷰어와 편집자로부터 자주 받는 부조화한 리뷰의 예로 한 리뷰어의 말을 인용했습니다:

저는 주제 코딩(Coding)을 수행하는 방법에 대한 Braun [sic]의 연구를 사랑(Love)하지만, 왜 다른 기법들이 사용되지 않았는지 궁금합니다. 예를 들어, 양적(Quantitative) 내용 분석(Content analysis)은 주제의 빈도를 다루고 연구자들이 응답자(Respondent) 집단(즉, 응답자의 인구통계학적 특성) 간의 응답을 비교할 수 있게 해주었을 것입니다.

이 예가 보여주듯이, 기여자들은 리뷰어와 편집자들이 참여자 인구통계를 변수로 취급하고 비교 분석이 수행되기를 원한다고 설명했습니다(see also Braithwaite et al., 2014; Martin et al., 1999). 기여자 C67은 25건의 의사-환자 상호작용 코퍼스(Corpus)에 대한 대화 분석(Conversation analysis)을 "엄격한 양적 분석(Quantitative analysis)"으로 재작업할 것을 권장한 편집자의 말을 인용했습니다:

당신은 관심 있는 패턴을 식별하고, 대화(Conversations) 속에서 그것들을 코딩하고, 허위 효과(Spurious effects)에 대해 검증하기 위해 그 발생을 통계적으로 평가할 수 있습니다. 물론 데이터 분석(Data analysis)에 대해 대안적인 양적(Quantitative) 접근 방식을 취할 수 있지만, 숫자와 허위(우연) 패턴에 대한 테스트 없이는 결론을 신뢰(Trust)할 수 없으므로 충분히 엄격해야 합니다.

이러한 다양한 방법론적으로 부조화한 요구들은 질적 연구(Qualitative research)를 그 자체의 방법론적 용어로 검토하지 못했음을 보여줍니다.

이러한 정기적으로 보고된 방법론적으로 부조화한 심사 요구들은 종종 널리 사용되는 COREQ 체크리스트(Checklist)(Tong et al., 2007) 및 광범위하게 보건 과학 분야의 다른 품질 및 보고 기준에 명시된 관행들과 일치했습니다(see Santiago-Delefosse et al., 2016). 일부 기여자들은 COREQ가 좋은 질적 연구(Qualitative research) 보고에 대한 동료(Peer) 리뷰어와 편집자의 (좁지만 보편화된) 견해를 형성한다고 언급했습니다:

더 일반적으로, 리뷰어는 방법론 보고, 그리고 대개 분석 보고에서 어떤 핵심 단어(들)를 찾고 있습니다. 물론, 그들이 찾는 단어들(e.g., 포화[Saturation])은 해당 방법론(Methodology)과 관련이 없을 수도 있습니다. ...
아마도 가장 흔한 것은 포화일 것입니다. 예컨대 10개의 인터뷰(Interviews)로는 데이터 포화에 도달했을 가능성이 낮은데 당신은 그것을 언급하지 않았다는 식입니다. 때때로 이와 같은 코멘트는 Tong et al.의 체크리스트(COREQ)에 있는 데이터 포화 항목에 대한 참조를 동반합니다.
그 다음으로 흔한 것은 성찰적 주제 분석(Thematic analysis)과 같이 설명된 방법론과 일치하지 않음에도 불구하고 "코딩 트리(Coding tree)"나 "코드북(Code book)"을 요구받는 것입니다. 다시 말하지만, 이는 코딩 트리에 대한 설명을 요구하는 COREQ 항목에 대한 참조를 동반할 수 있습니다.
세 번째로 흔한 것은 녹취록이 독립적으로 코딩되었는지, 얼마나 많은 코더가 있었는지, 그리고 어떤 코더 일치도(Agreement) 척도가 사용되었는지에 대한 질문을 받는 것입니다. (C87)

대문자 Q 질적 연구(Bigger Q Qualitative) 기여자들은 여기에 기술된 모든 다른 유형의 코멘트들을 문제가 있다고 보는 경향이 있었습니다(see Morrill & Rizo, 2023). 대조적으로, (일부) 소문자 q 질적(Qualitative) 기여자들은 COREQ의 가치를 인정하거나 방법론적으로 부조화한 리뷰를 반박하기 위해 COREQ를 사용했습니다. 그들은 주로 질적 연구(Qualitative research)를 이해하지 못하거나 가치를 발견하지 못하고 질적 연구가 양적 연구(Quantitative research)처럼 보이기를 원하는 동료(Peer) 리뷰어와 편집자들의 코멘트로 인해 어려움을 겪었습니다.

기여자들은 후기 실증주의/양적 접근법(Approaches)과 규범(e.g., 대표성 있고 일반화 가능한 표본, 통계적 분석[Statistical analysis])을 보편화하는 연구 설계(Design)에 관한 코멘트를 보고했습니다. 많은 이들이 질적 연구(Qualitative research)가 가설을 가져야 한다거나, 질적(Qualitative) 연구자들이 무엇을 발견할 것으로 기대했는지 논의해야 한다는 가정에 직면했다고 보고했습니다:

제시된 인터뷰 프로토콜(Interview protocol)이 가설을 검증하는 데 어떻게 독특하게 적합한지 평가하기가 어려웠습니다. (C156, 리뷰어 보고서 인용)

논문을 더 출판 가능하게 만들기 위해, 우리는 이 논문의 저자들이 더 견고한 분석을 위해 비교 집단(Comparison group) 모집을 고려할 것을 강력히 권장합니다. (C66, 리뷰어 보고서 인용)

일부 기여자들은 리뷰어와 편집자들이 이론은 오직 경험적(Empirical) 예측을 하는 데에만 사용되어야 한다고 언급했다고 지적했습니다. C28은 리뷰어를 인용했습니다:

만약 그들이 이론적 프레임워크를 사용하려면 ... 그것은 경험적(Empirical) 예측을 자신 있게 할 수 있는 것이어야 합니다. 현재의 "이론"은 그들의 논문에 아무것도 더해주지 않으며, 과학적 용어로 볼 때 이론이 아닙니다.

이와 같은 코멘트는 보고된 방법론적으로 부조화한 동료 심사(Peer review)의 상당 부분에 대한 우리의 "자신만만하게 틀린(Confidently wrong)" 특성화를 전형적으로 보여줍니다.

수많은 기고문이 질적(Qualitative) 연구의 스타일과 제시(Presentation)에 혼란스러워하고 낯설어하는 동료(Peer) 리뷰어와 편집자들을 전달했습니다. (예상되고 보편화된) 규범을 따르지 않는 것은 일부 리뷰어와 편집자들에게 질적 연구(Qualitative research)를 당혹스럽거나 심지어 이해할 수 없는(따라서 틀린) 것으로 만들었으며, 일부는 양적(Quantitative)이지 않은 연구에서는 어떠한 가치도 확인하지 못했습니다. 예를 들어, C96은 "결과는 어디에 있습니까? 당신은 인용문만 제공하고 있습니다"라고 묻는 리뷰어의 보고서를 인용했습니다. 기여자들은 또한 연구의 제시를 후기 실증주의/양적 보고 규범에 맞추기 위해 논문(Article)의 구성이나 내용(Content)을 변경하라는 요구/필수 사항을 보고했습니다(Tracy, 2012; Walsh, 2015). 예를 들어, C9는 리뷰어 보고서를 인용했습니다:

"방법론(Method)에 개인적인 경험이 많이 포함되어 있는데 이 연구에 필요한 것인지 확신할 수 없습니다" 그리고 "당신이 데이터 수집(Data collection)에 개인적으로 관여했지만, 전체적으로 3인칭으로 쓰인다면 더 잘 읽힐 것이라고 생각합니다"
... "저자가 강력한 내러티브를 만들기보다 이야기를 전달하기 위해 인용문에 지나치게 의존한다고 느꼈습니다. 개선을 위해 사용된 인용문을 줄이고 더 많은 내러티브를 갖도록 고려하십시오"
... "결과(Results) 섹션(Sections)은 일반적으로 데이터에서만 나옵니다. 이 섹션에서 다른 연구에 대한 모든 참조를 제거하십시오. 또한 데이터에 대한 성찰은 고찰(Discussion) 섹션을 위해 남겨두십시오."

이 인용문은 많은 이들이 지적한 주요 문체적 측면들을 전달합니다. 예를 들어:

"결과"와 "고찰"을 분리하고 전자에서 연구자의 해석(Interpretation)과 문헌 참조를 제거하는 것(see also Clark, 2003);
"결과"에서 데이터 인용문을 제거하거나 줄이는 것(see also Martin et al., 1999);
반대로 "결과"에 데이터 인용문만 제시하고 분석적 해설은 하지 않는 것;
3인칭으로 작성하는 것;
(질적) "전문 용어"(실용주의[Pragmatism]와 같은 용어)를 제거하는 것; 그리고
성찰성(Reflexivity), 방법론(Methodology), 존재론(Ontology) 및 인식론(Epistemology), 그리고 기타 이론에 대한 (논의를) 제거하는 것 등입니다.

기여자의 경험은 일부 리뷰어와 편집자가 자신들을 전문가로서 명백히 옳고, 저자(들)는 틀렸으며 변경이 필요한 존재로 위치시키는 감각을 전달했습니다:

결과와 고찰을 결합하지 말고 따로 작성하라는 지시를 받았고, 각 섹션(Section)에 무엇이 포함되어야 하는지에 대해 거들먹거리며(Condescendingly) 설명 들었습니다. ... 1인칭을 사용하는 것은 학문적(Academic)이지 않으니 사용하지 말라는 말을 들었습니다. (C45)

이러한 경험은 동료(Peer) 리뷰어보다는 시험관(Examiner)에 더 가까운 역할을 상기시킵니다—이는 우리가 동료 심사(Peer review)에서의 권력과 감정 노동(Labor)을 논의할 때 다시 다룰 내용입니다. 질적 연구(Qualitative research) 보고 관행에 대한 리뷰어와 편집자의 친숙성(Familiarity) 부족은 때때로 질적 연구에 대한 노골적인(그리고 암묵적인) 무례함이나 묵살과 결합되었습니다(see also Herber et al., 2020)—대개는 비/덜 과학적이고, 체계적이거나 엄격하기보다는 특이한(Idiosyncratic) 것이라는 식의 주장입니다. 예를 들어:

이 논문은 특히 특이하고, 비일반화 가능하며, 개인 수준의 의견(Opinion)으로 다가옵니다—아마도 정신분석가(Psychoanalyst)나 최면술사의 상담 의자(Couch)에서 나온 것 같습니다. (C79, 리뷰어 보고서 인용)

이것은 단지 저자의 주관적인(Subjective) 의견(Opinion)입니다. 논문의 형식이 아닙니다. (C106, 리뷰어 보고서 인용)

이 논문(Article)은 확실히 수락될 수 없습니다, 여기엔 데이터가 없습니다. 저자는 방정식에 있어 투명하지 않습니다. (C10, 리뷰어 보고서 인용)

일부 기여자들은 이러한 질적 연구(Qualitative research)에 대한 경멸이 특히 혼합 방법 연구(Mixed method research)를 둘러싸고 나타난다고 언급했습니다(see also Morrill & Rizo, 2023):

또한 질적(Qual) 연구는 그 자체로 절대 충분하지 않다고 느껴집니다—진심으로요. 우리는 그것들을 [양적 및 질적] 서로 병치(Juxtapose)해야 하며, 그런 다음 양적(Quant) 연구가 더 낫고 질적 연구는 분석을 "보충"하는 것임을 알려야 합니다. ... 리뷰어들은 질적 연구가 양적 연구처럼 작성되기를 원합니다—그들은 설문조사(Survey)처럼 보이는 천편일률적인(Cookie cutter) 연구를 원합니다. (C161)

수십 년간의 질적(Qualitative) 학문 연구(Scholarship)에도 불구하고, 이 리뷰어들은 여전히 양적/후기 실증주의적(Quantitative/postpositivist) 규범을 보편화하여 질적 학문 연구를 본질적으로(Inherently) 방법론적으로 불충분한 것으로 구성(Construct)하는 것으로 보입니다. 그러나 부적절한 보편화는 질적(Qualitative) 연구 그 자체를 둘러싸고도 나타났는데, 일부 질적 연구(Qualitative research) 접근법에 친숙한(Familiar) 동료(Peer) 리뷰어와 편집자들이 특정 접근법의 관행이 모든 것에 적용된다고 가정함으로써 질적 연구를 보편화할 때 발생했습니다. 일부는 특정 질적 방법에 대한 일종의 "경계 단속(Boundary policing)"과 그것이 어떻게 사용되어야 하는지에 대해 언급했습니다:

덜 빈번한 문제이지만, 떠오르는 한 가지는 "방법"이 무엇을 할 수 있고 무엇을 할 수 없는지에 대한 과도한 확신/과장된 주장입니다. "주제가 있기 때문에 이것은 템플릿 분석이 아니다"라거나, "두 개의 표본이 있으므로 이것은 IPA [해석학적 현상학적 분석]가 될 수 없다" 등등. 저는 약간 덜한 경계 단속과 약간 더한 호기심(Curiosity)("IPA 연구에서 두 개의 표본을 보는 것은 흥미롭군요, 그것이 접근법과 어떻게 부합(Fits)하는지 좀 더 설명해 주시겠습니까?")이 여기서 필요한 전부라고 생각합니다. (C124)

저는 편집자로부터 "질적 연구(Qualitative research)는 파일럿(Pilots) 사용을 포함하지 않는다"는 이유로 인터뷰(Interview)를 파일럿(예비 조사) 하지 말았어야 했으며, 따라서 논문(Article)에서 이 과정에 대한 언급을 삭제해야 한다는 코멘트를 받았습니다. (C53)

(특정 형태의) 질적 연구(Qualitative research)의 보편화나 전체화하는(Totalizing) 선언은 좌절감(Frustration)을 낳았고, 질적(Qualitative) 연구자들이 자신들의 전문성(Expertise)의 경계와 한계를 인식하기를 바라는 마음(Wish)을 낳았습니다:

저는 질적 연구자들이 자신의 전문 분야 밖의 논문을 심사하면서 그것을 고려하지 않는 것에 매우 지쳤습니다—예를 들어, 주제 분석가가 대화 분석(Conversation analysis)을 심사하는 것 말이죠. 질적 연구자들이 양적(Quantitative) 리뷰어들에 대해 하는 모든 불평에 대해, 분명히 그들은 자신들에게도 똑같은 접근 방식을 적용하고 싶을 것입니다! (C90)

담론(Discourse)이나 대화 분석(Conversation analysis)과 같이 언어를 생산적인 것으로 취급하는 접근법으로 작업하는 기여자들은 이러한 방법론적으로 부조화한 형태의 심사를 특히 경험하는 것으로 보였습니다:

담론 분석(Discourse analysis)에 익숙하지 않은 것이 분명한 리뷰어들은 담론적 기능에 대한 해석(Interpretations)이 과잉 해석이고 근거 없는 주장이라고 주장하며 "데이터가 스스로 더 많이 말하게 하라"고 제안합니다. (C47)

이러한 반응들은 방법론적 부조화(Incongruence)(그리고 이와 관련된 질적(Qualitative) 방법론적 확장[Expansion] 문제)가 다양한 형태의 질적 연구(Qualitative research)의 다양한 관행과 관습, 또는 다른 접근법의 다양한 철학적 기초와 가정을 완전히 이해하지 못하는 질적 리뷰어들에 의해 영속화됨을 시사합니다. 기술된 동료 심사(Peer review) 경험의 종류는 낯선 방법론적 접근을 마주했을 때 전문 지식과 개방성, 유연성을 모두 갖춘 "감식안이 있는(Connoisseur)" 리뷰어(Sandelowski, 2015; Sparkes & Smith, 2009)의 필요성을 시사합니다. 그러나 그러한 전문성(Expertise)—그리고 심사할 의지/능력—을 갖춘 리뷰어를 충분히 확보하는 것은 여전히 도전(Challenge)으로 남아 있습니다.

한 기여자는 우리가 대문자 Q 질적(Qualitative) 연구와 방법론적으로 일관성 없는 리뷰어 및 편집자의 요구 목록을 작성하여 이 논문(Article)에 제시해 줄 것을 요청했습니다. 우리는 이를 보충 자료(Supplemental Material)의 Note 1에 제공했습니다. 그러한 목록이 요청된 이유는 그것이 방법론적으로 일관성 없는 피드백(Feedback)에 대응하고 반박하는 데 도움이 되는 자원이 될 것이기 때문입니다. 이제 우리는 그러한 피드백을 헤쳐 나가는 기여자들의 전략으로 넘어갑니다.

방법론적으로 부조화한 피드백을 헤쳐 나가는 전략들
Strategies for Navigating Methodologically Incongruent Feedback

비록 리뷰어/편집자의 코멘트가 방법론적으로 일관성이 없더라도, 저자인 우리가 그들의 체면을 세워주어야 한다는 느낌(Felt sense)이 있기 때문에 이것은 까다로운 문제입니다. 여기에는 부분적으로 저널과 저자인 우리 사이의, 그리고 연구를 출판하고자 하는 우리의 필요와 욕구 사이의 권력 격차(Power differential)가 작용합니다. 또 다른 부분은 편집자와 리뷰어들이 흥미를 잃게(Turned off) 만들기보다 무언가 배울 수 있는 방식으로 그들을 이끌도록 돕는 것에 관한 것입니다. (C31)

이 인용문은 많은 기여자가 묘사한 동료 심사(Peer review)의 경험, 정동(Affect), 그리고 권력 격차(Power differentials)를 강력하게 전달합니다.

일부 기여자들은 편집자들이 종종 "추가적인 코멘트나 피드백(Feedback) 없이 리뷰를 공유"(C14)하거나 "지침(Guidance)을 제공하지 않았음"(P122)을 지적했으며, 따라서 그들은 어떠한 편집상의 지원이나 투입(Input) 없이 방법론적으로 부조화하고 때로는 모순적인 피드백을 헤쳐 나가야 했습니다:

리뷰어 1은 (의역하자면) "이 논문(Article)은 확실히 수락될 수 없습니다, 여기엔 데이터가 없습니다. 저자는 방정식에 있어 투명하지 않습니다"라고 답신했습니다. 다른 리뷰어는 "이것은 훌륭하고 풍부한 질적(Qualitative) 연구입니다..."라고 썼습니다. 편집자는 저에게 두 리뷰어를 모두 고려하고 응답하라고 요청했습니다. (C10)

기여자들은 편집자들이 리뷰어들의 방법론적으로 부조화한 피드백(Feedback)과 질적 연구(Qualitative research)에 대한 비하적인 코멘트를 단순히 "통과시키는(Wave through)"(C102) 것에 대해 놀라움(Surprise)과 실망감을 표했습니다; 다른 이들은 일부 편집자들이 리뷰어의 코멘트 중 일부가 부조화하다는 사실을 단순히 "몰랐다(Did not know)"(C122)고 생각했습니다. 일부는 편집상의 지침(Guidance) 없이 흔들리기도 했습니다:

저는 동료 심사(Peer review) 과정에서 논문(Article)을 철회했습니다. 편집자에게 먼저 이야기했어야 했지만, 당시에는 코멘트가 그것을 어떻게 다루어야 할지에 대한 메모도 없이 공유되었기 때문에 아무 소용이 없다고 느꼈습니다. (C73)

대부분은 (심지어 모순적인) 피드백(Feedback)을 헤쳐 나가 재투고했습니다(몇몇은 논문[Article]이 거절되었습니다). 많은 이들이 그러한 피드백을 다루기 위한 전략을 개략적으로 설명했는데, 이는 때로는 구체적이고 때로는 일반적인 전략으로 종종 시간과 경험을 통해 연마된 것이었습니다(see also Watling et al., 2023). 일부는 방법론적으로 부조화한 코멘트를 선택적으로 무시했습니다; 일부는 코멘트가 너무 강력한 방법론적 단절을 보여줄 때 논문을 철회하기로 했습니다(see also Cerejo, 2014). 보고된 전략들은 대체로 (서로 겹치는)

교육하기(Educating)(선제적 대응 포함),
지원 구하기(Seeking support),
결정에 대해 이른바 "이의 제기하기(Calling out)",
순응(Acquiescence), 그리고
편집자와 소통하기(Engaging with the editor)로 분류되었습니다.

기여자들이 보고한 가장 흔한 전략인 교육하기(Educating)는 전형적으로 요청된 변경 사항을 만들지 않는 것을 포함했습니다. 이는 그들이 왜 논문(Article)에 요청된 변경을 하지 않았는지, 그리고 그 피드백(Feedback)이 그들의 특정 질적(Qualitative) 접근법과 어떻게 부조화(Incongruence)한지 설명하는 것을 포함했습니다. 기여자들은 자신의 입장을 뒷받침하기 위해 관련 방법론 문헌을 인용하거나, 리뷰어에게 읽을거리를 추천하고, 사실상 그들(과 편집자)에게 일반적인 질적 연구(Qualitative research)의 가정과 자신의 접근법에 특화된 가정을 교육했다고 보고했습니다. 반박 답변을 작성하는 데 걸린 시간의 길이가 몇몇에 의해 언급되었습니다—기여자들은 리뷰어 및/또는 편집자의 예상되는 수용 태도에 부분적으로 의존하여 "장문의 답변"과 "직설적인 반박" 모두를 묘사했습니다. C161이 이 중 많은 부분을 전달했습니다:

저는 맞서 싸웁니다(Fight back)—굴복하지 않습니다. 저는 (여러 문단의) 긴 답변을 보내고 그들이 이해하기를 희망(Hope)합니다. 저는 명시적으로 주장을 심문하고, 질적 연구(Qual)를 위해 검정력 분석(Power analysis)을 하지 않는 것, 성찰적 주제 분석(RTA)을 위해 평가자 간 신뢰도(IRR)를 하지 않는 것, 해석학적 현상학적 분석(IPA) 연구를 위해 100명의 참가자를 두지 않는 것 등을 뒷받침하기 위해 참고문헌을 제공합니다. 그렇게 저는 인용문과 함께 각각의 부정확한 주장(Arguments)을 방어하고 반박하는데, 이것은 소모적이며(Exhausting), 종종 리뷰어들이 뜻을 굽히지 않아서 저는 질적 연구를 출판해 주는 새로운 저널을 찾습니다.

이 과정은 여기서(그리고 다른 이들에 의해) (소모적인) 전투로 프레임 되었으며, 이는 다른 이들이 언급한 적대적인 경험을 상기시킵니다(Jamali et al., 2020). 작업의 층위는 다음 섹션(Section)에서 권력과 함께 논의될 동료 심사(Peer review) 과정의 심리적 복잡성을 암시합니다. 이는 또한 특히 신진 연구자(ECRs)가 주목한 점과도 연결됩니다: 리뷰어와 편집자의 부조화한 코멘트에 대응하기 위해 적절한 지원 시스템을 갖추는 것의 중요성(see also Watling et al., 2023)—특히 반박을 장려하는 시스템 말입니다:

코멘트에 대해 함께 논의할 수 있는 좋은 지도 팀(Team)이 뒤에 있어서 운이 좋았습니다. (C151)

리뷰어에게 정중하게 안 된다고 말할 수 있다고 상기시켜 준 것은 더 선임인 다른 팀(Team) 구성원들이었습니다. (C58)

지원은 전형적으로 저자 주위의 혹은 배후의 "팀"을 의미하며, "질적 연구(Qualitative research)에 대한 오랜 참여의 역사와 그러한 연구 출판에 있어 확고한 명성을 가진"(C163) 사람들과 함께하는 것은 눈에 띄게 도움이 되었습니다. 이는 그러한 지원에 접근(Access)할 수 없는 사람들에게 어떻게 자원을 제공할 것인가에 대한 문제를 제기합니다—우리는 이 논문(Article)이 그 점에 기여하기를 희망(Hope)합니다.

또 다른 전략은 제출한 저널이나 동일한 방법론적 접근법을 사용한 유사 저널의 논문(Article)을 인용하는 것이었습니다. 기여자들은 자신의 논문이 질적 연구(Qualitative research)에서 확립된(Established) 관행을 대표한다는 주장(Argument)을 뒷받침하기 위해 이 접근법을 사용했습니다:

저는 또한 제가 제출한 저널에 최근 출판된 논문(Article)을 자주 인용하여, 해석적/비판적 질적(Qualitative) 연구(Scholarship)가 방법론적 헌신(Commitments)을 타협하지 않고 수락된 사례들을 보여줍니다. (C24)

한 중진 연구자는 리뷰어들 간의 불일치를 자신에게 유리하게 이용하여, 리뷰어 중 한 명의 방법론적으로 부조화한 피드백(Feedback)을 무력화했다고 설명했습니다. 일부는 편집자에게 직접 연락하여 "이러한 진술들의 문제점을 알리거나"(C90), 심사 과정에 대해 불평하거나, 요구된 수정 사항이 거래를 결렬시킬 만한(Deal breakers) 것인지 확인했습니다. 이러한 전략들은 그것을 알고 있고, 그렇게 할 수 있다고 느끼는 연구자를 필요로 합니다.

다른 이들은 논문(Article)을 작성할 때 선제적(Preemptive) 전략을 사용한다고 설명했습니다. 한 ECR은 논문 내에서 왜 특정 관행이 사용되지 않았는지 설명하고 관련 문헌을 인용함으로써 비판을 선제적으로 방어하려고 노력했다고 언급했습니다. 이 전략이 항상 통하는 것은 아니었습니다. 또 다른 ECR은 자신이 이미 하지 않은 이유를 정당화했던 바로 그 일을 하도록 요청받았다고 설명했습니다.

전반적으로, 이러한 전략들은 때로는 효과적이었고, 때로는 그렇지 않았습니다. 만약 밀어붙이는 것이 통하지 않는다면, "굴복하기(Caving)"/"투항하기(Capitulating)", 타협하기 또는 다른 곳에 제출하기가 주된 대응이었습니다. 일부는 논문(Article)을 다시 수정하거나 거절당하고 싶지 않았기 때문에 리뷰어와 편집자의 요구를 따르기로 실용적인 결정을 내렸다고 설명했습니다:

저는 수정본이 다시 반려될까 봐 걱정되어(Worry) 리뷰어들에게 투항하는 편입니다. (C162)

설명하려고 노력했지만 ECR로서 저는 종종 리뷰어의 코멘트에 신세를 지고 있다는 느낌과 그것을 해결해야 한다는 압박감을 느낍니다. (C84)

이는 심사 과정에 내재된 권력을 강조하며, 이는 ECR이나 경험이 적은 질적(Qualitative) 학자들에게 잠재적으로 더 예리하게 영향을 미칩니다. 일부는 경험이 적고 자신감이 덜했을 때, 과거에 투항했던 경험을 언급했습니다:

경력 초기에는 그냥 참고 견디며(Sucked this up) 누군가에게 일정 비율을 이중(Double) 코딩하게 했습니다. 지금은 거절하고, 대신 팀(Team)이 처음부터 어떻게 코딩(Coding) 프레임워크를 개발하고 주제를 다듬는 데 관여했는지 포함시키며, 인식론적으로 이 입장을 방어합니다. (C115)

그러나 부조화한 관행을 요구하는 것은 무엇이 일치하는(Congruent) 혹은 좋은 관행으로 이해되는지(Understood as)에 대해 "미래에 영향(Play forward)"을 미칠 수 있습니다. 한 ECR은 논문(Article)에서의 투항뿐만 아니라, 그들이 질적(Qualitative) 방법을 가르치는(Taught) 방식의 변화에 대해 설명했습니다:

이 경우, 저는 테뉴어 트랙(Tenure track) 교수(Faculty)로서 이 논문(Article)을 출판해야 할 필요성을 느꼈기 때문에 그들의 요구에 전적으로 굴복했습니다(Caved). 더 나아가, 이와 같은 리뷰어/편집자의 코멘트는 제가 질적(Qualitative) 방법을 가르치는 방식에 영향을 미쳤습니다—저는 학생들이 출판하려고 할 때 마주할 이러한 기대에 대비시키기 위해 평가자 간 신뢰도(Interrater reliability) 통계/방법에 더 큰 초점을 맞추기 시작했습니다. (C83)

다른 이들은 맞서 싸우기(Fighting)와 투항하기 사이에서 줄타기를 했습니다: 그들은 리뷰어와 편집자의 코멘트를 부분적으로 수용했지만, 연구의 무결성(Integrity)을 완전히 훼손했다고 느낄 정도까지는 아니었습니다. 예를 들어:

평가자 간 신뢰도(Interrater reliability)는 제공하지 않았지만 결과에서 정서의 유병률(Prevalence)을 나타내는 몇 단어(e.g., "대부분의 참가자는 ...라고 느꼈다")를 삽입했습니다. (C132)

일부는 피드백(Feedback)에 응답할 때 리뷰어나 편집자의 기분을 상하게 할 것에 대한 두려움과, 이것이 논문(Article) 출판 및 경력 진행에 미칠 잠재적 함의를 언급했습니다. 이것은 우리를 권력과 (감정) 노동(Labor)의 문제로 이끕니다.

권력 역학, 상실, 그리고 (감정) 노동
Power Dynamics, Loss, and (Emotional) Labor

편집자에게 이의를 제기하는 것은 매우 어렵습니다. 만약 제가 편집자와 동료(Peer) 리뷰어들의 기분을 상하게 했을 때의 여파에 대한 두려움이 적었다면, 저는 답장으로 ... 코멘트 중 일부가 방법론(Methodology)과 분석에 대한 철저한 이해를 보여주지 못한다고 생각한다고 말했을 것입니다 (C156).

이 섹션(Section)은 동료 심사(Peer review) 시스템 내의 권력 역학(Power dynamics), 이것의 영향, 그리고 참여자들이 이를 헤쳐 나가며 관여했던 감정적 및 기타 노동(Labor)에 초점을 맞춥니다. 앞서 인용한 문구들은 이미 저자들이 상대적으로 무력하다고 느끼는 시스템을 환기했으며, 이는 우리에게 동료(Peer) 관여 역학이라기보다는 시험(Examination)처럼 느껴졌던 점입니다. 일부에게 있어, 이러한 권력 역학은 질적(Qualitative) 접근법에 양적(Quantitative) 접근법과 동등한 지위를 부여하지 않는 학문적/학술적 실패를 반영하기도 했습니다:

저는 이 분야에 익숙하지 않은(Familiar) 사람들이 심사를 할 수 있다고 느끼는 것은 오만의 극치라고 생각합니다. 저는 이것이 질적 연구(Qualitative research)가 어딘가 "부족하며(Less than)" 그 자체의 엄격한 방법론(Methodology)을 가지고 있지 않다는 일부 학문 분야(Disciplines) 및 분야의 태도에서 비롯된다고 느낍니다. (C78)

이전의 인용문들은 동료 심사(Peer review)에서 질적 연구(Qualitative research)의 언어와 프레이밍(Framing)이 어떻게 그것을 양적(Quantitative) 연구보다 덜한 것, 비엄격한 것으로 위치시켰는지 보여주었습니다. 일부는 방법론적으로 부조화한 코멘트가 미묘한 인종주의(Racism)와 같은 다른 유형의 부적절한 동료 심사 관행과 함께 가거나, 그것을 가리는 베일(Veil) 역할을 했다고 지적했습니다. 예를 들어, 원주민 공동체를 대상으로 한 연구는 한 리뷰어에 의해 "다소 편협한(Parochial)" 것으로 특징지어졌습니다 (C141). 또 다른 기여자는 작동 중인 글로벌 노스/사우스(Global North/South) 권력 역학(Power dynamics)에 주목했습니다:

제 경험과 "글로벌 사우스(Global South)"에서 질적 연구(Qualitative research)를 수행하고 "글로벌 노스(Global North)" 저널(심지어 비판적[Critical] 저널이라도)에 논문을 제출하는 동료들의 경험에 비추어 볼 때, 이 또한 주목할 가치가 있습니다. 종종 우리가 받는 "방법론적으로 일관성 없는 코멘트"는 지적 우월감의 미묘하고도 명백한(Overt) 어조(Tones)로 포장되어 있습니다: 이 문장을 저런 방식이 아닌 이런 방식으로 써라, (당면한 주제와 더 관련이 있을 수 있는) 현지 소스가 아닌 글로벌 노스 연구자들의 연구와 방법을 인용해라 등입니다. (C143)

이러한 설명들은 소외된 집단 출신의 연구자들에게 동료 심사(Peer review)가 끼치는 불균형한 해악을 상기시킵니다(e.g., Rodríguez-Bravo et al., 2017; Silbiger & Stubler, 2019). 많은 기여자가 방법론적으로 부조화한 심사의 영향을 언급했습니다. 부적절한 심사 코멘트는 감정적인 영향을 미쳤는데—특히 신진 연구자(ECRs)들에게 그러했습니다(see also Majumder, 2016; Watling et al., 2023). C156은 "이러한 코멘트에 완전히 압도당했다(Floored)"고 했으며, C30은 다음과 같이 느꼈다고 언급했습니다:

비참하고 자신감이 떨어졌으며, 이미 심했던 가면 증후군(Impostor syndrome)이 만연해졌습니다.

응답의 노동(Labor)을 묘사하면서, 일부는 그러한 코멘트에 대응할 때 어조(Tone)의 중요성을 언급했습니다: "정중하지만 단호하게"(C142) 대응하는 관행, "친절하고 단호하게"(C87), "인내심 있게"(C99), "존중하며"(C122), 그리고 "'달래는(Appeasing)' 언어"(C85)와 "전문적이고 친근한 어조"(C146)를 사용하는 것 등입니다. 동료 심사(Peer review)의 심리적 부담에 대한 기존 보고(e.g., Horn, 2016; Majumder, 2016; Watling et al., 2023)와 일치하게, 일부 기여자들은 방법론적으로 부조화한 리뷰어와 편집자의 코멘트에 피로감과 좌절감을 느꼈다고 보고했습니다. 후기 경력 연구자들은 그러한 코멘트가 ECR들에게 미치는 해로운 심리적 영향에 대해 우려를 표했습니다(광범위한 문헌에서도 언급됨; Hollister et al., 2023). 이러한 유형의 코멘트는 일부 ECR들로 하여금 특정 유형의 질적 연구(Qualitative research)나 질적 연구 전반을 계속해야 할지에 대해 의문을 갖게 만들었습니다:

그것은 매우 좌절감을 주며, 리뷰어들과의 힘겨운 싸움(Uphill battle)이 너무 잦기 때문에 미래에 공동 생산(Co-production) 작업을 계속하는 것을 꺼리게 만듭니다. (C162)

저는 이것이 심각한 문제라고 생각합니다—초기 경력 연구자들이 이런 종류의 조언을 받을 때 특히 매우 사기를 꺾을 수 있습니다. (C14)

일부 ECR들의 우려는 좌절감(Frustration)을 넘어섰는데, 그들은 그러한 심사가, 그리고 그에 수반되는 그들 학문 분야(Disciplines) 내 질적 연구(Qualitative research) 지식의 부재가 자신의 경력 진행에 미칠 영향을 고려했기 때문입니다. 기여자들은 방법론적으로 부조화한 코멘트를 반박하는 데 소요되는 시간(Time)—다른 곳에 더 생산적으로 쓰일 수 있었을 시간—을 지적했습니다. 일부 ECR들은 부적절한 동료 심사(Peer review) 관행 때문에 피드백(Feedback), 학습 및 개발, 지적 대화(Dialogue) 또는 논문(Article) 개선을 위한 기회를 놓치고 있다고 느꼈습니다(see also Watling et al., 2023). 예를 들어, C94는 다음과 같이 언급했습니다:

저 자신의 질적 연구 방법에 대한 이해도 분명 개선될 수 있겠지만, 훨씬 더 흥미롭고 풍요로운 논쟁 대신 반박을 통해 얕고 기본적인 논쟁(Arguments)을 해야 한다는 것은 좌절감을 줍니다.

출판 의무는 ECR들에게 추가적인 압박을 가중시켰고, 이는 부정적인 동료 심사(Peer reviews)를 받을 때 불안을 야기할 수 있습니다(Horn, 2016):

극도로 불공평해 보이고 내 경력을 위태롭게 하는 코멘트에 대응할 기회가 없었던 적이 여러 번 있었습니다. 그런 코멘트에 대응하는 것은 특히 초기 경력 단계에서 너무 오랜 시간이 걸립니다. 질적(Qualitative) 연구자로서 제 직업(Profession)에 대한 동기를 유지하는 것이 개인적으로 힘들었습니다. (C146)

초기 경력 연구자로서, 저는 최근 두 번이나 리뷰어들로부터 질적(Qualitative) 논문을 위한 제 표본이 통계적으로 유의하지 않다는 말을 들었습니다. 자신의 전문적인 경력이 그것을 존중(Respect)하지 않거나 이해하지 못하는 사람들에 의해 결정된다는 것을 아는 것은 절대적으로 비참한 일(Gutting)입니다. (C33)

일부는 더 오래 근무했거나 더 경험이 많은 리뷰어와 편집자들에게 질적 연구(Qualitative research)에 대해 "교육해야만 했다(Having to educate)"(P127)고 보고했습니다:

리뷰어들에게 질적(Qualitative) 방법에 대해 가르쳐야 한다는 것은 스트레스 받고 좌절감을 주는 일이며(애초에 그들이 논문을 심사할 방법론적 전문성[Expertise]을 갖추었다고 동의했음에도 불구하고), 편집자들 또한 더 잘 알지 못하거나 이러한 리뷰를 논문 거절의 구실로 사용할 때 실망스럽습니다. (C144)

동료 심사(Peer review)는 좋을 때는 좋지만, 나쁠 때는 종종 나쁩니다. 왜냐하면 기본적으로 리뷰어/편집자들에게 '질적 연구 개론(Qual 101)'을 가르치는 셈이고 그것은 극도로 지루하기 때문입니다. 저는 제 작업이 개선되거나 명확해진다고 느끼기보다, 제 작업을 심사해서는 안 될 사람들을 위해 노동(Labor)에 참여하고 있다고 느낍니다. ... 박사 과정/초기 경력 연구자로서 동료 심사(Peer review)가 종종 당신의 아이디어나 당신이 이야기하는 문헌에 진지하게 관여하는 사람들을 포함하지 않는다는 것은 정말로 실망스럽습니다. 대신, 당신은 그저 어떤 리뷰어의 손을 잡고 질적 연구(Qualitative research)의 기초를 안내하고 있으며 모두의 시간이 낭비되고 있습니다. (C8)

한 기여자는 방법론적으로 부조화한 동료 심사를 통해 질적 연구(Qualitative research)의 타당성(Validity)과 무결성(Integrity)에 대한 도전(Challenges)이 가져오는 현실 세계의 결과를 고려할 때, 부조화한 동료 심사(Peer review) 경험이 자신을 어떻게 느끼게 만들었는지를 "극적으로" 표현했습니다:

이것이 얼마나 극적으로 들리는지 알고 있지만, 리뷰어들이 이 방법론(Methodology)과 분석을 이해하지 못한다는 현실은 제가 박사 학위를 하느라 시간을 낭비했다고 생각하게 만듭니다. ... 만약 제가 출판할 수 없다면, 정규직 자리를 확보하는 것은 믿을 수 없을 정도로 어려울 것입니다. 저는 이 연구의 가치를 강하게 믿지만, 시간을 되돌려 그냥 박사 학위를 하지 않았으면 좋겠다고 바랍니다(Wish). (C156)

이 시스템 내에서, 일부 ECR들은 출판이 필요했기 때문에 방법론적으로 부조화한 요구를 따라야 할 의무감을 느꼈다고 보고했습니다:

테뉴어 트랙(Tenure track) 교수(Faculty)라는 저의 지위 또한 저로 하여금 리뷰어의 요구에 동의하지 않더라도 출판하고 따르도록 압박감을 느끼게 만듭니다. (C83)

이러한 알고도 하는 타협(knowing compromise)(see also Overall, 2015)은 불평등한 권력을 강조하며, 동료 심사(Peer review)가 어떻게 의도된 것과 정반대로 행해지고 품질에 반(反)하여 작동할 수 있는지를 입증합니다. 다른 이들에게는 방법론적 무결성(Integrity)을 가지고 질적 연구(Qualitative research)를 계속 수행하고 출판하는 작업이 무엇보다 중요했습니다—C161이 사용한 언어는 그것이 필요로 할 수 있는 노력을 전달합니다:

저는 학과에서 혼자라고 느끼며, 끊임없이 싸우고(Fighting) 있습니다. ... 저는 질적 연구(Qual)에 열정적이며, 계속 싸울 것입니다—저는 이 고지에서 죽을 것입니다(I will die on this hill)!!!!

이것은 질적(Qualitative) 연구자들이 "동화(Assimilation), 오용, 그리고 흡수(Co-option)에 저항하기 위해 방법론적 다원주의(Methodological pluralism)와 질적 패러다임(Paradigms)의 변혁적 가능성을 보존하도록 굳건히 버틸 것"을 요구한 Morrill and Rizo (2023, p. 416)의 주장을 메아리(Echoes)칩니다. 비록 우리는 이에 동의하지만, 우리의 연구는 이것이 가져올 수 있는 부담을 보여줍니다. 이미 제시된 인용문 전반에 걸쳐, 기여자들의 좌절감(Frustration)은 명백하며, 그러한 심사가 미치는 정동적(Affective) 영향과 이에 대응하기 위해 필요한 노동(Labor) 또한 명백합니다. C78은 이를 적나라하게 환기했습니다:

저는 이런 코멘트를 받는 것에 너무 지쳤습니다. 이것이 제가 이런 일을 겪은 유일한 경우가 아니며, 단지 가장 최근의 일일 뿐입니다.

질적 논문의 동료 심사 무결성 향상을 위한 제언
Recommendations for Improving the Integrity of Peer Review of Qualitative Articles

여기서 우리는 질적 연구(Qualitative research)의 동료 심사(Peer review)에 대한 방법론적 무결성(Integrity)을 향상하기 위한 기여자들의 제언을 종합(Synthesize)합니다(이는 때때로 기존의 제언들과 일치하기도 했습니다; e.g., Braun & Clarke, 2023; Levitt et al., 2018). 우리는 제안(Suggestions)을 (a) 저널; (b) 편집자; 그리고 (c) 리뷰어의 책임으로 분류했습니다.

일부는 저널/편집 위원회가 저널의 "가치" 선언(목표 및 범위[Aims and scope])에서 질적 연구(Qualitative research)가 범위 내에 있는지, 만약 그렇다면 어떤 유형(Types)의 질적 연구가 그 범위에 속하는지를 명확히 해야 한다고 제안했습니다. 보고 지침이나 체크리스트(Checklists)에 대한 저널의 사용에 대해서는 엇갈린 관점(Perspectives)이 있었으며—이는 더 넓은 범위에서의 서로 다른 입장을 반영합니다(e.g., Allen et al., 2019; Barbour, 2001; Braun & Clarke, 2024; Buus & Perron, 2020; Herber et al., 2020; Spigt & Arts, 2010). 체크리스트(등)에 대해서는 신중론이 표명되었습니다:

품질 평가의 수단으로서 [그것들은] 다소 제한적이며, 경험 많고 지식 있는 리뷰어가 제기할 핵심적인 개념적 질문들을 피하려는 경향이 있습니다. (C124)

일부는 많은 체크리스트(Checklists)가 보건 연구에서 후기 실증주의(Postpositivism)의 지배(Dominance)를 입증한다고 주장하며(Buus & Perron, 2020), 편집 위원회/편집자들이 COREQ(Tong et al., 2007)나 비판적 평가 기술 프로그램(Critical Appraisal Skills Programme)(2018)과 같은 체크리스트의 제한된 적용 가능성을 인식하기를 원했습니다. 한 후기 경력 연구자는 일부 편집자들이 이 논문(Article)에 대한 반응으로 동료(Peer) 리뷰어들에게 체크리스트나 보고 지침 사용을 의무화할까 봐 우려를 표했는데—그들은 이것이 정답이 아니라고(Not) 느꼈습니다. 더 유익한 것은 편집 위원회와 리뷰어 풀(Pool)에 질적(Qualitative) 전문가를 포함하도록 보장하는 것입니다. 그리고 다른 리뷰어들과 함께 질적(Qualitative) 방법론(Methodology)에 전문성(Expertise)을 갖춘 부편집자나 리뷰어가—방법론에 초점을 두고—질적 논문을 동료 심사(Peer review)해야 합니다(see also Cooper, 2009; Herber et al., 2020; Spigt & Arts, 2010).

편집자에 대한 핵심 요구사항은 "아무 리뷰어면 된다"는(C17) 입장을 거부하고 적절한 방법론적 전문성(Expertise)을 갖춘 리뷰어를 선정하는 것이었으며(see also Herber et al., 2020), 여기에는 그러한 전문성에 대해 리뷰어를 선별(Screening)하는 것도 포함됩니다(see Cooper, 2009; Majumder, 2016). 기여자들은 동료(Peer) 리뷰어를 위한 "역량(Competence)의 표준"(C84)과 동료 심사(Peer review)를 위한 훈련(Training)의 필요성을 언급했습니다(문헌에서 널리 권장됨; e.g., Cooper, 2009; Majumder, 2016; Overall, 2015). 편집자에 대한 또 다른 핵심 제언은 동료 리뷰어가 부조화한 코멘트를 할 때 편집자가 개입해야 한다는 것입니다—리뷰어의 의견을 기각하고 저자에게 일관성 없는 코멘트를 무시하라고 조언하는 것뿐만 아니라, 리뷰어에게 피드백을 주고 교육하는 것까지 포함해서 말입니다.

비질적(Non-qual) 혹은 특정 전통(Tradition)의 리뷰어로부터 온 코멘트를 다루는 편집자들은 더 주의를 기울여야 합니다. 심사가 어렵다는 것은 알지만, 편집자들은 일부 리뷰어들의 포화(Saturation)나 일반화 가능성에 대한 제안(Suggestions)이 그냥 명백히 틀렸다는 것을 더 강력하게 명시해야 하며—이것을 리뷰어들에게 말해줘야 합니다!!! 그것이 그들이 정보를 얻을 수 있는 유일한 방법일지도 모릅니다. 우리는 리뷰어들이 자신의 방법론적 약점을 인식하거나, 질적 연구(Qual)는 그저 질문을 던지고 종이에 비웃음을 적는 것이라는 일부의 인식을 바꿀 만큼 충분히 겸손할 것이라고 의존할 수 없습니다. (C127)

편집자인 한 참여자는 정확히 이러한 유형의 개입에 참여하고 있다고 설명했습니다:

저는 그러한 논문들에 대해 적어도 한 명의 리뷰어는 질적(Qualitative) 연구자가 되도록 항상 보장합니다. 저는 질적 방법을 부정확하게 비판하는 양적(Quantitative) 연구자들의 코멘트가 옳지 않다면 항상 기각(Overule)합니다. 저는 또한 그들에게 사적으로 메시지를 보내 왜 그 코멘트가 옳지 않은지 설명하는데, 이것이 그들이 미래에 질적 논문에 대한 리뷰를 개선하는 데 도움이 되기를 희망(Hope)해서입니다. (C118)

부적절한 동료 심사(Peer review)에 대한 더 큰 편집상의 개입에 대한 이 제언은 다른 곳에서도 언급된 바 있습니다(Cooper, 2009; Hollister et al., 2023).2

리뷰어 자신들에 관해서는, 일부는 만약 동료(Peer) 리뷰어들이 적절한 방법론적 지식을 갖추지 못했다면 코멘트를 주제(Subject matter)에 한정하거나 초대를 수락하지 말아야 한다고 제안했으며, 이는 동료 심사(Peer review)에 대한 기존의 윤리적/훌륭한 관행 지침(Practice guidelines)과 일치합니다(e.g., COPE, 2017; Napolitani et al., 2017; Spigt & Arts, 2010). 자신의 지식과 전문성(Expertise)의 한계에 대해 솔직하게(Honestly) 성찰하는 것 또한 리뷰어들에게 권장되었습니다(see also Herber et al., 2020):

만약 당신이 질적(Qualitative) 연구자가 아니고 다양한 질적 접근법의 뉘앙스를 이해하지 못한다면, 질적 논문(Articles)을 심사하지 말거나 적어도 당신의 리뷰어 피드백(Feedback)에서 이를 인정하고 당신이 잘 모르는 것에 대해서는 코멘트하지 마십시오. (C101)

개선을 위한 기여자들의 제안(Suggestions)은 때때로 변화를 실행하는 데 따르는 도전(Challenges)에 대한 인식 속에서 표현되었습니다—많은 분야에서 동료 심사(Peer review) 및 저널 편집의 자발적(Voluntary)이고 무보수인 성격, 편집자들이 리뷰어를 확보하는 데 겪는 어려움의 증가(적절한 지식을 갖춘 리뷰어는 말할 것도 없고; Overall, 2015), 그리고 깊은 질적(Qualitative) 지식을 갖춘 잠재적 리뷰어 풀의 한계 등을 포함해서 말입니다. 그러나 변화를 실행하지 않았을 때의 영향—개인과 더 넓게는 학문 연구(Scholarship)에 미치는—은 더 나은 질적 심사 관행에 대한 시급한 필요성을 시사합니다.

결론 Conclusions

기여자들에 의해 묘사된 부적절한 동료 심사(Peer review) 관행들, 특히 후기 실증주의적 가정과 규범의 보편화(Universalizing)와 관련된 관행들은, "질적(Qualitative) 방법들이 과학주의(Scientism)에 의해 제약받아 왔으며 후기 실증주의 프레임워크 내로 포섭(Subsumed)되었다"는 Morrill and Rizo (2023, p. 404)의 주장(Argument)을 입증합니다(see also Gough & Lyons, 2016). 그들은 출판 절차가 질적 연구(Qualitative research)의 다양성(Diversity)을 제한할 수 있다고 언급했습니다. 우리의 연구는 동료 심사가 이 현상에 기여하는 바를, 그리고 (다양한 접근법의) 질적 연구에 익숙하지 않은 리뷰어와 편집자들, 그리고 출판 압력이 어떻게 질적 연구의 방법론적 무결성(Integrity)을 훼손(Compromise)할 수 있는지를 입증합니다. Morrill and Rizo는 방법론적 무결성을 "흡수(Co-option)에 대항하는 급진적 도구"(p. 404)로 주장했습니다. 우리의 연구는 많은 질적 연구자가 실제로 방법론적으로 부조화한 코멘트에 반발(Push back)하고 있음을 입증하지만, 항상 성공적인 것은 아닙니다. 방법론적으로 부조화한 심사는 때때로 지식 생산의 문지기(Gatekeeping)를 위한 도구로 작용하여, 리뷰어와 편집자가 연구를 수행하는 올바른(Right) 방법을 정의하기도 했습니다(see Atjonen, 2018). 동료 심사(Peer review)는 학습과 기술 구축을 위한 잠재력(Potential)을 제공합니다. 그러나 기여자들이 보고한 경험들은 종종 동료 심사(Peer review)를 위한 윤리적이고 훌륭한 관행 지침(Practice guidelines)(e.g., Allen et al., 2019; COPE, 2017)에서 논의된 건설적인(Constructive) 피드백—피드 포워드(Feeding forward)(Atjonen, 2018)—과는 거리가 멀었습니다.

우리 기여자들에 의해 묘사된 방법론적으로 부조화한 코멘트의 종류가 1990년대 후반/2000년대 초반(e.g., Clark, 2003; Martin et al., 1999; Zaruba et al., 1996)과 그 이후(e.g., Braithwaite et al., 2014; Herber et al., 2020)에 기록된 것들을 메아리(Echo)친다는(상기시킨다는) 사실은, 수십 년에 걸친 질적 연구(Qualitative research)에 대한 열악한 심사의 지속성(Persistence)을 강조하며, 심지어 최근 질적 연구가 더 널리 가치 있게 여겨지고 사용됨에도 불구하고 좌절스러울 만큼 변한 것이 거의 없음을 시사합니다. 우리는 동료(Peer) 리뷰어와 편집자들에게 동료 심사(Peer review)의 윤리적 원칙과 책임을 진지하게 받아들이고 질적 연구(Qualitative research) 동료 심사의 무결성(Integrity)을 향상하기 위한 기여자들의 제안(Suggestions)을 고려할 것을 촉구합니다. 그리고, 우리는 출판사들3이 이 과업에서 리뷰어와 편집자를 지원하고, 동료 심사의 방법론적 무결성과 모든 형태의 질적 연구의 품질이 번영(Flourish)할 수 있는 동료 심사 시스템을 개발할 것을 촉구합니다.

'논문 읽기 (with AI)' 카테고리의 다른 글

Mixed up: 보건 전문직 교육 혼합 연구 방법 연구에서의 통합(Integration)에 대한 증거 (Adv Health Sci Educ Theory Pract. 2026) (0)	2026.02.05
보건의료전문직교육 연구에서 종단적 질적 연구(LQR)를 수행하는 방법 (Clin Teach. 2025) (0)	2026.02.05
질적 연구에서의 신중한 표집: 보건 의료 교육 연구 엄격성의 특징 (Clin Teach. 2025) (0)	2026.02.05
주제 분석: 좋은 놈, 나쁜 놈, 추한 놈 (European Journal for Qualitative Research in Psychotherapy, 2021) (0)	2026.02.05
주제 분석을 위한 개념적 사고와 설계적 사고 (Qualitative Psychology, 2022) (0)	2026.02.05

의대에서 교육하고 있습니다.