Lingard L, Albert M, Levinson W. Grounded theory, mixed methods, and action research. Bmj. 2008 Aug 7;337:a567.
이러한 일반적으로 사용되는 방법들은 특정 연구 질문과 맥락에 적절하다
질적 연구는 다양한 학문적 기원과 도구를 가진 여러 방법론적 접근 방식을 포함한다. 본 논문에서는 일반적으로 사용되는 세 가지 접근 방식인 근거이론(Grounded Theory), 혼합 방법(Mixed Methods), 실행 연구(Action Research)에 대해 논의한다. 본 논문은 이러한 방법론을 연구하는 방법을 안내하기보다는 독자들이 문헌을 읽을 때 이러한 방법론을 접하게 될 경우를 대비한 배경 정보를 제공하는 데 초점을 맞추고 있다. 우리는 각각의 접근 방식이 적절하게 사용될 수 있는 경우, 주요 특징, 그리고 엄격성(rigour)의 요소를 설명할 것이다.
These commonly used methods are appropriate for particular research questions and contexts
Qualitative research includes a variety of methodological approaches with different disciplinary origins and tools. This article discusses three commonly used approaches: grounded theory, mixed methods, and action research. It provides background for those who will encounter these methodologies in their reading rather than instructions for carrying out such research. We describe the appropriate uses, key characteristics, and features of rigour of each approach.
근거이론: 무엇이며 언제 사용되는가?
근거이론(Grounded Theory)은 글레이저(Glaser)와 스트라우스(Strauss)에 의해 개발되었다. 이 이론의 핵심은 사회적 현상에 대한 이론을 생성하는 데 있으며, 즉, 체계적인 데이터 분석을 통해 "근거를 둔(grounded)" 보다 높은 수준의 이해를 개발하는 것이다. 근거이론은 사회적 상호작용이나 경험을 연구할 때 기존 이론을 검증하거나 확인하는 것이 아니라, 특정 과정(process)을 설명하는 것을 목표로 하는 경우에 적절하다. 연구자들은 특정 학문적 관심, 배경 가정(때때로 "민감화 개념(sensitising concepts)"이라고 불림), 해당 분야의 문헌에 대한 이해를 가지고 연구를 시작하지만, 가설을 개발하거나 검증하지는 않는다. 대신, 이론은 데이터에 대한 면밀하고 신중한 분석을 통해 도출된다.
Grounded theory: what is it and when is it used?
Grounded theory was developed by Glaser and Strauss. Its main thrust is to generate theories regarding social phenomena: that is, to develop higher level understanding that is “grounded” in, or derived from, a systematic analysis of data. Grounded theory is appropriate when the study of social interactions or experiences aims to explain a process, not to test or verify an existing theory. Researchers approach the question with disciplinary interests, background assumptions (sometimes called “sensitising concepts”) and an acquaintance with the literature in the domain, but they neither develop nor test hypotheses. Rather, the theory emerges through a close and careful analysis of the data.
근거이론의 주요 특징은 무엇인가?
근거이론의 주요 특징은 반복적 연구 설계(iterative study design), 이론적(목적적) 표집(theoretical (purposive) sampling), 그리고 체계적인 분석 시스템(system of analysis)이다.
- 반복적 연구 설계는 데이터 수집과 분석이 동시에 이루어지는 순환적 과정을 의미하며, 한 번의 분석 결과가 다음 데이터 수집 단계에 영향을 미친다. 예를 들어, 임종을 앞둔 가족 구성원을 돌보는 경험을 연구하는 경우, 가족 돌봄 제공자와의 초기 인터뷰 분석에서 "돌봄 부담(care burdens)"이라는 주제가 도출될 수 있으며, 이후 다양한 시점에서 돌봄을 경험한 참가자들을 추가적으로 인터뷰함으로써 이 주제를 더욱 구체화할 수 있다. 이후 데이터 수집의 분석을 통해 새로운 요소를 추가하며, 결과적으로 "돌봄 부담" 이론이 더욱 정교해지는 것이다.
- 이러한 반복적 설계와 일관성을 유지하기 위해 표집 과정은 이론적 근거를 바탕으로 진행된다. 즉, 연구 초기부터 표집이 확정되는 것이 아니라, 분석 과정이 진행됨에 따라 표본이 목적적으로 선정된다. 참가자들은 형성 중인 이론을 확인하거나 도전할 수 있는 역량을 가진 사람들로 선정된다.
- 근거이론 연구에서 데이터 분석의 핵심 원칙은 지속적 비교(constant comparison) 이다. 연구자는 데이터에서 주목할 만한 사안을 발견하면, 이를 다른 사례와 비교하여 유사점과 차이점을 찾는다. 이러한 지속적 비교 과정을 통해 다양한 형식적 접근법을 사용할 수 있으며, 새로운 이론적 구성 요소들이 계속해서 정제된다. 이는 반복적으로 이루어지는 데이터 수집에서 나온 "새로운" 사례들과 비교됨으로써 근거이론 분석에서 나타나는 깊이와 풍부함을 만들어낸다.
반복적 연구 설계, 이론적 표집, 체계적 분석은 서로 밀접하게 연결되어 있다. 반복적 연구 설계는 이론적 표집이 뒷받침되어야 의미가 있으며, 지속적 비교 분석은 새로운 데이터와 기존 데이터를 통합할 수 있도록 해준다. 따라서 연구에서 이 세 가지 요소를 모두 활용해야 새로운 개념적 모델(예: "임상적 감독(clinical oversight)")을 생성할 수 있으며, 기존의 전통적 사고를 넘어선 이론을 개발할 수 있다.
What are the key features of grounded theory?
Key features of grounded theory are its iterative study design, theoretical (purposive) sampling, and system of analysis. An iterative study design entails cycles of simultaneous data collection and analysis, where analysis informs the next cycle of data collection. In a study of the experience of caring for a dying family member, for instance, preliminary analysis of interviews with family care providers may suggest a theme of “care burdens,” and this theme could be refined by interviewing participants who are at various points in the care trajectory, who might offer different perspectives. Analysis of the subsequent phase of data collection will lead to further adaptations of the data collection process to refine and complicate the emerging theory of care burdens.
In keeping with this iterative design, the sampling process proceeds on theoretical grounds: the sample is not set at the outset but is selected purposefully as the analysis progresses; participants are chosen for their ability to confirm or challenge an emerging theory.
The central principle of data analysis in grounded theory research is constant comparison. As issues of interest are noted in the data, they are compared with other examples for similarities and differences. Through the process of constant comparison, for which a number of formal approaches are available, emerging theoretical constructs are continually being refined through comparisons with “fresh” examples from ongoing data collection, which produces the richness that is typical of grounded theory analysis.
Iterative study design, theoretical sampling, and system of analysis are intimately related. An iterative study design requires theoretical sampling for iterations to be meaningful, and constant comparative analysis allows the integration of new and existing data in this iterative cycle, towards a well-grounded theory. Therefore, a study must use all three of these features to allow the emergence of new conceptual models—such as “clinical oversight”—that extend beyond conventional thinking.
혼합 방법: 무엇이며 언제 사용되는가?
혼합 방법 연구(Mixed Methods Research)는 질적 연구와 양적 연구의 요소를 결합하여 복잡한 연구 질문을 다루는 과정에서 일관된(converging) 결과를 도출하는 방법이다. 질적 연구와 양적 연구는 가치와 과정 측면에서 긴장 관계(tensions)를 가지지만, 이러한 긴장이 새로운 통찰을 만들어낼 수도 있다. 의학 분야에서는 건강의 심리사회적 결정 요인(psychosocial determinants of health)과 의료의 인간적 측면(human aspects of medical care)에 대한 관심이 증가하면서 혼합 방법이 등장하였다. 예를 들어, 당뇨병 환자의 의료 서비스 질을 연구하는 경우, 연구자는 발 및 안과 검진의 빈도, 혹은 당화혈색소(HbA1c) 농도를 측정할 수 있으며, 동시에 환자 인터뷰를 통해 이러한 목표를 달성하는 데 존재하는 장애(barriers)에 대해 조사할 수 있다.
Mixed methods: what is it and when is it used?
Mixed methods research combines elements from both qualitative and quantitative paradigms to produce converging findings in the context of complex research questions. There are tensions between these methods in terms of their values and processes, but these very tensions can generate new insights. In medicine, mixed methods have arisen in the wake of attention to the psychosocial determinants of health and the human aspects of medical care. For instance, a study of quality of care in people with diabetes might measure the frequency of foot and eye examinations, or glycated haemoglobin (HgA1c) concentrations, and interviews with patients might address barriers to achieving these goals.
혼합 방법의 주요 특징은 무엇인가?
혼합 방법의 결합은 하나의 연구 내에서 이루어질 수도 있고, 연구 프로그램에서 여러 개의 연구를 통해 이루어질 수도 있다. 혼합 방법 전략은 명확하게 정의되고, 연구 방법의 순서(동시적 적용, 질적 방법 우선, 양적 방법 우선), 연구 방법 간의 우선순위(동등한 비중, 특정 방법 우선 적용), 그리고 통합 방식과 시기(완전한 통합 또는 부분적 통합, 데이터 수집 단계, 분석 단계, 해석 단계에서의 통합)에 대한 정당성이 뒷받침되어야 한다.
예를 들어, 간호사들이 의료 오류(medical error)에 대해 어떻게 인식하는지를 연구하는 경우, 먼저 태도 설문조사(attitude survey)를 시행한 후, 초점을 맞춘 집단 토론(focus group discussions)을 진행할 수 있다. 이를 통해 다양한 태도를 가진 참가자들을 선정하여 의료 오류에 대한 태도의 차이가 실제로 어떠한 영향을 미치는지 탐색할 수 있다. 이 연구에서는 데이터 수집과 분석 과정에서 질적 방법과 양적 방법이 결합되며, 연구의 주요 목표에 따라 양적 연구가 먼저 시행되지만, 궁극적으로 질적 연구가 더 중요한 역할을 하게 된다.
혼합 방법 연구의 핵심은 연구 방법 간의 명확하고 전략적인 관계를 설정하는 것이다. 이렇게 함으로써 개별적인 방법이 아니라 전체적으로 데이터가 수렴되거나(triangulate) 통합되어 단일 방법만 사용했을 때보다 더 깊은 통찰을 제공할 수 있다. 질적 연구와 양적 연구는 서로 다른 전통에서 기원한 방법론이므로, 혼합 방법 연구는 이 두 접근 방식 사이에서 적절한 균형을 찾는 것이 중요하다. 질적 연구는 귀납적(inductive), 주관적(subjective), 맥락 중심적(contextual) 접근 방식을 강조하는 반면, 양적 연구는 연역적(deductive), 객관적(objective), 일반화(generalisation)를 중시한다. 하지만 이러한 경향은 절대적인 것이 아니며, 상호 배타적인 것도 아니다. 좋은 혼합 방법 연구는 두 패러다임의 기준(criteria)를 어떻게, 그리고 왜 통합하는지를 명확하게 설명해야 한다.
What are the key features of mixed methods?
The mixing of methods may happen within one study or across several studies in a research programme. The strategy for mixing methods must be explicit and justified in terms of the sequence of methods (concurrent, qualitative first, or quantitative first), the priority among methods (equal, or either method prioritised), and the nature and timing of integration (full or partial, during data collection, analysis, or interpretation). A study of nurses’ perceptions of medical error might first distribute an attitude survey, followed by focus groups, so that the focus groups can be organised to include participants with a range of attitudes for the purposes of exploring the implications of varying attitudes towards error. In this study, the methods are integrated during data collection and analysis, with the quantitative method first in the sequence and the qualitative method prioritised in terms of the dominant aim of the research.
Central to the effectiveness of a mixed methods study is a clear and strategic relationship among the methods in order to ensure that the data converge or triangulate to produce greater insight than a single method could. Because qualitative and quantitative methods derive from different traditions, mixed methods research must take care to negotiate back and forth between these different approaches rather than dichotomising their values and methods. Qualitative research emphasises an inductive-subjective-contextual approach and quantitative research emphasises a deductive-objective-generalising approach, but these broad tendencies are neither absolute nor mutually exclusive. Good mixed methods research negotiates these tendencies by articulating how and why criteria from both paradigms are integrated.
실행 연구: 무엇이며 언제 사용되는가?
실행 연구(Action Research, 또는 지역사회 기반 연구(Community-Based Research), 참여형 실행 연구(Participatory Action Research), 협력적 탐구(Collaborative Inquiry)라고도 함)에서는 연구가 참가자들에게 적용되거나 수행되는 것이 아니라, 연구 참가자들이 연구자들과 협력하여 연구를 설계, 수행, 통합하는 방식으로 진행된다. 실행 연구는 해방적 사회 이론(emancipatory social theory)을 기반으로 하며, 연구 과정을 민주화하는 것을 목표로 한다. 실행 연구는 연구자와 실무자가 공동으로 문제를 정의하고, 윤리적으로 수용 가능한 틀 내에서 긍정적인 변화를 발견하고 실현하기 위해 협력하는 반복적 과정(iterative process)이다.
예를 들어, 연구자와 지역사회 지도자들이 지역 교회, 커뮤니티 센터, 학교에서 설문조사나 인터뷰를 수행하며 비만 예방 접근 방식을 탐색할 수 있다. 실행 연구는 지역적 해결책과 일반화 가능한 지식 간의 긴장을 수용하기 때문에 연구 결과를 보다 보편적으로 적용할 수 있도록 돕는다.
Action research: what is it and when is it used?
In action research studies (also referred to as community-based research, participatory action research, or collaborative inquiry), research is not done on or with participants; research is designed, carried out, and integrated by the participants in partnership with the researchers. Based in emancipatory social theory and designed to democratise the research process, action research is an iterative process in which researchers and practitioners act together in the context of an identified problem to discover and effect positive change within a mutually acceptable ethical framework. For example, researchers and community leaders might explore approaches to obesity prevention through surveys or interviews conducted in local churches, community centres, or schools. Because it embraces a tension between local solutions and transferable knowledge, action research can help make results of such research more generally applicable.
결론
이러한 방법들은 기존의 전통적인 사고방식에 도전하고, 다차원적 통찰(multi-dimensional insights)을 제공하며, 지역적 해결책(local solutions)을 제시함으로써 임상 및 의료 서비스 연구 질문에 대한 답을 찾는 데 유용할 수 있다. 박스 4는 이러한 접근 방식을 사용하여 작성된 연구 논문에서 확인해야 할 주요 요소들을 나열하고 있다.
Conclusion
These methods can be useful in answering clinical and health delivery research questions in ways that challenge conventional thinking, offer multidimensional insights, and provide local solutions. Box 4 lists key elements to look for in research papers written using each of these approaches.
박스 1: 근거이론 연구
응급실과 입원 병동(일반내과)에서 이루어진 임상 감독(clinical supervision)에 대한 연구는 인터뷰와 관찰을 활용하여 진행되었다. 연구의 목표는 이러한 환경에서 임상 교사들이 환자 안전을 보장하기 위한 감독과 수련의들에게 충분한 자율성을 부여하여 역량을 개발하도록 하는 균형을 어떻게 유지하는지 이해하는 것이었다. 환자 안전에 대한 관심이 증가하는 시대에서, 연구자들은 정책 및 연구를 위한 개념적 모델을 개발하는 것을 목표로 삼았다.
주 연구자(의사 면허 소지자)와 훈련된 연구 보조원이 두 개의 대학병원에서 12개의 내과 및 응급의학 교수진 팀을 대상으로 정규 임상 활동 중 비참여 관찰(non-participant observations)을 수행하였다. 이 과정에서 연구자들은 수련의와 교수 간의 상호작용에 초점을 맞췄다. 관찰 기간 중과 이후에 연구자들은 교수진, 수련의, 간호사 등 65명의 팀 구성원을 대상으로 감독에 대한 인터뷰를 진행하였다.
연구자들은 연구 전반에 걸쳐 필드노트(field notes)와 인터뷰 전사본(transcripts)을 지속적으로 분석하는 반복적 접근(iterative approach)을 사용하였다. 이를 통해 이후 데이터 수집 과정에서 도출된 주요 주제들을 심화 연구할 수 있었다. 또한, **포화 표집(saturation sampling)**을 활용하여 데이터에서 새로운 주요 이슈가 더 이상 등장하지 않을 때까지 관찰과 인터뷰를 지속하였다. 네 개의 서로 다른 환경에서의 관찰과 교수 및 수련의와의 인터뷰 등 여러 개의 데이터 세트를 삼각 검증(triangulation)하여, 연구자들은 임상 교사들이 활용하는 다양한 감독 전략(clinical oversight)의 범위와 유형을 포괄하는 개념적 모델을 개발하였다.
Box 1 Grounded theory study
A study of clinical supervision using interviews and observations took place in the emergency departments and inpatient teaching wards (general internal medicine) in two teaching hospitals. Its aim was to understand how clinical teachers in these settings balanced the goals of supervising trainees to ensure patient safety and allowing trainees sufficient independence to develop their competence. In an era of increasing concern for patient safety, the authors aimed to develop a conceptual model of clinical supervision to inform and guide policy and research.
The principal author (a licensed physician) and a trained research assistant conducted non-participant observations of 12 internal medicine and emergency medicine teaching teams during regular clinical activities. Observations focused on the interactions among trainees and teachers. During and after the observation phase they interviewed 65 team members (teachers, trainees, and nurses) about supervision.
The researchers used an iterative approach to analyse field notes and interview transcripts on an ongoing basis throughout the study. This allowed them to pursue emergent themes in subsequent data collection. Saturation sampling was used, in which observations and interviews stopped when no new, dominant issues were emerging in the dataset. Triangulation among multiple datasets (observations in four distinct settings, interviews with teachers and trainees) provided the basis for a comprehensive model of the range and pattern of supervision strategies (clinical oversight) used by clinical teachers on these teams.
박스 2: 혼합 방법 연구
돌봄 제공자의 부담(caregiver burden)에 대한 연구는 장애 아동을 양육하는 어머니들의 사회적 경험을 보다 깊이 이해하는 것을 목표로 하였다. 연구자들은 어머니들이 인식하는 돌봄 부담의 본질과 어머니의 돌봄 역할에서 얻을 수 있는 이점(benefits)에 대해 탐색하기 위해 동시적(concurrent) 혼합 방법 접근을 활용하였다. 이를 위해 장애 아동을 둔 어머니 81명을 대상으로 설문 조사를 진행한 후, 1~3년 뒤 그중 7명을 목적적 표집(purposeful sampling)하여 심층 인터뷰를 진행하였다.
인터뷰 참가자는 설문 응답자의 다양한 배경 특성을 대표할 수 있도록 선정되었다. 인터뷰에서 어머니들은 자녀의 출생과 진단 과정, 가족 및 지역사회(이웃, 친구, 서비스 제공자, 더 넓은 지역사회)와의 상호작용에 대해 이야기하도록 요청받았다. 연구자들은 낙인(stigma), 부담(burden), 인식된 이점(perceived benefits)에 대해 직접적인 질문을 하지 않고, 대신 부모로서의 경험이 자신에게 어떤 영향을 미쳤는지를 서술하도록 유도하였다.
분석 과정에서 연구자들은 설문조사와 인터뷰 데이터를 삼각 검증(triangulation)하여 단일 방법만 사용했을 때보다 더 깊이 있는 통찰을 도출하였다. 예를 들어, 설문조사에서는 사회적 구조(sociostructural constraints)로 인해 돌봄 부담이 발생한다는 점이 강조되었지만, 인터뷰에서는 이러한 구조적 제한에도 불구하고 대부분의 어머니가 장애 아동을 키우는 것에서 의미 있는 이점을 찾는다는 점이 밝혀졌다. 하지만 이 같은 긍정적인 인식은 낙인(stigma)을 경험할 경우 부정적인 영향을 받을 수 있다.
Box 2 Mixed methods study
A study of caregiver burden sought to extend understanding of the social experience of mothering children with disabilities. It aimed to explore in depth the nature of the burdens perceived and the possibility of benefits of the maternal caregiving role through a concurrent, mixed method approach. It surveyed 81 mothers of children with disabilities and followed up with in-depth interviews with a purposeful sample of seven of these mothers 1-3 years after the survey.
Interviewees were selected on the basis of the degree to which they represented the diversity of background characteristics among survey participants. In interviews, mothers were asked to share the stories of their children’s births and diagnoses and their own and their children’s interactions with family members, neighbours, friends, service providers, and members of the wider community. They were not specifically queried about stigma, burden, or perceived benefits (designated survey items) but were asked to talk about how their parenting experiences had affected them.
Data from the survey and the interviews were triangulated in the analysis in order to produce greater insight than would be gained by a single method. For instance, while the survey results emphasised the sociostructural constraints that produce a burden of care, the interview results illustrate that, despite these sociostructural constraints, most mothers perceive valuable benefits in having a child with a disability. These perceived benefits can be negatively affected by perceived stigma.
박스 3: 실행 연구 연구
런던의 한 병원에서 실행된 연구는 직종 간 협력 케어 코디네이터(interprofessional care coordinator, IPCC) 역할이 급성기 내과 입원 환경에서 의료진의 업무 방식에 미치는 영향을 탐구하였다. 연구자들은 영국 의료 및 사회복지 서비스의 변화하는 모델 속에서 새롭게 등장한 지원 인력의 역할이 기존 의료진의 업무에 미치는 영향을 이해하는 것을 목표로 하였다.
데이터는 다양한 방법을 통해 수집되었다. 연구자들은 37명의 개인 인터뷰와 16개의 초점 그룹(focus groups) 인터뷰를 수행하였으며, 인터뷰 참가자는 IPCC, 관리자, 직종 간 팀원들이 포함되었다. 또한, 24회의 반일 관찰(half-day observations), 2년 동안의 참여 관찰(participant observation)에서 작성된 필드 노트, 그리고 병원의 관련 문서들을 체계적으로 분석하였다.
연구는 세 개의 주요 실행 연구 주기(action research cycles)로 진행되었다. 각 주기에서 연구 책임자는 참가자들과 협력하여 연구 결과를 논의하고, 필요한 변화 사항을 결정한 뒤, 실행 방안을 발전시켰다. 주요 주제는 "IPCC 역할에 대한 의사소통," "책임성(accountability) 문제 탐색," "직종 간 협력 향상"이었다. 이후 추가 데이터를 수집하여 각 주기 내에서 변화 과정과 결과를 분석하였다.
Box 3 Action research study
A study of the impact of interprofessional care coordinators took place in the general and emergency medicine service of an inner London hospital trust. The study sought to explore the characteristics and impact of the development of the new role of interprofessional care coordinator (IPCC) on the working of the interprofessional team in an acute medical inpatient setting. In the context of changing models of service delivery in UK health and social care, the authors aimed to understand the impact of a new support worker role on the work of existing practitioners.
Data were collected using a variety of methods, including 37 individual semi-structured interviews and 16 focus groups with IPCCs, managers, and interprofessional team colleagues; 24 half-day observations of IPCCs; field notes from two years of participant observation; and systematic analysis of relevant documents from the hospital trust.
The study unfolded within three main action research cycles. In each cycle, the lead investigator worked collaboratively with participants to consider findings to date, decide what (if any) changes were needed in response to the findings, and take forward any developments that had been agreed. These main cycles were “communicating about the IPCC role,” “exploring issues of accountability,” and “improving interprofessional working.” Further data were collected to illuminate the process and outcomes of change within each of the cycles.
박스 4: 연구 논문에서 확인해야 할 주요 요소
근거이론 연구
✅ 연구 질문이 새로운 이론의 개발이 필요한지를 명확히 제시하는가?
✅ 연구가 이론적 표집(theoretical sampling)과 반복적 데이터 수집 및 분석(iterative data collection and analysis)을 지원하는 방식으로 설계되었는가?
✅ 논의(discussion)에서 개발된 이론이 연구 질문에 어떻게 부합하는지를 설명하는가?
혼합 방법 연구
✅ 연구 질문이 혼합 방법을 사용할 필요가 있는지, 아니면 단일 방법으로 충분한지를 검토했는가?
✅ 연구 방법 간의 관계(순서, 우선순위, 통합 방식)가 명확하게 설명되었는가?
✅ 논의에서 연구 결과를 다면적 현상(multifaceted phenomenon)에 대한 복합적 이해와 연결하고 있는가?
실행 연구
✅ 연구 질문이 특정 맥락에서 연구자와 실무자의 협력을 통해 해결할 수 있는 문제에서 도출되었는가?
✅ 연구의 목표와 활동이 연구자와 협력 파트너(현장 실무자) 간에 공유되었는가?
✅ 연구 결과가 협력 파트너의 요구를 충족시키고, 실질적이고 공정한 방식으로 문제 해결을 촉진하는가? 연구에서 확인된 문제를 실제로 해결하는 조치가 실행되었는가?
Box 4 Key elements to look for in research papers
Grounded theory
✅ Does the research question indicate that a theory is needed?
✅ Is the study designed to support iterative data collection and analysis in a context of theoretical sampling?
✅ Does the discussion explain how the theory responds to the original research question?
Mixed methods
✅ Is the research question appropriate for mixed methods or would a single method suffice?
✅ Is the relation among the methods clear in terms of their sequence, priority, and integration?
✅ Does the discussion relate the findings to a complex understanding of a multifaceted phenomenon?
Action research
✅ Does the research question arise from a situated problem that is best understood through a collaborative research partnership?
✅ Are the research agenda and activities shared by researchers and partners?
✅ Do the results meet the partners’ needs in a collaborative and equitable manner? Is the identified problem acted on in a substantive way?