[프로그램 평가] 메커니즘이란 무엇인가요? 현실주의 평가에 대한 검토 결과

출처: Lemire, S., Kwako, A., Nielsen, S. B., Christie, C. A., Donaldson, S. I., & Leeuw, F. L. (2020). What is this thing called a mechanism? Findings from a review of realist evaluations. New Directions for Evaluation, 2020(167), 73-86. 

https://onlinelibrary.wiley.com/doi/abs/10.1002/ev.20428

소개

메커니즘이라는 용어는 평가에서 길고 풍부한 역사를 가지고 있습니다. 인과적 메커니즘에 대한 관심 증가에 대한 요구는 이론 기반 평가에 관한 초기 저술에서 나타나며, 여기서 메커니즘은 프로그램 이론에서 유용한 구성 요소로 장려됩니다(Chen, 1990; Chen & Rossi, 1987; Weiss, 1997). 포슨과 틸리(1997)의 현실주의 평가에 대한 중요한 소개 이후, 평가에서 메커니즘을 사용하는 것에 대한 지속적인 관심이 이어져 왔습니다. 그러나 이러한 지속적인 관심에도 불구하고 평가에서 메커니즘의 의미와 역할에 대한 개념적 모호성은 여전히 남아 있습니다(Dalkin, Greenhalgh, Jones, Cunningham, & Lhussier, 2015; Schmitt, 이번 호). "Astbury와 Leeuw(2010)는 "'메커니즘'이라는 단어는 그것이 사용되는 지식의 특정 분야와 맥락에 따라 다양한 의미를 가질 수 있다"고 말합니다(367쪽). 의미 다원주의가 만연합니다.

 

우리는 메커니즘이라는 용어를 둘러싼 모호성이 현실주의 평가 내부와 전반에서 사용되는 메커니즘에 대한 투명성을 제한하기 때문에 안타깝다는 입장을 견지하고 있습니다. 따라서 개념적 모호성은 슈미트(이 이슈에서)가 인과 메커니즘 주장의 두 번째 부분이라고 부르는, 즉 개입의 기여도와 관찰된 효과 사이의 인과적 연관성에 대해 보다 신뢰할 수 있는 진술을 하는 데에도 장애가 됩니다. 평가에서 메커니즘 기반 설명을 바탕으로 신뢰할 수 있는 인과관계 주장을 구축하려면 어느 정도 공유된 개념적 토대가 필요합니다.

 

이러한 방향으로 나아가기 위해 이 장에서는 실제 평가에서 메커니즘이 어떻게 개념화되고 적용되는지 살펴봅니다. 이 검토의 경험적 토대는 1997년부터 2017년까지(포슨과 틸리가 현실주의 평가를 발표한 후 20년 동안) 동료 심사를 거친 과학 저널에 발표된 195건의 현실주의 평가에 대한 검토입니다.

 

이 장은 세 가지 섹션으로 구성되어 있습니다.

• 첫 번째 섹션에서는 포슨과 틸리가 컨텍스트-메커니즘-결과 구성에 관한 연구에서 메커니즘을 어떻게 개념화했는지 간략하게 살펴봅니다.
• 두 번째 섹션에서는 발표된 현실주의 평가에서 메커니즘이 어떻게 정의되고 적용되는지에 초점을 맞춰 검토의 방법론과 주요 결과를 설명합니다.
• 세 번째 섹션에서는 이러한 연구 결과를 바탕으로 현실주의 평가에서 메커니즘의 사용을 발전시키기 위한 세 가지 제안으로 결론을 맺습니다.

 

현실주의 메커니즘이란 무엇인가요?

인과적 메커니즘에 대한 관심은 이론 기반 평가에 대한 초기 연구로 거슬러 올라갈 수 있지만(이번 호 슈미트 참조), 이 개념은 1997년 포슨과 틸리가 현실주의 평가를 도입하기 전까지는 평가계에서 추진력을 얻지 못했습니다. 포슨과 틸리(2008)에 따르면

• "결과는 특정 맥락에서 특정 메커니즘의 작용에 의해 설명되며, 이러한 설명 구조는 이론과 실험 관찰의 조합에 의해 시간이 지남에 따라 자리를 잡는다"(59쪽)고 합니다.
• “outcomes are explained by the action of particular mechanisms in particular contexts, and this explanatory structure is put in place over time by a combination of theory and experimental observation

따라서 현실주의적 평가의 분석 템플릿은 맥락-기제-결과(CMO) 구성의 형태입니다. 이러한 CMO 구성을 경험적으로 조사함으로써 현실주의 평가자는 프로그램이 작동하는지(또는 작동하지 않는지) 여부를 다루는 것을 넘어 프로그램이 어떻게, 누구를 위해, 어떤 상황에서 작동하는지에 대한 설명을 제공할 수 있습니다(Pawson & Tilley, 2004).

 

현재의 목적을 위해 CMO 구성의 구성 요소는 정교화할 필요가 있습니다. 결과란 참여자의 태도, 지식, 행동에 나타나는 반규칙적인 변화 패턴(1997)이라고 Pawson과 Tilley가 정의한 것입니다. 다르게 표현하면, 결과는 주어진 맥락에서 인과적 메커니즘이 촉발되어 발생하는 실질적인 효과입니다.

 

맥락은 Pawson과 Tilley(2004)가 정의한 '네 가지 I'에 따라 다음으로 정의됩니다.

• (1) 프로그램 참여자와 직원의 개인 역량,
• (2) 그들 사이에 형성된 대인 관계,
• (3) 프로그램의 제도적 환경,
• (4) 프로그램이 내재된 더 넓은 인프라 구조 및 복지 시스템(4페이지)

프로그램은 이러한 맥락의 층위 안에 내재되어 있습니다.

• (1) the individual capacities of program participants and staff,
• (2) the interpersonal relationships created between them,
• (3) the institutional setting of the program, and
• (4) the wider infra-structural and welfare systems within which the program is embedded (p. 4).

메커니즘이라는 용어는 쉽게 정의할 수 없습니다. 일반적으로 포슨과 틸리(2008)는 메커니즘의 세 가지 속성을

• (1) 사회 현실의 계층화된 특성 내에 프로그램의 내재성을 반영하고,
• (2) 프로그램을 구성하는 거시 및 미시 과정을 모두 설명할 수 있는 명제의 형태를 취하며,
• (3) 프로그램 결과물이 이해관계자(개인 또는 집단)의 추론과 이를 실천할 역량에서 어떻게 이어지는지를 보여줍니다(66쪽).
• (1) they reflect the embeddedness of the program within the stratified nature of social reality,
• (2) take the form of propositions which will provide an account of both macro and micro-processes that constitute the program, and
• (3) demonstrate how program outputs follow from the stakeholders’ (individual or collective) reasoning and their capacity to put these into practice (p. 66).

요약하면, 메커니즘은 일반적으로 숨겨져 있고, 맥락의 변화에 민감하며, 결과를 생성합니다(Astbury & Leeuw, 2010).

 

포슨과 틸리는 현실주의 평가에 관한 수많은 논문을 통해 메커니즘을 프로그램 구성 요소로서의 메커니즘, 프로그램 활동에 대한 참여자 반응으로서의 메커니즘, 설명적 설명으로서의 메커니즘 등 적어도 세 가지 방식으로 개념화하고 설명합니다.1 이를 차례로 살펴봅시다.

• mechanisms as program components,
• mechanisms as participant reactions to program activities, and 
• mechanisms as explanatory accounts

 

프로그램 구성 요소로서의 메커니즘. 메커니즘의 한 가지 개념화는 프로그램이 "적절한 아이디어와 기회"를 도입하는 것을 말합니다(Pawson & Tilley, 1997). 포슨과 틸리는 프로그램이 "...적절한 사회적, 문화적 조건('맥락')에 있는 집단에게 적절한 아이디어와 기회('메커니즘')를 소개하는 것"이라고 설명합니다. (p. 57).

 

이러한 방식으로 메커니즘은 프로그램 내에 존재하며 프로그램 참가자에게 아이디어와 자원을 소개함으로써 변화가 일어날 수 있도록 합니다. 메커니즘은 관찰된 결과 패턴을 가져오는 프로그램의 특성을 설명합니다.

 

 

프로그램 구성 요소에 대한 참여자의 반응으로서의 메커니즘. 메커니즘과 밀접하게 관련된 개념으로, 포슨과 틸리(2004)는 프로그램 활동에 대한 프로그램 참여자의 추론과 반응, 그리고 그 안에서 일어나는 맥락에서 메커니즘을 파악해야 한다고 제안합니다:

"대부분의 개입에서 변화의 촉발은 궁극적으로 프로그램의 영향을 받는 사람들의 추론과 자원에 있습니다. 따라서 효과는 일반적으로 개인에 의해 생성되며 개인의 적극적인 참여를 필요로 합니다."(5페이지).
“The triggers of change in most interventions are ultimately located in the reasoning and resources of those touched by the programme. Effects are thus generally produced by and require the active engagement of individuals” (p. 5). 

 

이러한 관점에서 메커니즘은 일련의 프로그램 활동과 프로그램 참가자 간의 상호작용, 더 구체적으로는 프로그램 활동에 대한 참가자의 반응에 위치합니다. 메커니즘은 관찰된 결과 패턴을 가져오는 이러한 상호작용에 대해 설명합니다.

 

 

설명적 설명으로서의 메커니즘. 그러나 메커니즘의 또 다른 개념화는 현실주의 평가에서 메커니즘의 설명적 역할과 목적에 초점을 맞추고 있습니다. 포슨과 틸리(2008)는 다음과 같이 제안합니다,

"따라서 메커니즘은 변수가 아니라 규칙성[읽기 결과 패턴]을 담당하는 프로세스의 구성, 행동 및 상호 관계에 대한 설명입니다."(68쪽)
a mechanism is thus not a variable but an account of the make-up, behavior, and interrelationships of those processes which are responsible for the regularity [read outcome pattern]”. 

 

이러한 개념화는 CMO 구성의 중심 구성 요소로서 메커니즘의 설명적 역할과 목적에 중점을 두고 있습니다. 메커니즘은 관찰된 결과 패턴을 가져오는 프로세스에 대한 설명적 설명입니다.

 

포슨과 틸리의 다양한 개념화를 살펴보면, 각 개념화가 현실주의 평가에서 메커니즘이라는 용어의 다양한 측면에 어떻게 주의를 기울이는지 알 수 있습니다. 앞으로 살펴보겠지만, 메커니즘이라는 용어를 둘러싼 개념적 다양성은 현실주의 평가가 적용되는 방식에 중요한 실질적인 영향을 미쳤으며, 이 장의 결과 및 논의 섹션에서 다시 살펴보겠습니다.

 

현실주의 평가의 메커니즘에 대한 검토

현실주의 평가에 대한 현재의 검토는 이론에 기반한 평가에 대한 광범위한 검토에서 비롯되었습니다(Lemire, Christie, Donaldson, & Kwako, 출판 중). 발표된 현실주의 평가의 대표적인 표본을 파악하기 위해 1997년부터 2017년까지 발표된 현실주의 평가 연구에 대한 전자 검색을 실시하여 7개 데이터베이스를 포괄했습니다: 웹 오브 사이언스, ArticleFirst, 싸이크인포, 사회사업 초록, 사회학 초록, ERIC, 메드라인(PubMed). 병행 검색을 통해 현실주의적 평가에 대한 4개의 출판된 리뷰에 포함된 68개의 현실주의적 평가를 확인했습니다(Lacouture, Breton, Guichard, & Ridde, 2015; Marchal, van Belle, van Olmen, Hoeré, & Kegels, 2012; Ridde, Robert, Guichard, Blaise, & Van Olmen, 2012; Salter & Kothari, 2014). 여러 검색 스트랜드에서 총 1,345개의 고유 원고가 확인되었습니다. 여러 차례의 심사를 거쳐 195개의 고유한 현실주의적 평가를 설명하는 최종 222개의 원고가 분석 대상에 포함되었습니다. 이 원고는 (1) 스스로를 현실주의 평가라고 밝히고, (2) 현실주의 평가에 대한 사례 설명을 포함하고, (3) 영어로 제시된 것이어야 했습니다. 검토 방법론에 대한 자세한 설명은 Lemire 외(출판 중)에서 확인할 수 있습니다.

검토 결과

검토의 첫 번째 단계는 195개의 현실주의 평가에서 제공하는 '메커니즘'의 정의를 검토하는 것이었습니다. 이러한 정의는 일반적으로 원고의 서론 또는 방법 섹션에서 제공되며, 저자들은 현실주의 평가 접근법을 소개하고 설명합니다. 검토 대상인 195건의 현실주의 평가 중 총 105건(53.8%)의 평가에서 메커니즘이라는 용어에 대한 총 121개의 정의를 제공했습니다(일부 평가는 두 가지 이상의 정의를 포함함). 표 5.1에서 볼 수 있듯이, 정의의 1/3(33.9%)이 프로그램 구성 요소 또는 기능 측면에서 메커니즘을 언급하고 있으며, 이는 "적절한 아이디어와 자원"(57쪽)을 도입하는 것으로 메커니즘을 개념화한 포슨과 틸리(1997)의 개념을 반영하고 때로는 명시적으로 인용하고 있습니다. 메커니즘은 프로그램의 속성으로 생각됩니다.

 

포슨과 틸리(2004)가 메커니즘을 프로그램에 대한 참여자의 반응으로 개념화한 것에 근거하여, 저자의 1/3(31.4%)은 프로그램 활동에 대한 심리적, 행동적 반응을 포함하여 프로그램 참여에 대한 참여자의 반응과 추론이라는 측면에서 '메커니즘'을 정의하고 있습니다.

 

또 다른 4분의 1(24.0%)의 저자는 메커니즘을 더 이상 구체적으로 설명하지 않고 단순히 기저에 숨겨져 있고 관찰할 수 없는 (인과적인) 과정으로 정의했습니다. 이러한 개념화는 포슨과 틸리(1997)가 설명한 기본적 과정으로서의 메커니즘의 속성과 Astbury와 리우(2010)가 메커니즘을 "일반적으로 숨겨진" 것으로 설명한 것과 일치합니다.

 

마지막으로, 일부 저자(6.6%)는 메커니즘을 프로그램 작동 방식에 대한 이론, 설명 또는 설명으로 설명하면서 현실주의 평가에서 메커니즘의 설명적 목적을 강조합니다. 이러한 개념화는 프로그램 작동 방식에 대한 인과적 설명으로서 메커니즘을 설명한 Pawson과 Tilley(2008)의 설명과 공감을 불러일으킵니다.

 

표 5.1. '메커니즘'이라는 용어의 정의(n = 121)

 

프로그램 구성 요소 (예: 프로세스, 활동, 자원, 아이디어, 기회): 41개의 정의(33.9%)

• "메커니즘은 프로그램에서 또는 지역사회 부모나 공중보건간호사가 취하는 활동이나 조치"(Jackson & Kolla, 2012, 343쪽)
• "...프로그램이 제공하는 메커니즘(M)으로 알려진 아이디어와 기회"(맥아더 외, 2017, 134쪽)

프로그램에 대한 참여자 반응: 38개의 정의(31.4%)

• "슈퍼비전은 사회적 개입이기 때문에, 그 작동은 참여자들에게 있는 '메커니즘', 즉 그들이 개입 활동을 어떻게 해석하고 행동하거나 반응하는지에 달려 있다"(Hernandez 외, 2014, 앞의 책).
• "프로그램 활동의 관찰 가능한 메커니즘이 아니라 프로그램 활동 또는 자원과의 상호 작용이 참여자의 추론과 행동에서 유발하거나 유발하지 않는 반응"(Haynes 외, 2017, 앞의 책).

기본 프로세스(지정되지 않음unspecified): 29개의 정의(24.0%)

• "...우리가 직접 관찰할 수 없는 인과적 과정과 힘(또는 메커니즘)"(Alvarado, 2017, 448쪽)
• "메커니즘은 종종 숨겨져 있으며 맥락의 변화에 민감합니다." (앰브로스 & 커, 2014, 299쪽)

설명적 설명 또는 이론: 8개 정의(6.6%)

• "...메커니즘(개입을 통해 변화를 달성하는 방법에 대한 이해관계자의 생각)"(Maluka 외, 2011, n.p.)
• "메커니즘은 사물이 표면 아래에서 어떻게 작동하는지에 대한 설명이며, 내부 작동을 탐구합니다."(Søndergaard, Lorentzen, Sørensen, & Frederiksen, 2014, 32쪽)

메커니즘이라는 용어에 대한 저자들의 정의를 넘어 실제 평가에 적용된 메커니즘의 유형을 살펴봤습니다. 이러한 적용된 메커니즘은 일반적으로 논문의 결과 섹션에 CMO 구성의 일부로 제시되어 보고되었습니다. 총 195건의 실제주의 평가 중 총 126건(64.6%)이 명시적인 CMO 구성을 제시하여 추가 분석을 뒷받침했습니다. 이 126개의 실제 평가에서 총 517개의 CMO 구성을 확인했습니다. 이러한 CMO 구성에는 827개의 컨텍스트 조건, 904개의 메커니즘, 678개의 결과가 포함되었습니다.

 

현실주의 평가에 적용된 다양한 유형의 메커니즘은 표 5.2에 나와 있습니다. 표에서 볼 수 있듯이

• 메커니즘은 주로 프로그램 구성 요소의 형태(38.8%)로, 평가 대상 프로그램이 수행한 다른 활동이나 조치 중에서 정보 캠페인, 원조 개입, IT 시스템, 교육 개입, 훈련 등의 프로그램 활동이 포함되었습니다.
• 또 다른 30.7%의 메커니즘은 참가자의 권한 부여, 자기 효능감, 동기 부여, 신뢰감 등 프로그램에 대한 참가자의 심리적 반응을 반영했습니다.
• 이와 밀접한 관련이 있는 또 다른 20.5%의 메커니즘은 참가자의 의사 결정, 새로운 지식 습득, 식습관 변화, 육아 활동 수정, 지원 서비스 모색, 더 건강한 식생활, 동료와 더 효과적으로 상호 작용, 기타 유형의 행동 변화 등 참가자의 행동 반응에 관한 것이었습니다.
• 마지막으로 조직 구조 및 프로세스, 광범위한 인프라 요인, 정치적 및 규제적 맥락, 프로그램 직원의 역량 등 상황적 조건에 따른 메커니즘이 8.6%로 눈에 띄는 비율을 차지했습니다. 이 장의 뒷부분에서 설명하겠지만, 메커니즘과 맥락적 조건을 구분하는 것은 일반적인 과제입니다.

흥미로운 점은 평가에서 조사된 메커니즘의 유형, 즉 평가가 구조화된 실제 CMO가 저자가 제시한 메커니즘의 정의와 반드시 일치하지는 않는다는 것입니다. 즉, 방법 섹션에서 프로그램 구성 요소로 메커니즘을 정의한 현실주의 평가는 결과 섹션에 제시된 프로그램 활동에 대한 참여자 반응과 같은 후속 CMO 구성에 더 광범위한 메커니즘을 포함할 수 있다는 것입니다.

 

Table 5.2. Mechanisms Applied in Realist Evaluations (1997–2017)

 

 

분석의 마지막 단계에서는 실제 평가에 메커니즘을 적용하는 것과 관련하여 저자들이 제기한 방법론적 과제를 조사했습니다. 총 25개 논문(12.8%)에서 메커니즘과 관련된 54개의 과제가 구체적으로 제시되었습니다(표 5.3 참조). 이 54개의 과제를 통해 세 가지 주요 유형의 과제를 구분할 수 있습니다:

• CMO 구성의 다양한 구성 요소를 구분하는 어려움,
• 메커니즘의 복잡성을 적절히 파악하는 어려움,
• CMO를 경험적으로 검증하는 것과 관련된 어려움

 

과제의 절반(50.0%)은 메커니즘이 무엇인지 정의하고 메커니즘과 맥락, 메커니즘과 결과, 메커니즘과 프로그램 구성 요소를 구분하는 데 어려움을 겪는 것과 관련이 있었습니다. Spiby 등(2015)이 명쾌하게 설명한 것처럼,

 

"CMO는 '미끄러질' 수 있습니다. 즉, 맥락은 때때로 메커니즘(예: 지원 제공)으로 간주될 수 있고 메커니즘은 때때로 결과(예: 자기 효능감)로 간주될 수 있으며 결과는 그 자체로 장기적인 결과를 위한 메커니즘이 될 수 있습니다."(16쪽). (p. 167).

 

여기서 근본적인 도전은 (1) 여러 개의 순차적인 메커니즘이 결과로 이어지는 인과적 경로를 구성할 수 있고 (2) 프로그램 참여자의 심리적 및 행동적 변화가 메커니즘, 결과 또는 둘 다로 간주될 수 있다는 점에서 두 가지로 나뉩니다.

 

4분의 1(24.1%)이 응답한 또 다른 일반적인 어려움은 메커니즘의 복잡성을 적절히 포착하기 어렵다는 점입니다. 메커니즘의 상호 관련성을 포착하기 어려운 이유는 상호 의존성을 수용하는 데 있어 CMO 분석 템플릿의 한계(상호 관련된 여러 CMO를 모델링하는 방법)와 다양한 수준(예: 개인, 그룹, 사회)에서 작동하는 메커니즘 간의 상호작용을 포착하는 데 있어 동일한 문제, 즉 두 가지 문제에 뿌리를 두고 있는 것으로 보입니다.

 

마지막으로 세 번째이자 보다 현실적인 과제는 메커니즘의 존재 유무를 경험적으로 검증하는 데 따르는 어려움(18.5%)입니다. 이 과제는 (적어도 부분적으로는) 테스트 가능한 CMO 구성을 개발하는 데서 비롯된 것으로 보입니다. Spiby 등(2015)이 관찰한 바와 같이, 개입이 개별 수준에서 발생하고 맥락이 매우 민감하며 메커니즘이 무의식적일 때 테스트 가능한 CMO를 개발하는 것은 특히 어렵습니다(168페이지). 또한, 여러 가지 그럴듯한 CMO 구성의 가능성으로 인해 CMO의 테스트 가능성은 더욱 어려워집니다. 톨슨과 스코필드(2012)는 Byng, Norman, Redfern(2005)을 인용하여 "때로는 여러 가지 대체 순열을 발굴하는 것이 가능하며, '현실적인 풀이'가 얼마나 도움이 되는지, 이 과정이 언제 지나치게 방종해지는지 판단하는 방법을 결정해야 한다"고 지적합니다(68페이지).

 

표 5.3. 현실주의 평가의 메커니즘과 관련된 방법론적 과제(1997~2017년)

 

CMO 구성 요소를 구분하기 어려움: 27개 과제(50.0%)

• "다른 연구자들과 마찬가지로 우리도 인과 경로의 측면, 특히 개입 전략, 맥락 및 결과에서 메커니즘을 설명하는 데 어려움을 겪었습니다."(Haynes 외., 2017, n.p.).

 

메커니즘의 복잡성을 포착하는 데 어려움: 13개 과제(24.1%)

• "중요한 세부 사항을 간과하거나 패턴을 조기에 파악하는 것에 대한 우려가 여전히 남아 있습니다 ... 메커니즘이 적절하게 포착되고 개념화되고 있는지 여부에 대한 우려가 여전히 남아 있습니다 ... 일부 CMO는 프로그램 이론의 미묘함을 포착하는 데 부족했습니다." (아담스, 세달리아, 맥냅, 사커, 2016, 270쪽)

 

메커니즘을 경험적으로 검증하기 어려움: 12가지 도전 과제(22.2%)

• "CMO 구성을 테스트하기 위한 데이터 수집은 연구 설계에 상당한 복잡성을 더합니다."(Kovacs & Corrie, 2016, p. 65)

 

토론

이 장의 목적은 현실주의 평가에서 메커니즘이 어떻게 정의되고 적용되는지 살펴보는 것입니다. 검토를 통해 메커니즘의 개념이 이론적으로나 운영적으로나 발표된 현실주의 평가에서 어떻게 획일적으로 개념화되지 않았는지 살펴봅니다. 포슨과 틸리의 현실주의 평가 연구에서 다양한 개념화를 반영하여, 현실주의 평가자들은 일반적으로 프로그램 구성요소, 프로그램 구성요소에 대한 참여자의 반응 또는 불특정 기본 프로세스의 관점에서 메커니즘을 정의합니다. 운영 측면에서 현실주의 평가에 적용되는 메커니즘은 프로그램 활동, 이에 대한 참여자의 반응, 그리고 어느 정도는 맥락적 조건의 형태입니다. 저자들이 자신의 실천을 되돌아볼 때 가장 흔히 언급하는 어려움은 메커니즘과 프로그램 활동, 맥락, 결과를 구분하는 것과 관련이 있습니다. 메커니즘은 그 개념화와 적용에 있어 모호함이 가득합니다.

 

검토 결과, 메커니즘의 개념화와 운영을 둘러싼 모호성의 현재 상태는 현실주의 평가 내부와 전반에서 사용되는 메커니즘에 대한 투명성을 제한하기 때문에 안타까운 일입니다. 이러한 모호성은 현실주의 평가에서 메커니즘 기반 설명에 기반한 인과관계 주장의 신뢰성을 저해하며, 슈미트(이번 호)는 이를 인과관계 메커니즘 주장의 두 번째 부분이라고 부릅니다. 메커니즘 기반 인과관계 주장의 잠재력을 실현하려면 더 많은 개념적, 운영적 명확성이 요구됩니다.

 

현실주의 평가에서 메커니즘 기반 설명의 잠재력을 최대한 실현하기 위해, 우리는 현실주의 평가에서 메커니즘이라는 용어가 개념화되고 작동되는 방식에 대한 사고의 엄밀성을 높여야 한다는 입장을 견지하고 있습니다. 이러한 방향으로 나아가기 위해 우리는 세 가지 명제를 제안합니다.

 

명제 1: 현실주의 평가에서 '메커니즘'이라는 용어는 항상 명시적으로 정의되어야 한다.

첫 번째 명제는 현실주의 평가에서 메커니즘이라는 용어는 항상 명시적으로 정의되어야 한다는 것입니다. 메커니즘의 핵심적인 역할을 고려할 때, 현실주의 평가의 약 절반만이 CMO 구성의 핵심(가장 핵심적인 구성 요소는 아니더라도)인 메커니즘이라는 용어에 대한 명시적인 정의를 제공한다는 사실에 다소 놀랐습니다. 또한, 다양한 유형의 메커니즘을 더 구분하고 평가의 세부 사항에 맞게 용어를 조정하려는 시도는 거의 명시적으로 이루어지지 않았습니다.

 

이 제안의 동기와 의도는 메커니즘이 무엇인지, 또는 무엇이 되어야 하는지에 대한 획일적인 정의를 내리는 것이 아닙니다. 이러한 유형의 '기계론적' 사고는 성찰적 실천을 장려하기는커녕 오히려 억제할 수 있으며, 현실주의 평가의 기치 아래 평가되는 광범위한 정책, 프로그램 및 프로젝트의 기저에 있는 다양한 메커니즘을 포착하는 우리의 능력을 잠재적으로 제한할 수 있습니다. 메커니즘 기반 설명의 가능한 모든 적용을 포괄하는 단일 개념화, 즉 하나의 정의를 추구하는 것은 실패할 가능성이 높습니다.

 

그러나 이 명제가 메커니즘의 정의와 적용이 '메커니즘'이라는 용어를 무의미하게 만들 정도로 다양한 메커니즘에 대한 '모든 것이 통하는' 접근 방식을 옹호하는 주장으로 간주되어서는 안 됩니다. 저희의 관점에서는 메커니즘의 공유된 유형학을 개발함으로써 개념적 합의에 도달할 수 있고 또 도달해야 합니다. 퍼넬과 로저스(2011)에서 영감을 얻어 일련의 '메커니즘 원형'을 구상하는 것이 가능할까요? 저희의 검토 결과, 이는 평가에서 메커니즘을 보다 목적에 맞게 사용하기 위한 실현 가능하고 잠재적으로 유용한 첫 단계라고 생각합니다. 분명한 것은, 메커니즘의 공통된 원형을 제시하면 어렵게 얻은 명확성을 제공하고, 메커니즘에 대한 보다 포괄적인 이해를 지원하며, 현실주의 평가에서 메커니즘을 조사하는 데 따르는 실질적인 어려움을 일부 완화할 수 있을 것입니다. 이제 두 번째 제안으로 넘어갑니다.

 

명제 2: 현실주의 평가의 분석적 템플릿, 즉 맥락-기제-결과 구성의 설명적 트리오를 재고해야 합니다.

프로그램 구성 요소와 메커니즘의 구분은 이번 검토에서 공통적인 이슈로 떠올랐습니다. 이는 물론 현실주의 평가의 분석 템플릿에 대한 우리의 관심을 유도하며, 가장 기본적인 형태는 다음과 같이 공식화할 수 있습니다:

 

이 믿을 수 없을 정도로 간단한 공식에 단점이 없는 것은 아닙니다. 우선, 이 프로그램 구성 요소에는 현실주의적 탐구의 핵심 이론적 구조인 맥락-메커니즘-결과 구성이 눈에 띄게 빠져 있습니다. 물론 이러한 부재는 포슨과 틸리의 의도적인 것으로, 결국 현실주의적 평가자에게는 프로그램 자체가 아니라 프로그램의 기본 메커니즘에 초점을 맞추고 주의를 기울이는 것이 게임의 이름입니다. 그러나 일부 작성자가 프로그램 구성 요소와 메커니즘을 구분하는 데 어려움을 느끼는 것은 적어도 부분적으로는 CMO 템플릿에서 프로그램 구성 요소를 명시적으로 식별하지 않는 데서 비롯된 것으로 생각됩니다. 이 문제에 대해 직접적으로 언급하자면, 저희 리뷰의 몇몇 현실주의적 평가에는 대체 분석 템플릿이 포함되어 있습니다. 프라이크만, 슈바르츠, 애슬린, 하슨, 마조카토(2017)는 CIMO 구성을 제안합니다:

 

이 수정된 공식의 한 가지 장점은 프로그램 구성 요소, 상황적 요인, 참가자의 근본적인 (사회적) 심리적 및 행동적 반응을 보다 명확하게 설명할 수 있다는 것입니다. 이번 호에 실린 보겔과 펀턴의 글에서 유사한 템플릿의 적용 사례를 살펴볼 수 있습니다. 이와 병행하여 우드헤드, 콜린스, 로마스, 레인(2017)은 맥락 메커니즘, 프로그램 메커니즘, 대행사 메커니즘을 명시적으로 구분하여 다음과 같이 수정된 CMO 공식을 제시했습니다:

 

 

여기서는 다른 공식을 사용하는 것과 비교하여 이러한 수정된 공식의 상대적 장점을 주장하는 것이 아닙니다. 여기서 말하고자 하는 것은 단순히 현실주의 평가에서 자주 인용되는 문제인 메커니즘과 프로그램 구성 요소, 결과, 상황적 조건 사이의 관계를 (각자의 방식으로) 더 잘 설명할 수 있다는 점입니다. 이는 잠재적으로 개념의 명확성과 구체성을 높여 메커니즘의 테스트 가능성을 향상시킬 수 있습니다.

 

명제 3: 메커니즘의 상호의존적 특성과 다양한 수준에 더 많은 관심을 기울여야 합니다.

세 번째이자 마지막 명제는 상호의존적인 특성과 다양한 수준의 메커니즘에 더 많은 주의를 기울여야 한다는 것입니다. 현실주의에 뿌리를 둔 현실적 평가는 사회 프로그램이 상호 작용하거나 상호 의존하는 부분의 집합인 시스템 내에 포함되어 복잡한 전체를 형성한다는 전제를 바탕으로 합니다(Westhorp, 2018). 복잡성을 더하기 위해 메커니즘은 이러한 시스템 내에서 서로 다른 수준에서 작동할 수 있습니다(Astbury & Leeuw, 2010). 본 검토의 결과에서 알 수 있듯이, 이러한 복잡성을 파악하고 수준 내 및 수준 간 메커니즘 간의 상호의존성을 파악하는 것은 분석적 과제를 제기합니다.

 

다행히도 이 검토를 통해 보다 복잡한 CMO 구성을 포착하기 위한 중요하고도 매력적인 단계가 밝혀졌습니다. 시스템 사고에서 영감을 얻은 Byng 등(2005)은 긍정적 및 부정적 피드백 루프가 있는 인과적 루프 다이어그램을 사용하여 개별 CMO 구성 간의 보다 복잡한 상호작용을 묘사했습니다(인과적 루프 다이어그램의 예시적인 예는 이번 호 Renmans 등 참조). 비슷한 맥락에서 Westhorp(2013)는 "현실 세계에서 시스템의 '계층화'(또는 내재성)를 반영하기 위해"(366쪽) 다양한 수준의 메커니즘에 대한 여러 행동 변화 이론을 활용했습니다. Westhorp(2013)는 다음과 같이 설명합니다: "다양한 수준의 시스템을 이해하기 위해 다양한 형식적 이론을 사용하면 결과에 기여하는 여러 인과 관계의 과정을 개념화하고 분석을 관리하는 데 도움이 될 수 있습니다."(366쪽). 평가의 메커니즘에 대한 보다 포괄적인 이해에 도달하려면 이러한 유형의 엄밀한 사고가 필요합니다.

 

결론적 생각

인과적 메커니즘은 신뢰할 수 있는 인과적 주장을 구축하는 데 있어 핵심적인 역할을 합니다. 메커니즘에 기반한 인과 설명의 잠재력을 완전히 실현하려면 보다 목적의식적이고 투명한 메커니즘 사용으로 나아가야 합니다. 여기에는 현실주의 평가에서 메커니즘의 의미를 명확히 정의하고, 현실주의 평가의 분석 템플릿을 재고하며, 메커니즘의 상호의존적 특성과 다양한 수준을 인정하는 것이 포함됩니다. 공유된 개념적, 운영적 기반을 확립하지 않으면 현실주의 평가에서 메커니즘에 대한 집단적 사고와 사용에서 통합이 아닌 파편화가 심화될 위험이 있습니다.