[프로그램 평가] 로직 모델(Logic Models)의 효과성 향상

논문: Jones, N. D., Azzam, T., Wanzer, D. L., Skousen, D., Knight, C., & Sabarre, N. (2020). Enhancing the effectiveness of logic models. American Journal of Evaluation, 41(3), 452-470.

https://journals.sagepub.com/doi/10.1177/1098214018824417

 

논문 내용 요약: Enhancing the Effectiveness of Logic Models

서론

• 정보의 시각화는 정보의 형태와 깊이 연관되어 있으며, 시각적 미학에 대한 Manovich(2005)의 견해에 따르면, “정보”라는 단어는 그 자체에 “형태”를 포함하고 있음.
• 본 논문은 평가 도구 중 하나인 Logic Model(논리 모델)을 개선하기 위한 방안을 탐구.

시각화의 중요성

• 시각화는 최근 사용자 기반 확대, 디자인 프로그램의 증가, 효과를 극대화하기 위한 원칙의 확산 등으로 인기를 끌고 있음.
• Evergreen과 Metzner(2013)는 평가자가 본질적으로 소통자이자 지식 중개자(Bourdieu, 2007)임을 강조하며, 시각화가 지식의 민주화에 기여할 수 있다고 주장.
• 평가 과정에서 시각화 도구는 평가, 평가자, 이해 관계자들의 이해도와 인식에 영향을 미칠 수 있음.

논리 모델 (Logic Model)

• 논리 모델은 주요 프로그램 활동과 결과 간의 관계를 시각적으로 요약하고 설명하는 데 사용되는 평가 도구(Chen, 2014; Kaplan & Garrett, 2005).
• Knowlton & Phillips(2012)는 논리 모델의 유용성을 강조하며, 잘 설계된 모델이 그 효과를 증대시킬 수 있음을 지적.
• 잘못된 디자인의 시각 자료는 혼란을 야기할 수 있으며, 디자인 원칙에 대한 경험적 연구의 필요성 대두(Hegarty, 2011).
• 다양한 이해 관계자 그룹이 평가 대상에 포함되면서 시각화의 효과에 대한 경험적 이해의 필요성 증대.

연구 목적

• 본 연구는 논리 모델의 디자인 수정이 그 효과성에 어떻게 영향을 미치는지 테스트하는 것을 목적으로 함.

시각화의 정의와 평가에서의 역할

• 시각화는 다양한 실용적 용도와 정의가 있지만, 본 연구에서는 데이터 시각화를 포함하는 광범위한 정의를 채택.
• Azzam, Evergreen, Germuth, Kistler(2013)는 데이터 시각화를 “정성적 또는 정량적 데이터를 기반으로 하여, 원시 데이터를 대표하는 이미지를 생성하고, 그 이미지가 독자에게 읽히며 데이터 탐색, 검토, 소통을 지원하는 과정”이라고 정의.

시각화의 역사와 중요성

• 평가 분야에서 시각화와 그 응용에 대한 초점이 점차 강화되어 왔음.
• Henry(1997)는 효과적인 데이터 그래픽 솔루션에 대한 연구를 시작으로, 2010년 American Evaluation Association의 데이터 시각화 및 보고 주제 그룹 포함, New Directions for Evaluation의 데이터 시각화 주제 시리즈(Azzam & Evergreen, 2013a, 2013b) 등을 통해 발전.
• Evergreen(2011)은 평가 보고서에서 시각화 원칙을 위반한 경우 혼란을 초래할 가능성이 높음을 강조.

"좋은" 시각화의 기준

• Heer, Bostock, Ogievetsky(2010)는 “데이터를 더 접근 가능하고 매력적으로 만드는” 시각화가 좋은 시각화라 주장.
• Evergreen과 Metzner(2013)는 효과적인 데이터 디스플레이의 주요 차이는 평가자의 핵심 메시지를 명확하고 간결하게 전달하는 능력이라 설명.
• 잘못된 시각화는 신뢰성과 주제 전문성에 대한 인식을 악화시킬 수 있음(Tufte, 2006).
• 잘못된 데이터 프레젠테이션으로 인해 오류가 발생한 사례로 챌린저와 컬럼비아 우주왕복선 재앙이 언급됨(Tufte, 1997, 2006).

결론

• 본 연구는 논리 모델의 디자인 수정이 효과성에 미치는 영향을 평가하고, 평가자들이 이 도구를 개발하고 개선하는 데 도움을 주고자 함.

핵심 포인트

• 시각화는 정보 전달과 이해에 중요한 역할을 함.
• 논리 모델은 프로그램 평가에서 중요한 도구이며, 그 디자인이 모델의 효과성에 영향을 미침.
• 좋은 시각화는 데이터 접근성과 매력도를 높이며, 핵심 메시지를 명확하게 전달해야 함.
• 잘못된 시각화는 혼란을 초래하고 신뢰성에 영향을 줄 수 있음.
• 본 연구는 논리 모델의 디자인 수정이 그 효과성에 미치는 영향을 탐구함.

---

논문 내용 요약: Enhancing the Effectiveness of Logic Models - 추가 부분

평가 도구로서의 시각화

• 논리 모델은 평가에서 널리 사용되는 시각적 도구임.
• Chen(2014)은 논리 모델을 "프로그램의 일상 활동과 결과 간의 관계를 그래픽으로 표현한 것"이라고 정의.
• 많은 자금 지원 기관들이 논리 모델을 요구하며, 다양한 자료들이 논리 모델 작성에 대한 지침을 제공(United Way, University of Wisconsin Extension, W.K. Kellogg Foundation).
• 논리 모델은 복잡한 연결과 아이디어를 인지적으로 효율적이고 이야기 형식으로 전달하는 것을 목표로 하는 시각화의 한 예로 간주.

논리 모델 개발에 대한 문헌

• 논리 모델의 개발에 관한 방대한 문헌이 존재하지만, 대부분 구성 요소, 개발 과정, 적용 및 서술에 중점을 두고 있음(Funnell & Rogers, 2011; Gugiu & Rodriguez-Campos, 2007; Kaplan & Garrett, 2005).
• 논리 모델의 그래픽 디자인 측면이나 미학적 요소에 대한 연구는 부족함.
• 예를 들어, Renger와 Titcomb(2002)은 ATM(선행 조건, 목표 활동, 측정 문제) 방법을 개발했지만, 이는 시각적 미학보다는 구성 요소와 배치에 중점을 둠.
• 본 연구는 논리 모델의 효과적인 시각화를 탐구하고, 다양한 그래픽 디자인 원칙을 적용하여 그 효과를 분석하는 것에 중점을 둠.

데이터 및 정보 디자인

• 디자인의 중요성은 과소평가되어서는 안 됨.
• Hegarty(2011)는 서로 다른 시각적 디스플레이가 동일한 정보를 포함하더라도 해석이 다를 수 있음을 발견.
• 시각화는 전달되는 정보와 메시지의 이해 가능성 모두를 고려해야 함.
• 효과적인 시각화를 위해 정보의 정확한 표현과 관객의 참여를 유도하는 것이 중요함(Heer, Bostock, & Ogievetsky, 2010).

시각화 디자인 원칙

• Bertin(1983), Cleveland(1993), Tufte(2001), Freedman과 Shah(2002), Friendly(2008), Few와 Edge(2008) 등의 연구자들이 시각화 디자인에 기여.
• 효과적인 시각화는 시각적 지각 원칙(예: Bertin, Few, Tufte) 및 인지 기능(예: Cleveland, Freedman, Shah)에 따라 명확하고 유용하며 기억에 남을 수 있도록 설계.
• 시각화는 관객의 이해를 지원하고, 인지 부하를 줄이며, 작업 기억이 처리할 수 있도록 정보가 조직적으로 구성되어야 함(Evergreen, 2014).

핵심 포인트

• 논리 모델은 평가에서 중요한 시각화 도구로, 프로그램의 활동과 결과 간의 관계를 효과적으로 표현함.
• 논리 모델의 개발에 관한 많은 문헌이 있지만, 시각적 디자인 측면에 대한 연구는 부족.
• 시각화는 정보의 정확한 전달과 관객의 이해를 동시에 고려해야 함.
• 다양한 시각화 디자인 원칙을 적용하여 논리 모델의 효과성을 극대화할 필요가 있음.
• 효과적인 시각화는 정보의 명확성, 유용성, 기억 가능성을 높이고, 인지 부하를 줄이며, 작업 기억의 처리를 용이하게 함.

--

효과성 정의

• 효과적인 시각화는 작업 기억의 인지적 한계 내에서 중심 메시지를 전달하는 매체(Evergreen & Metzger, 2013).
• 시각화 전문가 Few(2014)는 “정보가 전달하는 이야기를 쉽게, 효율적으로, 정확하게, 의미 있게 인지할 수 있는 정도”로 시각화의 장점을 판단해야 한다고 주장.
• Tufte는 가장 효과적인 시각화가 비데이터 잉크 소음을 최소화하는 것이라고 주장하지만, 이 원칙에 대한 경험적 증거는 부족(Zhu, 2007).

인지 부하 관점에서의 효과성

• 인지 및 시각화 과학 분야에서는 효과성을 인지 부하 관점에서 평가.
• 효과적인 디스플레이는 처리 부하를 줄이고 자동적 구성과 통합적 처리 노력을 줄이는 것(Freedman & Shah, 2002).
• Huang, Eades, Hong(2009)는 시각적 효율성을 통해 효과성을 평가.
• 시각적 효율성은 인지적 비용 대비 인지적 이득으로 평가됨. 이를 통해 효과성을 평가하는 방정식은 다음과 같음:
• [
  \text{효율성} = \frac{\text{응답 정확도 (RA)} - \text{응답 시간 (RT)} - \text{정신적 노력 (ME)}}{\sqrt{3}}
  ]
• RA는 시각화를 해석한 정확도, RT는 작업 완료 시간, ME는 인지적 노력.

미학과 시각화

• 미학적 측면이 더 효과적이라는 추측이 있음(Cawthon & Moere, 2007; Moere & Purchase, 2011; Norman, 2002).
• 미학적 측정을 통해 인지된 아름다움, 명확성, 단순성, 즐거움, 참여도를 평가.

신뢰성과 시각화

• 평가자들은 시각화가 신뢰성에 미치는 영향을 오래도록 관심을 가짐(Azzam, 2010; Brown, Braskamp, & Newman, 1978; Donaldson, 2001; Patton, 1999).
• 부정확한 시각화는 신뢰성을 저하시킴(Evergreen & Metzner, 2013; Tufte, 2006).
• Azzam 등(2013)은 데이터 시각화에서 정확한 그래픽 기록의 중요성을 강조.

연구 질문 및 중심 초점

• 논리 모델의 시각적 효과에 대한 경험적 연구가 제한적.
• 시각화 원칙 적용이 논리 모델의 효과성을 향상시킬 수 있는지 이해하고자 함.
• 연구 질문:
  • 시각적 효율성과 그 구성 요소인 RA, RT, ME에 미치는 영향
  • 인지된 메시지 신뢰성
  • 미학적 인식
• 현재 연구는 논리 모델 변형의 효과성을 정확성(논리 모델의 이해도 및 해석), RT, ME, 미학 및 신뢰성 인식 측면에서 평가.

연구 방법

본 연구에서는 담배 예방 프로그램의 논리 모델을 기반으로 여러 그래픽 디자인 원칙을 적용하여 수정한 논리 모델의 효과를 평가하였습니다. 각기 다른 조건들을 설정하여 그래픽 디자인 원칙의 유무, 색상의 사용, 비데이터 잉크의 최소화, 내러티브 설명의 포함 여부 등을 변형하였습니다.

실험 조건

1. 그래픽 디자인 원칙의 적용:
   • 논리 모델에 디자인 원칙을 적용한 버전과 적용하지 않은 버전을 비교.
2. 색상 사용:
   • 색상이 포함된 버전과 흑백 버전을 비교.
3. 비데이터 잉크의 최소화:
   • 그래픽 요소를 최소화한 버전과 그렇지 않은 버전을 비교.
4. 내러티브 설명의 포함:
   • 설명이 포함된 버전과 포함되지 않은 버전을 비교.

평가 기준

1. 시각적 효율성 (Visual Efficiency):
   • 응답 정확도 (Response Accuracy, RA): 참가자들이 시각화를 얼마나 정확하게 해석하는지 평가.
   • 응답 시간 (Response Time, RT): 작업을 완료하는 데 걸리는 시간.
   • 정신적 노력 (Mental Effort, ME): 인지적 노력의 정도.
2. 메시지 신뢰성 (Message Credibility):
   • 논리 모델의 신뢰성과 명확성에 대한 참가자들의 인식 평가.
3. 미학적 인식 (Perception of Aesthetics):
   • 논리 모델의 아름다움, 명확성, 단순성, 즐거움, 참여도 등을 평가.

결론

연구 결과는 논리 모델의 그래픽 디자인이 그 효과성에 중요한 영향을 미칠 수 있음을 시사합니다. 이는 평가자들이 논리 모델을 설계할 때, 디자인 원칙을 적용함으로써 정보 전달의 명확성과 신뢰성을 높일 수 있음을 보여줍니다. 또한, 미학적 요소가 논리 모델의 이해도와 참여도를 증가시키는 데 기여할 수 있음을 나타냅니다.

핵심 요약

• 시각적 효율성: 정보의 정확한 전달과 인지 부하의 감소.
• 메시지 신뢰성: 논리 모델의 신뢰성과 명확성을 높임.
• 미학적 인식: 아름다움과 단순성이 정보 전달의 효과성에 기여.

이 연구는 논리 모델의 디자인 수정이 그 효과성을 향상시킬 수 있음을 보여주며, 평가자들이 논리 모델을 설계할 때 디자인 원칙을 고려해야 함을 강조합니다.

---

연구 방법

연구 설계 및 절차

• 연구 설계: 수렴 혼합 방법 실험 설계를 사용하여 시각화 기술이 논리 모델의 효과성을 향상시킬 수 있는지 테스트.
• 참가자: 아마존의 Mechanical Turk(MTurk)을 통해 모집된 참가자들은 여섯 가지 다른 조건 중 하나에 무작위로 배정됨.
• 논리 모델: Kellogg Foundation의 핸드북에 설명된 대부분의 요소를 포함하는 청소년 담배 예방 프로그램의 논리 모델을 사용.

실험 조건

1. 원본 논리 모델 (내러티브 없음): Condition 1
2. 원본 논리 모델 (내러티브 포함): Condition 2
3. 수정된 논리 모델 (내러티브 없음): Condition 3
4. 수정된 논리 모델 (내러티브 포함): Condition 4
5. 흑백 버전 수정된 논리 모델 (내러티브 없음): Condition 5
6. 내러티브만 포함: Condition 6

수정된 논리 모델의 원칙

1. 색상 사용: 각 열을 구분하기 위해 색상을 사용(흑백 버전에서는 회색 음영 사용).
2. 근접성: 연결된 항목을 가까이 배치하여 시각적 흐름을 간단하게.
3. 비데이터 잉크 감소: 중요하지 않은 시각적 요소를 제거하여 주요 정보에 집중.

참가자 절차

1. 프로그램 설명: 참가자들은 프로그램 설명을 읽고 프로그램의 '이야기'를 기술하는 질문에 답변.
2. 인지적 노력(ME) 평가: 인지적 노력의 정도를 평가하고 그 이유를 서술.
3. 정확도 퀴즈: 프로그램 설명을 참고하여 정확도 질문에 답변.
4. 미학 및 신뢰성 평가: 무작위 순서로 미학 및 신뢰성 질문에 답변.
5. 프로그램 및 설문에 대한 전반적 생각: 전반적인 생각을 기술.
6. 인구 통계 질문: 연령, 성별, 인종, 교육 수준, 시각 장애 여부를 포함한 질문에 답변.

파일럿 테스트

• 목적: 시각화의 명확성, 제시의 용이성, 이해도를 테스트하기 위해 100명의 참가자를 대상으로 파일럿 테스트 실시.
• 추가 질문: 파일럿 테스트 결과를 바탕으로 추가 정성적 질문 추가.
• 참가자 보상: 파일럿 테스트 완료 시 $1.25, 최종 설문 완료 시 $1.50.

도식화된 연구 절차 (그림 1)

• 그림 1은 연구 절차를 도식화하여 각 조건별로 참가자들이 수행한 단계를 시각적으로 보여줍니다.

---

참가자 및 인구 통계

• 참가자: MTurk를 통해 총 300명의 참가자를 모집. 포함 기준에 맞지 않는 5명을 제외한 최종 참가자 수는 295명.
• 인구 통계:
  • 성별: 남성 52%, 여성 48%, 기타 1%.
  • 연령: 19세에서 73세, 평균 34.7세 (SD = 9.97, 중앙값 = 33세).
  • 인종: 백인 74%, 흑인 9%, 아시아인 8%, 히스패닉 7%, 원주민 1%, 기타 1%.
  • 교육 수준: 학사 학위 41%, 일부 대학 교육 39%, 고등학교 졸업 13%, 석사 학위 6%, 박사 학위 과정 1%.

측정 방법

• 시각적 효율성 (Visual Efficiency):
  • 정의: 인지적 비용 대비 인지적 이득의 정도.
  • 계산: 정확도(Accuracy), 정신적 노력(ME), 응답 시간(RT)의 표준화된 점수를 사용한 방정식.
  • 정확도: 논리 모델에 대한 프로그램과 인과 관계에 관한 7개의 질문으로 측정.
  • 정신적 노력(ME): 1(낮음)에서 9(높음)까지의 단일 항목 리커트 척도.
  • 응답 시간(RT): 정확도 질문에 답하는 데 소요된 총 시간.
• 메시지 신뢰성 (Message Credibility):
  • Flanagin과 Metzger의 측정 방법 사용.
  • 항목: 신뢰할 수 있는, 정확한, 믿을 수 있는, 편향된, 완전한, 1에서 7까지의 리커트 척도로 평가.
• 미학 (Aesthetics):
  • 의미 분화 평가 척도 사용.
  • 항목: 못생긴-아름다운, 혼란스러운-명확한, 지루한-참여적인, 복잡한-단순한, 좌절하는-즐거운, 7점 척도로 평가.

분석 절차

• 양적 분석:
  • 예비 데이터 정리: 포함 기준에 맞지 않는 참가자 제거.
  • 시각적 효율성 점수 계산: RT, 정확도, ME의 표준화된 점수 사용.
  • 통계 분석: 조건 간 평균 차이를 비교하기 위해 일원 분산 분석(ANOVA) 수행. 2×2 ANOVA를 통해 두 독립 변수(내러티브 유무, 원본 vs. 수정) 간의 주 효과와 상호작용 효과를 검토.
  • 독립 t-검정, 상관 분석, 일원 ANOVA를 통해 인구 통계 변수 간의 유의미한 차이 식별.
• 질적 분석:
  • 내용 분석: 다양한 조건에서의 응답 패턴 식별.
  • 주제 도출: 세 명의 초기 코더가 주제를 도출하고 논의.
  • 정량화: 주제에 따라 정량화.
  • 정량적 데이터 우선 순위: 수렴 혼합 방법 설계에서 정량적 데이터를 우선 순위로 두고, 질적 결과는 정량적 결과를 확인하는 데 사용.

결론

이 연구는 시각화 기술이 논리 모델의 효과성을 향상시킬 수 있는지에 대해 탐구하였으며, 다양한 시각적 수정 조건을 통해 참가자들의 응답을 분석하여 시각적 효율성, 메시지 신뢰성, 미학적 인식을 평가하였습니다. 이 연구는 논리 모델의 디자인 개선이 정보 전달의 명확성과 신뢰성을 높일 수 있음을 시사합니다.

---

결과

시각적 효율성 (Visual Efficiency)

• 차이 분석: 여섯 조건 간 시각적 효율성 점수에 유의미한 차이가 있었음, F(5, 289) = 5.45, p < .001.
  • 결과: 내러티브가 없는 수정된 조건과 흑백 수정된 조건이 다른 네 조건보다 더 높은 시각적 효율성을 보였음. 흑백 수정된 조건은 내러티브가 포함된 원본 조건보다 더 높은 시각적 효율성을 보였음.
• 2×2 요인 분산 분석: 시각적 효율성에 대한 두 가지 주 효과(수정 여부, 내러티브 포함 여부)가 유의미했으나 상호작용 효과는 유의미하지 않았음, F (1, 189) = 2.68, p = .103.
  • 수정 효과: 수정된 논리 모델 조건이 원본 논리 모델 조건보다 유의미하게 높은 시각적 효율성 점수 보임(M = .20, SD = .94 vs. M = −.21, SD = .85), F(1, 189) = 9.65, p = .002.
  • 내러티브 효과: 내러티브가 포함된 조건이 포함되지 않은 조건보다 유의미하게 낮은 시각적 효율성 점수 보임(M = −.23, SD = .92 vs. M = .17, SD = .87), F(1, 189) = 10.65, p = .001.

응답 시간 (RT)

• 차이 분석: 여섯 조건 간 RT에 유의미한 차이가 없었음, F(5, 289) = 1.62, p = .155.
  • 결과: 수정된 내러티브 없는 조건이 원본 내러티브 포함 및 내러티브 없는 조건보다 유의미하게 낮은 RT를 보임.
• 2×2 요인 분산 분석: 논리 모델 수정 여부가 RT에 유의미한 주 효과를 나타냄. 수정된 논리 모델 조건이 원본 논리 모델 조건보다 유의미하게 낮은 RT 보임(M = 160.2s, SD = 91.5 vs. M = 191.8s, SD = 92.9), F(1, 189) = 5.24, p = .023.
  • 내러티브 포함 여부 효과: F(1, 189) = 0.81, p = 370, 상호작용 효과: F(1, 189) = 1.04, p = .309, 유의미하지 않음.

정신적 노력 (ME)

• 차이 분석: 여섯 조건 간 인지된 ME에 유의미한 차이가 없었음, F(5, 289) = 1.32, p = .258.
  • 결과: 내러티브만 포함된 조건이 수정된 내러티브 포함 조건보다 유의미하게 낮은 ME를 보임.
• 2×2 요인 분산 분석: 논리 모델 수정 여부와 내러티브 포함 여부, 상호작용 효과 모두 유의미하지 않았음.
  • 수정 효과: F(1, 189) = 0.28, p = .600.
  • 내러티브 효과: F(1, 189) = 1.32, p = .252.
  • 상호작용 효과: F(1, 189) = 0.76, p = .383.

질적 분석

• 참가자 응답 주제: 참가자들의 개방형 응답 분석 결과, 정보의 이해가 용이하다는 응답이 가장 많았으며(24%), 정보량이 많다는 응답이 두 번째로 많았음(20%). 논리 모델의 논리적 흐름이 어렵다는 응답은 원본 모델 조건에서 더 많이 나타남(13%).
• 높은 ME 점수: ME 점수를 높게 평가한 참가자들은 정보의 양이 많다는 점을 주로 언급. 예를 들어, 한 참가자는 "읽어야 할 내용이 많아서 정신적 노력이 많이 들었다"고 응답.
• 낮은 ME 점수: ME 점수를 낮게 평가한 참가자들은 메시지의 명확성과 그래프 읽기의 용이성을 언급. 예를 들어, 한 참가자는 "도표가 잘 구성되어 있고, 간단하게 읽기 쉽다"고 응답.

주요 결과 요약

• 시각적 효율성: 수정된 논리 모델이 원본 논리 모델보다 시각적 효율성이 높았으며, 내러티브가 포함된 조건은 포함되지 않은 조건보다 시각적 효율성이 낮았음.
• 응답 시간: 수정된 논리 모델이 원본 논리 모델보다 응답 시간이 짧았으며, 내러티브 포함 여부는 응답 시간에 유의미한 영향을 미치지 않음.
• 정신적 노력: 내러티브만 포함된 조건이 수정된 내러티브 포함 조건보다 낮은 ME를 보였으나, 전반적으로 유의미한 차이는 나타나지 않음.
• 질적 분석: 높은 ME 점수를 받은 참가자들은 정보의 양과 복잡성을 주로 언급, 낮은 ME 점수를 받은 참가자들은 명확성과 읽기 용이성을 언급.

---

정확도 (Accuracy)

• 차이 분석: 여섯 조건 간 정확도에 유의미한 차이가 있었음, F(5, 289) = 5.34, p < .001.
  • 결과: 수정된 내러티브 없는 조건이 원본 내러티브 포함, 수정된 내러티브 포함, 내러티브만 포함된 조건보다 유의미하게 높은 정확도를 보임.
  • 흑백 수정된 내러티브 없는 조건이 원본 내러티브 포함, 내러티브만 포함된 조건보다 유의미하게 높은 정확도를 보임.
  • 원본 내러티브 없는 조건이 내러티브만 포함된 조건보다 유의미하게 높은 정확도를 보임.
• 2×2 요인 분산 분석: 내러티브 포함 여부가 정확도에 유의미한 주 효과를 나타냄. 내러티브가 포함되지 않은 조건이 내러티브가 포함된 조건보다 유의미하게 높은 정확도를 보임(M = 64.4%, SD = 19.8 vs. M = 55.3%, SD = 22.1), F(1, 189) = 9.19, p = .003.
  • 수정 효과: 논리 모델 수정 여부에 대한 주 효과는 유의미하지 않았음, F(1, 189) = 3.50, p = .063.
  • 상호작용 효과: 유의미하지 않았음, F(1, 189) = 0.43, p = .512.

신뢰성 (Credibility)

• 차이 분석: 여섯 조건 간 신뢰성에 유의미한 차이가 있었음, F(5, 289) = 6.91, p < .001.
  • 결과: 내러티브만 포함된 조건이 다른 모든 조건보다 유의미하게 낮은 신뢰성을 보임.
  • 원본 내러티브 포함 조건이 흑백 수정된 내러티브 없는 조건보다 유의미하게 낮은 신뢰성을 보임.
• 2×2 요인 분산 분석: 논리 모델 수정 여부에 대한 주 효과, 내러티브 포함 여부에 대한 주 효과, 상호작용 효과 모두 유의미하지 않았음.
  • 수정 효과: F(1, 189) = 0.95, p = .332.
  • 내러티브 효과: F(1, 189) = 0.20, p = .654.
  • 상호작용 효과: F(1, 189) = 1.81, p = .180.

미학 (Aesthetics)

• 차이 분석: 논리 모델을 포함한 다섯 조건 간 미학에 유의미한 차이가 있었음, F(4, 238) = 2.72, p = .030.
  • 결과: 수정된 조건이 원본 내러티브 없는 조건보다 유의미하게 더 높은 미학 점수를 보임.
• 2×2 요인 분산 분석: 논리 모델 수정 여부가 미학에 유의미한 주 효과를 나타냄. 수정된 논리 모델 조건이 원본 논리 모델 조건보다 유의미하게 높은 미학 점수를 보임(M = 4.06, SD = 1.54 vs. M = 3.41, SD = 1.44), F(1, 189) = 8.91, p = .003.
  • 내러티브 포함 여부 효과: 유의미하지 않았음, F(1, 189) = 0.60, p = .441.
  • 상호작용 효과: 유의미하지 않았음, F(1, 189) = 0.37, p = .546.

시각적 효율성, 미학, 신뢰성 간의 관계

• 상관 분석: 시각적 효율성과 그 구성 요소(RT, ME, 정확도)와 미학 및 신뢰성 간의 상관관계를 분석.
  • 시각적 효율성: 신뢰성과 양의 상관관계를 가짐 (r = .164, p = .005), 미학과는 상관관계가 없었음 (r = .060, p = .305).
  • RT: 신뢰성(r = .054, p = .352) 및 미학(r = .108, p = .064)과 상관관계가 없었음.
  • ME: 신뢰성(r = −.253, p < .001) 및 미학(r = −.410, p < .001)과 강한 음의 상관관계를 가짐.
  • 정확도: 신뢰성과 상관관계가 없었음 (r = .052, p = .372), 미학과는 음의 상관관계를 가짐 (r = −.210, p < .001).
  • 신뢰성: 미학과 양의 상관관계를 가짐 (r = .300, p < .001).

인구 통계 차이

• 교육 수준: 높은 교육 수준의 참가자들이 낮은 교육 수준의 참가자들보다 높은 ME 점수를 보임, F(4, 290) = 3.16, p = .015.
• 성별: 남성 참가자들이 여성 참가자들보다 높은 정확도 점수를 보임, t(291) = 2.11, p = .035.
• 인종/민족: 백인 참가자들이 비백인 참가자들보다 평균적으로 높은 정확도 점수와 낮은 미학 점수를 보임, t(293) = 2.32, p = .021, t(293) = 2.03, p = .044.
• 연령: 연령이 RT와 양의 상관관계를 가짐 (r = .24, p < .001), 나이가 많은 참가자들이 젊은 참가자들보다 응답 시간이 더 길었음.

---

논의

연구의 목적

• 본 연구는 시각화 지침을 표준 논리 모델에 적용하여 모델의 효과성을 향상시킬 수 있는지 여부를 조사.
• 논리 모델의 형식 및 디자인을 간단히 수정함으로써 프로그램의 이야기를 보다 정확하고 신속하게 전달할 수 있는지 확인.

주요 결과

• 시각적 효율성: 논리 모델의 형식과 디자인을 수정함으로써 시각적 효율성이 향상됨.
  • 수정된 논리 모델은 참가자들이 논리 모델을 검토하고 질문에 응답하는 데 걸리는 시간을 줄이고, 응답 정확도를 높이며, 이해하는 데 필요한 정신적 노력을 줄이는 데 기여.
  • 수정된 논리 모델은 메시지 신뢰성을 높이고, 미학적으로 더 만족스러운 것으로 평가됨.

시사점

• 시각화의 중요성: 시각화 원칙을 적용한 논리 모델이 프로그램의 복잡한 아이디어와 개념을 더 넓은 관객에게 효과적으로 전달할 수 있음을 보여줌.
• 디자인과 신뢰성: 잘 설계된 시각화는 논리 모델의 신뢰성을 높임. 이는 시각화 분야의 다른 연구에서도 관찰된 바 있음(Tufte, 2006).
• 미학과 정확도: 더 미학적으로 만족스러운 시각화가 정확도 또는 사용성을 향상시킬 수 있다는 주장(Cawthon & Moere, 2007; Kurosu & Kashimura, 1995; Salimun et al., 2010; Tractinsky et al., 2000).

추가 연구 제안

• 개인차: 시각화의 미학적 요소와 정확도 간의 관계는 개인에 따라 다를 수 있음. 더 미학적인 시각화가 개인별로는 정확도를 낮출 수 있는 가능성(Simpson's paradox)을 제안.
• 평가 분야 적용: 평가자들이 복잡한 프로그램 논리를 더 효과적으로 전달하기 위해 시각화 디자인을 고려해야 함.
• 향후 연구: 본 연구는 평가 문헌에서 논리 모델의 디자인에 초점을 맞춘 최초의 연구 중 하나로, 시각화의 효과성을 검증하기 위한 템플릿을 제공.

결론

• 시각화 지침을 적용한 논리 모델은 프로그램의 이야기 전달에 있어 시각적 효율성을 크게 향상시킬 수 있음.
• 이러한 발견은 평가 및 시각화 분야에 중요한 기여를 하며, 논리 모델 디자인의 중요성을 강조.
• 평가자들은 시각화 원칙을 적용함으로써 프로그램의 메시지를 더 명확하고 신뢰성 있게 전달할 수 있을 것임.

---

연구 목표 및 결과

• 목표: 시각화 지침을 표준 논리 모델에 적용하여 논리 모델의 효과성을 향상시킬 수 있는지 확인.
• 결과: 간단한 시각적 수정이 논리 모델의 시각적 효율성을 향상시킴.
  • 응답 시간을 줄이고, 응답 정확도를 높이며, 이해하는 데 필요한 정신적 노력을 줄임.
  • 수정된 논리 모델은 신뢰성 및 미학적 만족도 또한 높였음.

시각화 지침의 적용

• 간단한 수정: 색상 변경, 활동 및 결과를 포함한 상자의 형식 조정, 화살표의 표현 변경 등 간단한 수정.
  • Microsoft PowerPoint와 같은 일반 소프트웨어를 사용하여 30분 이내에 수정 완료.
  • 시각적 개념: 포함(enclosure), 근접성(proximity), 연속성(continuity) 적용.

향후 연구 방향

• 시각화 기술의 추가 연구 필요: 논리 모델의 복잡성 수준과 이해도 간의 관계를 연구.
  • 상자와 화살표의 수가 이해도에 미치는 영향.
  • 프로그램에 대한 청중의 친숙도에 따라 복잡성의 영향을 평가.
  • 상호 관계를 나타내는 이중 화살표 등 더 복잡한 논리 모델의 표현 방식.
• 도해법 및 상호작용 모델:
  • 활동과 결과를 구별하는 범례 추가.
  • 논리 모델의 다양한 구성 요소 간의 관계 강도/유형을 소통하는 표기 시스템 개발.
  • 논리 모델을 제시하기 전에 읽는 방법에 대한 간단한 설명 제공.
  • 상호작용 논리 모델이 더 나은 이해와 정확성을 제공하는지 여부 연구.

신뢰성, 미학 및 시각적 효율성 간의 관계

• 관계 분석: 신뢰성과 미학은 정신적 노력(ME)과 음의 상관관계를 가짐. 정확도와 미학은 음의 상관관계를 보임.
  • 더 높은 신뢰성과 미학 점수는 더 낮은 ME 점수와 관련.
  • 더 높은 정확도는 더 낮은 미학 점수와 관련.

연구의 제한점

• 일반화의 제한: 참가자들이 논리 모델이나 프로그램에 대한 사전 지식이 없었음.
  • 대부분의 경우 논리 모델은 프로그램 이해도가 높은 이해 관계자들과 함께 개발.
  • 논리 모델 개발 과정에 참여한 이해 관계자들에게 시각적 수정이 동일한 영향을 미치는지 불확실.
• 화면 및 해상도: 참가자들이 논리 모델을 어떤 종류의 화면이나 해상도로 보았는지 제어할 수 없었음.

결론

• 영감 제공: 본 연구가 평가 분야에서 정보의 시각적 효과를 개선하기 위한 가정과 제안을 연구하는 데 영감을 주기를 희망.
• 시각화 기술의 잠재력: 평가 커뮤니티에서 시각화 기술의 잠재력을 가장 효과적으로 활용할 수 있도록 보장하는 평가 관련 연구가 계속될 것이라고 믿음.

본 연구는 시각화 원칙을 논리 모델에 적용하여 프로그램 커뮤니케이션 도구로서의 효과성을 향상시킬 수 있는 가능성을 보여주었으며, 이는 평가 실무에 있어 중요한 기여를 할 수 있습니다.