설문에 포함된 개별 문항에 대한 응답률을 높이기 위해서는 다음을 고려할 수 있다.
1
첫째, ‘의견 없음(No-opinion, NO)’의 상황을 고려해야 한다. '의견 없음'이 생기는 것은 크게 두 가지 이유가 있다.
> '인지적 저해cognitive hindrance'란, 응답자가 질문에 대한 답을 몰라서 어떤 질문에 대답할 수 없었을 때를 의미한다.
> '동기적 저해motivational hindrance'란, 응답자가 답을 알지만 답을 쓰기 싫을 때를 의미한다. 동기적 저해는 모르는 사람에게는 드러내기 싫은 개인적 질문에서 나타날 수 있다.
따라서 ‘의견 없음’이라는 보기를 사용하는 것은 ‘인지적 저해’로 인한 비응답을 낮추기 위한 것이다. 즉, 어떤 질문에 대한 지식이나 의견이 없음에도 어쩔 수 없이 거짓 정보를 제공해야 하는 오류를 방지하기 위한 것이다. 다르게 말하면 동기적 저해motivational hindrance를 해소하는 전략이 아니다. 따라서 '태도나 행동 질문에 대해서는 ‘의견 없음’옵션을 주지 말라'고 권고하고 있다. 이는 왜냐하면 특정 의견에 대한 응답자의 성향learnings은 (비록 그 의견에 자신이 없더라도) 실제 성과를 강하게 예측해주기 때문이다. 수십년의 연구결과를 보면, 응답자가 태도 질문에 ‘의견 없음’을 선택한 경우는 대체로 '인지적 작업을 하기(머리쓰기) 싫어서'이거나, 민망한 응답을 드러내기 싫어서인 경우가 대부분이다.
응답자는 문항을 건너뛰기(skipped question)도 한다. 일반적으로, 설문 방식과 무관하게 설문은 가급적 짧게 만들어서 피로감을 덜어주어야 한다. 하지만 ‘의견 없음’ 보기가 제공되었을 때, 인지적 저해와 동기적 저해가 발생하면 문항을 응답하지 않는(건너뛰는) 일이 생길 수 있다.
2
종이 설문에서 ‘응답자 친화적 설계(Respondent-friendly designs)’를 고려해야 한다.
(1) 설문에 대한 안내/설명 제공 providing single-step instructions on a standard size sheet of paper,
(2) 불필요한 삽입 종이 넣지 않기 avoiding extra papers such as inserts,
(3) 이름은 한 번만 쓰게 하기(페이지마다 쓰지 않게 하기) listing name (if necessary) and demographic information only once (rather than on each page)
(4) 단면으로 만들기 using single sided forms,
(5) 아무 필기구나 사용해도 되게 하기 allowing the use of any writing tool,
(6) 설문 문항이 있는 페이지가 어디인지 눈에 잘 띄게 만들기 visually emphasizing the areas of the page that have the questions so respondents are not distracted by the optical scanner markings
3
웹/이메일 설문에서는 다양한 인터페이스에서 설문문항이 확실하게 잘 보이게 만드는 것이 중요하다. 페이지를 늘리는 것은 총 응답시간을 늘리고, 부담을 증대시킨다. 그러나 반대로 한 페이지가 너무 길면 그 페이지 중간에 응답자가 떠날 수 있다. 최적의 페이지 숫자가 명확하지는 않지만, 한 페이지에 여러 개의 문항을 넣는 것이 문항 응답률을 높인다는 것이 연구의 대체적인 결론이다.
4
문항 단위에서 발생하는 응답률을 높이기 위한 전략은 다음과 같다.
• 간략한 도입부 설명
• 첫 질문은 간단하고 흥미로운 것으로
• 개인식별번호를 넣도록 함(외부인 접근 방지, 종단연구시 활용)
• 각 질문을 문항번호(숫자)로 시작하며, 보기가 질문에 최대한 가까이 있게 설계
• 지나친 색은 지양(흑-백이면 적절함)
• 각각의 질문-보기 짝을 분리시킴(위 문항과 아래 문항이 혼란스럽지 않도록)
• 드롭다운 박스에 포함되는 보기의 수를 한 페이지에 보일 정도로 제한함
• 다운로드 시간에 영향을 주는 그래픽은 최소화
• 진행률 막대 포함
• 폐쇄형(closed-ended) 또는 단답형(short open-ended) 문항 사용
• 횡스크롤 사용금지 (응답자 인터페이스가 불편해짐)
• 보기가 많아서 한 화면을 넘어가는 경우 두 개 또는 세 개 칼럼으로 제시하는 것을 고려
• 읽기 쉬운 폰트(Arial, Times New Roman, Verdana) 사용
출처:
Phillips, A. W., Reddy, S., & Durning, S. J. (2016). Improving response rates and evaluating nonresponse bias in surveys: AMEE Guide No. 102. Medical teacher, 38(3), 217-228.
'잘 가르치게 돕습니다.' 카테고리의 다른 글
| 피드백 문해력을 갖춘다는 것은? 학생을 위한 조언 (0) | 2022.02.10 |
|---|---|
| 완전학습(Mastery learning): 오슬러가 언급하지 않은 것 (0) | 2022.02.10 |
| 설문조사 응답률을 높이는 전략 (0) | 2022.02.09 |
| 학습(Learning)이란? (2020년 2월 3일의 기록) (1) | 2022.02.03 |
| 평가(assessment)에 대한 각 이해관계자의 바른 자세 (0) | 2022.01.30 |