설문조사 응답률을 높이는 전략

1

설문에서 응답률을 정의할 때 AAPQR의 여섯 가지 정의를 사용할 수 있다. 여섯 개의 정의는 ‘(1) 부분 응답자, (2) 설문자격eligibility여부가 불확실한 비응답자’를 어떻게 다루느냐에 따라 구분된다. 이 중 의학교육에는 보통 RR5와 RR6가 가장 잘 부합한다. '설문자격여부가 불활실한 비응답자'에 대한 문제는 일반 대중을 대상으로 하는 연구에서 중요하나 의학교육에서는 관련성이 다소 낮다. 길가에서 '아이가 있는 사람'을 대상으로 설문을 한다고 했을 때, 설문을 받는 사람은 개개인이 부모인지 아닌지(설문자격)를 모르는 것이 그 예이다.

 

'Survey'란 일군의 사람들에게 의견을 수집하기 위해서 사용되는 도구를 말하며, 'sampling frame'이란 잠재적 응답자가 누군지를 정의한다. 예컨대, 연구자는 설문지를 일개 의과대학 1학년 학생에게만 보낼 수 있고, 이 경우 해당 의과대학의 1학년 학생만이 Sampling frame이다. 잘 정의된 sampling frame은 잘 정의된 응답률을 계산하는데 필수적이다.

 

2

응답률을 향상시키는 전략을 몇 가지로 나눠서 생각해볼 수 있다.

 

첫 번째는 설문 전달survey delivery이 잘 안 되었을 수 있다. 이메일 주소에 오타가 있는 것이 한 가지 예시이다. 우편으로 보내더라도 마찬가지이다. 종이와 온라인이 혼합된 방법으로 설문을 할 경우(예: 이메일+우편)은 두 가지가 정확히 동일한 언어로 쓰여져야 하며, 방식의 따른 차이의 영향이 최소화 되게끔 설계되어야 한다. 또한 온라인 설문이라면 컴퓨터/스마트폰/태블릿 등 여러 종류의 기기에서 거의 보여지는지에 신경써야 한다.

이 외에 고려할 수 있는 전략은 다음이 있다.

 

3

두 번째는 설문이 잘 전달되었더라도, 설문에 대한 인식survey acknowledgement이 없을 수 있다. 응답대상자들은 심지어 자신이 설문지를 받았다는 것 조차 인식하지 못하기도 한다. 우편으로 설문을 받은 사람 중 10%는 설문을 받은 기억 자체가 없다. 인터넷 설문이라면 '명확한 제목', '응답자가 아는 사람으로부터의 발송', '응답자의 이름을 salutation에 포함시키기', '참여를 요청하는 간략한 초대글 넣기' 등의 전략이 가능하다.

 

4

세 번째는 설문이 잘 전달되었고, 설문에 대한 인식도 있는데, 협조하지 않는 경우가 발생할 수 있다. 설문을 시행하는 사람이 통제가능한 요인과 통제불가능한 요인이 있다.

 

통제가능한 요인은 다음과 같다.

• 인센티브: 요청을 보낼 당시에 금전적 인센티브를 포함하는 것이 응답률을 유의미하게 높인다. '돈'이 '비금전 선물(음식 등)'보다 더 효과가 있다. 다만 최소 인센티브가 얼마인지는 불확실하다. 의학교육연구자에게 현실적인 제언은 (설문을 마칠 때가 아니라) 처음 요청할 당시에 2~5달러 정도의 인센티브를 주는 것이다. 비록 이것이 '설문을 마치지 않았는데도 돈을 준다'라는 점에서 직관에 반할 수도 있지만, 선행 연구를 고려하면, 처음에 주는 경우에 응답률이 더 높았다.

• 설문 길이: 심지어 설문 길이가 짧은 경우에도 설문 길이에 대한 언급이 없는 편이 낫다. 또한 설문 길이는 짧을 수록 좋다. 더 나아가서, 웹 설문일 경우 설문 길이는 더 중요해진다. 모바일 기기에서 컴퓨터에서보다 약 3배의 시간이 걸리기 때문이다.

• 개별화와 권위(authority): 개인적 관계를 활용하는 것이 기관의 권위(대학에서 스폰서함 등)를 강조하는 것보다 통계적으로 유의하게 응답률을 향상시킨다. 또한 개별화된 이메일, 감사인사가 포함된 봉투 등도 응답률을 높이는데 도움이 된다. 이메일의 salutation에 대상자의 이름을 쓰고, 제목을 "당신의 교육을 개선시키는데 중요한 연구"라고 쓸 수도 있다.

• 설문 요청 횟수(Number of attempts): 비용/효과를 고려하면, 일반적으로 세 번 정도 시도하는 것을 권고한다. 만약 3번 시도 이후에도 응답이 없으면, 추가적 시도에서 응답을 얻을 가능성은 무척 낮다. 리마인더Reminder를 보내는 최적의 타이밍은 연구마다 다른데, 보통 약 절반정도의 응답이 설문을 시작한지 1일 이내에 오고, 90%는 2주 이내에 온다. 또한 응답자의 스케쥴(시험 일정 등)을 고려할 필요도 있다. 1일~2주 사이에, 그 기간 내의 일정을 고려해서, reminder를 보낼 것을 권고한다. 설문 진행을 사전에 예고하는 편지(advance letter)를 (보통 설문 며칠 전에 받도록) 하는 것도 도움이 될 수 있다.

 

---

통제가능한 요인에 대한 대처법

• 여러 방식을 혼합함 Mixed survey methods (e.g. internet and postal mail)

• 설문 요청을 개별적으로 함 Personalized survey invitations

• 금전적 인센티브 제공 Monetary incentive

• 예상 설문 응답시간 제공 안함 Not providing an estimated survey time

• 1000단어 이하로 만듬 Survey less than 1000 words

• 초기 응답 거부에 대한 인터뷰어의 구체적 반응 설계 Specific interviewer replies to initial refusals

• 응답대상자와 다시 접촉 Repeated contact with potential participants

• 사전 예고 Pre-notification

---

 

한편 다음은 설문 시행측이 통제할 수 없는 요인이다.

• 성별에 따른 차이: 여러 차례 응답을 요청하여 해소할 수 있음

• 주제의 중요성에 대한 개개인의 인식: Leverage-saliency theory에 따르면 주제가 얼마나 중요한지가 응답에 영향을 준다. 교육과 관련되어 있다면 ‘후반부 과목 개선에 사용될 것입니다’라고 말하여 학생과의 관련성을 더 높일 수 있다.

• 인터뷰어: 인터뷰어에 따라서 응답률이 달라진다. 다만 그 이유는 인터뷰어의 자신감, 인터뷰이의 특징 등이 복합적으로 작용한다. 

 

 

 

 

 

 

출처:

Phillips, A. W., Reddy, S., & Durning, S. J. (2016). Improving response rates and evaluating nonresponse bias in surveys: AMEE Guide No. 102. Medical teacher, 38(3), 217-228.