의대에서 교육하고 있습니다.

설문에 포함된 개별 문항에 대한 응답률을 높이기 위해서는 다음을 고려할 수 있다.

1

첫째, ‘의견 없음(No-opinion, NO)’의 상황을 고려해야 한다. '의견 없음'이 생기는 것은 크게 두 가지 이유가 있다.

> '인지적 저해cognitive hindrance'란, 응답자가 질문에 대한 답을 몰라서 어떤 질문에 대답할 수 없었을 때를 의미한다.

> '동기적 저해motivational hindrance'란, 응답자가 답을 알지만 답을 쓰기 싫을 때를 의미한다. 동기적 저해는 모르는 사람에게는 드러내기 싫은 개인적 질문에서 나타날 수 있다.

따라서 ‘의견 없음’이라는 보기를 사용하는 것은 ‘인지적 저해’로 인한 비응답을 낮추기 위한 것이다. 즉, 어떤 질문에 대한 지식이나 의견이 없음에도 어쩔 수 없이 거짓 정보를 제공해야 하는 오류를 방지하기 위한 것이다. 다르게 말하면 동기적 저해motivational hindrance를 해소하는 전략이 아니다. 따라서 '태도나 행동 질문에 대해서는 ‘의견 없음’옵션을 주지 말라'고 권고하고 있다. 이는 왜냐하면 특정 의견에 대한 응답자의 성향learnings은 (비록 그 의견에 자신이 없더라도) 실제 성과를 강하게 예측해주기 때문이다. 수십년의 연구결과를 보면, 응답자가 태도 질문에 ‘의견 없음’을 선택한 경우는 대체로 '인지적 작업을 하기(머리쓰기) 싫어서'이거나, 민망한 응답을 드러내기 싫어서인 경우가 대부분이다.

응답자는 문항을 건너뛰기(skipped question)도 한다. 일반적으로, 설문 방식과 무관하게 설문은 가급적 짧게 만들어서 피로감을 덜어주어야 한다. 하지만 ‘의견 없음’ 보기가 제공되었을 때, 인지적 저해와 동기적 저해가 발생하면 문항을 응답하지 않는(건너뛰는) 일이 생길 수 있다.

2

종이 설문에서 ‘응답자 친화적 설계(Respondent-friendly designs)’를 고려해야 한다.

(1) 설문에 대한 안내/설명 제공 providing single-step instructions on a standard size sheet of paper,

(2) 불필요한 삽입 종이 넣지 않기 avoiding extra papers such as inserts,

(3) 이름은 한 번만 쓰게 하기(페이지마다 쓰지 않게 하기) listing name (if necessary) and demographic information only once (rather than on each page)

(4) 단면으로 만들기 using single sided forms,

(5) 아무 필기구나 사용해도 되게 하기 allowing the use of any writing tool,

(6) 설문 문항이 있는 페이지가 어디인지 눈에 잘 띄게 만들기 visually emphasizing the areas of the page that have the questions so respondents are not distracted by the optical scanner markings

3

웹/이메일 설문에서는 다양한 인터페이스에서 설문문항이 확실하게 잘 보이게 만드는 것이 중요하다. 페이지를 늘리는 것은 총 응답시간을 늘리고, 부담을 증대시킨다. 그러나 반대로 한 페이지가 너무 길면 그 페이지 중간에 응답자가 떠날 수 있다. 최적의 페이지 숫자가 명확하지는 않지만, 한 페이지에 여러 개의 문항을 넣는 것이 문항 응답률을 높인다는 것이 연구의 대체적인 결론이다.

4

문항 단위에서 발생하는 응답률을 높이기 위한 전략은 다음과 같다.

• 간략한 도입부 설명 

• 첫 질문은 간단하고 흥미로운 것으로

• 개인식별번호를 넣도록 함(외부인 접근 방지, 종단연구시 활용) 

• 각 질문을 문항번호(숫자)로 시작하며, 보기가 질문에 최대한 가까이 있게 설계 

• 지나친 색은 지양(흑-백이면 적절함) 

• 각각의 질문-보기 짝을 분리시킴(위 문항과 아래 문항이 혼란스럽지 않도록) 

• 드롭다운 박스에 포함되는 보기의 수를 한 페이지에 보일 정도로 제한함 

• 다운로드 시간에 영향을 주는 그래픽은 최소화 

• 진행률 막대 포함 

• 폐쇄형(closed-ended) 또는 단답형(short open-ended) 문항 사용  

• 횡스크롤 사용금지 (응답자 인터페이스가 불편해짐)

• 보기가 많아서 한 화면을 넘어가는 경우 두 개 또는 세 개 칼럼으로 제시하는 것을 고려

• 읽기 쉬운 폰트(Arial, Times New Roman, Verdana) 사용

출처:

Phillips, A. W., Reddy, S., & Durning, S. J. (2016). Improving response rates and evaluating nonresponse bias in surveys: AMEE Guide No. 102. Medical teacher, 38(3), 217-228.

1

설문에서 응답률을 정의할 때 AAPQR의 여섯 가지 정의를 사용할 수 있다. 여섯 개의 정의는 ‘(1) 부분 응답자, (2) 설문자격eligibility여부가 불확실한 비응답자’를 어떻게 다루느냐에 따라 구분된다. 이 중 의학교육에는 보통 RR5와 RR6가 가장 잘 부합한다. '설문자격여부가 불활실한 비응답자'에 대한 문제는 일반 대중을 대상으로 하는 연구에서 중요하나 의학교육에서는 관련성이 다소 낮다. 길가에서 '아이가 있는 사람'을 대상으로 설문을 한다고 했을 때, 설문을 받는 사람은 개개인이 부모인지 아닌지(설문자격)를 모르는 것이 그 예이다.

'Survey'란 일군의 사람들에게 의견을 수집하기 위해서 사용되는 도구를 말하며, 'sampling frame'이란 잠재적 응답자가 누군지를 정의한다. 예컨대, 연구자는 설문지를 일개 의과대학 1학년 학생에게만 보낼 수 있고, 이 경우 해당 의과대학의 1학년 학생만이 Sampling frame이다. 잘 정의된 sampling frame은 잘 정의된 응답률을 계산하는데 필수적이다.

2

응답률을 향상시키는 전략을 몇 가지로 나눠서 생각해볼 수 있다.

첫 번째는 설문 전달survey delivery이 잘 안 되었을 수 있다. 이메일 주소에 오타가 있는 것이 한 가지 예시이다. 우편으로 보내더라도 마찬가지이다. 종이와 온라인이 혼합된 방법으로 설문을 할 경우(예: 이메일+우편)은 두 가지가 정확히 동일한 언어로 쓰여져야 하며, 방식의 따른 차이의 영향이 최소화 되게끔 설계되어야 한다. 또한 온라인 설문이라면 컴퓨터/스마트폰/태블릿 등 여러 종류의 기기에서 거의 보여지는지에 신경써야 한다.

이 외에 고려할 수 있는 전략은 다음이 있다.

3

두 번째는 설문이 잘 전달되었더라도, 설문에 대한 인식survey acknowledgement이 없을 수 있다. 응답대상자들은 심지어 자신이 설문지를 받았다는 것 조차 인식하지 못하기도 한다. 우편으로 설문을 받은 사람 중 10%는 설문을 받은 기억 자체가 없다. 인터넷 설문이라면 '명확한 제목', '응답자가 아는 사람으로부터의 발송', '응답자의 이름을 salutation에 포함시키기', '참여를 요청하는 간략한 초대글 넣기' 등의 전략이 가능하다.

4

세 번째는 설문이 잘 전달되었고, 설문에 대한 인식도 있는데, 협조하지 않는 경우가 발생할 수 있다. 설문을 시행하는 사람이 통제가능한 요인과 통제불가능한 요인이 있다.

통제가능한 요인은 다음과 같다.

• 인센티브: 요청을 보낼 당시에 금전적 인센티브를 포함하는 것이 응답률을 유의미하게 높인다. '돈'이 '비금전 선물(음식 등)'보다 더 효과가 있다. 다만 최소 인센티브가 얼마인지는 불확실하다. 의학교육연구자에게 현실적인 제언은 (설문을 마칠 때가 아니라) 처음 요청할 당시에 2~5달러 정도의 인센티브를 주는 것이다. 비록 이것이 '설문을 마치지 않았는데도 돈을 준다'라는 점에서 직관에 반할 수도 있지만, 선행 연구를 고려하면, 처음에 주는 경우에 응답률이 더 높았다.

• 설문 길이: 심지어 설문 길이가 짧은 경우에도 설문 길이에 대한 언급이 없는 편이 낫다. 또한 설문 길이는 짧을 수록 좋다. 더 나아가서, 웹 설문일 경우 설문 길이는 더 중요해진다. 모바일 기기에서 컴퓨터에서보다 약 3배의 시간이 걸리기 때문이다.

• 개별화와 권위(authority): 개인적 관계를 활용하는 것이 기관의 권위(대학에서 스폰서함 등)를 강조하는 것보다 통계적으로 유의하게 응답률을 향상시킨다. 또한 개별화된 이메일, 감사인사가 포함된 봉투 등도 응답률을 높이는데 도움이 된다. 이메일의 salutation에 대상자의 이름을 쓰고, 제목을 "당신의 교육을 개선시키는데 중요한 연구"라고 쓸 수도 있다.

• 설문 요청 횟수(Number of attempts): 비용/효과를 고려하면, 일반적으로 세 번 정도 시도하는 것을 권고한다. 만약 3번 시도 이후에도 응답이 없으면, 추가적 시도에서 응답을 얻을 가능성은 무척 낮다. 리마인더Reminder를 보내는 최적의 타이밍은 연구마다 다른데, 보통 약 절반정도의 응답이 설문을 시작한지 1일 이내에 오고, 90%는 2주 이내에 온다. 또한 응답자의 스케쥴(시험 일정 등)을 고려할 필요도 있다. 1일~2주 사이에, 그 기간 내의 일정을 고려해서, reminder를 보낼 것을 권고한다. 설문 진행을 사전에 예고하는 편지(advance letter)를 (보통 설문 며칠 전에 받도록) 하는 것도 도움이 될 수 있다.

통제가능한 요인에 대한 대처법

• 여러 방식을 혼합함 Mixed survey methods (e.g. internet and postal mail)

• 설문 요청을 개별적으로 함 Personalized survey invitations

• 금전적 인센티브 제공 Monetary incentive

• 예상 설문 응답시간 제공 안함 Not providing an estimated survey time

• 1000단어 이하로 만듬 Survey less than 1000 words

• 초기 응답 거부에 대한 인터뷰어의 구체적 반응 설계 Specific interviewer replies to initial refusals

• 응답대상자와 다시 접촉 Repeated contact with potential participants

• 사전 예고 Pre-notification

한편 다음은 설문 시행측이 통제할 수 없는 요인이다.

• 성별에 따른 차이: 여러 차례 응답을 요청하여 해소할 수 있음

• 주제의 중요성에 대한 개개인의 인식: Leverage-saliency theory에 따르면 주제가 얼마나 중요한지가 응답에 영향을 준다. 교육과 관련되어 있다면 ‘후반부 과목 개선에 사용될 것입니다’라고 말하여 학생과의 관련성을 더 높일 수 있다.

• 인터뷰어: 인터뷰어에 따라서 응답률이 달라진다. 다만 그 이유는 인터뷰어의 자신감, 인터뷰이의 특징 등이 복합적으로 작용한다. 

출처:

Phillips, A. W., Reddy, S., & Durning, S. J. (2016). Improving response rates and evaluating nonresponse bias in surveys: AMEE Guide No. 102. Medical teacher, 38(3), 217-228.