▲국민의힘 원희룡 공동선대위원장이 17일 오전 서울 여의도 중앙당사에서 열린 중앙선거대책위원장 회의에서 발언하고 있다. 2024.3.17
연합뉴스
이같이 결과가 다른 여론조사를 어떻게 해석해야 하는지에 대해 설명하거나 혹은 의혹을 제기하는 언론 기사의 주요 내용을 정리하자면 이렇다.
① ARS보다는 전화면접이 좋다.
② 큰 조사회사의 결과가 좋다.
③ 극단치는 제외하고 보는 게 좋다.
④ 비상근 자문 인력의 과거 경력에 의원실이나 정당 경력이 포함돼 문제다.
사실 ①~③은 여론조사의 결과를 이해하는 일반적인 주장이라서 최근 경향이나 또 다른 의견을 더하고 빼는 등 논의가 가능할 것 같다. ④는 트집잡기 정도에 지나지 않아서 논의할 대상이 아닌 것으로 보인다.
언론 기사에서는 다루지 않았지만, 필자가 보기에 중요한 이유를 소개하고자 한다. 그건 '문항 순서효과에 의한 응답 경향'이다. 즉, 지지하는 후보 문항의 결과만 딱 잘라서 봐도 이해하기 어려울 때에는 설문지 전체 구조를 보라는 제안을 하고 싶다. 아래는 위에서 소개한 5개 조사의 설문 구조다. 이해하기 쉽게 격차가 큰 순서대로 보여드린다(아래 설명 중 SQ는 선정문항, DQ는 배경문항을 뜻함).
[메타보이스 - 17%p 격차]
SQ - 연령, 성별, 거주지
문. 지지하는 후보 - "누구를 지지"
문. 당선 후보 전망
문. 비례대표 선거 투표 정당
문. 공감하는 총선 프레임
문. 투표 의향
DQ - 이념 성향, 지난 대선 투표 후보
[한국리서치 - 12%p 격차]
SQ - 주소, 성별, 연령
문. 투표 의향
문. 지지하는 후보 - "누구에게 투표"
문. 투표 시 고려 요인: 정당 vs. 인물
문. 당선 후보 전망
문. 공감하는 총선 프레임
문. 지지하는 정당
DQ - 직업, 경제 계층, 이념 성향
[KRI(코리아리서치인터네셔널) - 11%p 격차]
SQ - 주소, 성별, 연령
문. 투표 의향
문. 지지하는 후보 - "누구에게 투표"
문. 계속 지지 의향
문. 당선 후보 전망
문. 비례대표 선거 투표 정당
문. 공감하는 총선 프레임
DQ - 직업
[한국갤럽 - 8%p 격차]
SQ - 주소, 연령, 성별
문. 투표 의향
문. 지지하는 후보 - "가장 좋다고 생각"
문. 비례대표 선거 투표 정당
문. 전체 선거 결과 예상
문. 지지하는 정당
DQ - 직업, 정치 성향
[엠브레인퍼블릭 - 3%p 격차]
SQ - 주소, 성별, 연령
문. 지지하는 정당
문. 투표 의향
문. 투표 시 고려 요인: 정당 vs. 인물
문. 지지하는 후보 - "가장 지지"
문. 당선 후보 전망
문. 공감하는 총선 프레임
DQ - 이념 성향
필자가 밑줄 친 '지지하는 후보'를 묻는 문항이 핵심이다. 혹시 이미 눈치를 챈 독자가 있을지 모르겠는데, 위 5개 설문 구조에서 엠브레인퍼블릭 설문지에서만 지지하는 후보를 묻는 문항이 나중에 나온다. 지지하는 정당, 투표 의향, 투표 시 고려 요인 등을 묻고 나서 지지하는 후보를 묻는다.
다른 조사기관의 설문지에서는 지지 정당보다 지지하는 후보를 묻는 문항이 앞에 위치한다. 메타보이스는 투표 의향 문항보다도 지지하는 후보를 먼저 묻고 있다. 후보 지지도 격차와 문항의 순서가 묘한 관련이 있는 것처럼 보인다.
정당과 인물, 어디에 투표하는가
필자는 위같은 설문 구조 비교를 통해, 응답자가 설문에 응하면서 먼저 접하는 질문에 의해 환기되는 기억이 무엇인지에 따라 이어지는 질문에 대한 응답이 달라질 수 있다는 사실을 '문항 순서효과'라고 제기한다.
위의 5개 설문 구조에 대해서는, 지지하는 정당을 먼저 응답하게 되면 최근 정당에 대한 정보와 기억을 환기하고, 그 프레임에 맞게 일관된 응답을 하는 경향이 나타날 수가 있다는 것이다. 지지하는 후보를 묻는 말에 응답 요청을 받게 되는 설문 결과와는 당연히 다를 것으로 보인다.
유권자가 투표소에서 투표하는 과정을 생각하면, 후보의 소속 정당을 보고 투표를 하는 경우도 있을 수 있고, 인물을 먼저 보고 투표하는 경우도 많겠다. 인물에 대한 정보가 거의 없는 경우에는 일체감을 느끼는 정당만을 보고 투표하는 비율이 상당히 높다는 연구도 있고, 인물의 호감도가 높은 경우에는 정당 요인은 크게 고려하지 않기도 한다.
이번 인천 계양을 지역구를 보자. 두 후보 모두 대권주자로 중량감이 상당하다. 더군다나 이재명은 최대 정당을 이끄는 수장이고, 원희룡은 전직 장관과 제주도지사를 지냈다. 인지도를 논해야 하는 인물들이 아니다. 이런 후보군이라면, 지지 후보를 먼저 묻는 경우에 호감도가 바로 응답으로 나타날 수 있다.
지지하는 정당을 먼저 물으면 인물도 인물이지만, 최근 두 정당의 공천 잡음, 정책과 공약 등 다양한 요소가 떠오른다. 그래서 정당 일체감에 의한 선택 경향이 지지하는 후보 문항에 반영될 수 있다. 어느 게 맞고 틀린 문제가 아니다. 다른 결과를 이해하는 하나의 요령이다.
한 걸음 더 나간다면, 위의 설문에서 질문하는 문구, 즉 '지지하는 후보'를 묻는지, '투표할 후보'인지, 혹은 '좋은 후보'인지에 따라 다른 경향이 나타날 텐데 이번 기사에서는 생략한다.
'선택지 순서 효과'는 없는가