질문 내용에 널뛰는 여론조사… 6가지 설문지 분석

‘얼마나’의 함정

여론조사는 민감하다. 단어 하나, 문구 하나에도 영향을 받는다. 특히 선거 여론조사는 어떻게 묻느냐에 따라 후보 지지율이 오르락내리락한다.

‘어느 후보를 더 좋아하나’ ‘어느 후보가 당선되는 게 좋다고 생각하나’ ‘어느 후보가 가장 나은가’

‘내일 선거가 있다면 어느 후보에게 투표하겠나’의 미세한 뉘앙스 차이는 수치로 드러난다.

뇌물수수 혐의로 기소된 한명숙 전 총리에게 지난 9일 무죄가 선고됐다.

이후 일주일간, 6·2 서울시장 선거에 출마할 오세훈 현 서울시장과 한 전 총리의 맞대결 등을 가상한 지지율 조사 결과가 쏟아졌다.

6개 여론조사업체가 내놓은 7차례 조사에서 지지율은 널을 뛰었다. 한 전 총리는 1.6% 포인트 앞서기도 했고 20.9% 포인트 뒤지기도 했다.

조사 업체들은 “응답자 절반이 무죄 판결을 당연하다고 봤다”거나 “검찰 개혁이 필요하다는 답변이 ○%”라는 식의 이야기도 내놓았다.

설문지를 공개하지 않은 미디어리서치를 제외하고 5개 업체의 6개 설문지를 분석했다. 왜 들쭉날쭉한 차이가 발생하는지,

이런 조사는 여론을 얼마나 정확히 반영하는지를 파악하고자 전문가들과 함께 설문 문항부터 살폈다.

설문의 마법

‘법원 무죄 선고에 대해 어떻게 생각하십니까? 검찰이 무리하게 기소한 만큼 당연한 결과라고 생각하시면 1번, 법원의 무죄 선고가 잘못된 것이라고 생각하시면 2번을 눌러주세요.’

여론조사업체 리서치뷰가 지난 9일 실시한 ARS(자동응답시스템) 조사 2번 문항이다. ‘여론조사, 과학인가 예술인가?’의 저자 강흥수 국민대 교수는 “보기 1번과 2번이 동등하지 않다”고 지적했다. ‘무리하게 기소한 만큼 당연한 결과’라는 1번은 ‘기소가 무리였다’는 가치판단을 포함하고 있는 반면 2번은 그렇지 않다는 것이다. 강 교수는 “답변이 1번으로 쏠릴 수 있는 질문”이라 했고, 이는 수치로 나타났다. 응답자의 49.9%가 “무죄 판결은 당연하다”며 1번을 골랐다.

강 교수를 비롯한 전문가 3명과 살펴본 설문지 곳곳에서 이렇게 미묘한 뉘앙스의 함정이 발견됐다. 중앙일보가 지난 12일 자체적으로 실시한 전화면접조사 8번 문항.

‘○○님께선 이명박 대통령이 국정수행을 얼마나 잘하고 있다고 혹은 잘못하고 있다고 생각하십니까?’

‘잘하고’ 앞에는 ‘얼마나’란 수식어가 있고 ‘잘못하고’에는 이 수식어가 없다. 자세히 들여다보면 앞에 있는 ‘얼마나’가 ‘잘하고’와 ‘잘못하고’를 모두 수식하는 것으로 해석되지만, 전화로 듣는 응답자들은 ‘잘하고’에 무게가 실린 질문으로 느낄 수 있다고 강 교수는 말했다. “공부를 얼마나 잘하느냐”고 물으면 공부를 잘한다는 걸 전제로 한 질문이 되는 것과 같은 이치다.

‘이번 무죄 판결을 통해 볼 때 검찰 개혁이 필요하다고 보십니까?’ GH코리아의 지난 10일 ARS 조사에도 비슷한 위험이 숨어 있다. ‘개혁’은 대체로 긍정적 의미를 갖고 있다. ‘무죄 판결을 통해’라는 표현까지 앞에 있어 ‘개혁이 필요하다’는 답변이 유도될 수 있다. 실제로 ‘검찰 개혁이 필요하다’는 답변은 57.9%였다.

반면 같은 조사에서 ‘이번 수사는 검찰의 표적수사’(43.8%)라거나 ‘한 전 총리의 또 다른 정치자금 수수 혐의를 수사하는 건 잘못’(46.2%)이라는 답은 50%에 훨씬 미치지 못했다. ‘여론조사의 비밀’ 저자 유우종씨는 “검찰 개혁이나 수사 공정성에 관해 묻는다면 ‘현재 검찰 수사 방식에 대해 어떻게 생각하느냐’고 묻는 게 중립적인 질문”이라고 했다.

리서치앤리서치(R&R)가 지난 10일 실시한 전화면접조사 9번 문항. ‘여러분은 민주당이 진보적인 정당이라고 생각하십니까, 보수적인 정당이라고 생각하십니까?’

여기선 용어의 모호함이 지적됐다. 진보나 보수는 응답자에 따라 정의가 다를 수밖에 없다. 조사 결과는 진보 13.5%, 중도진보 26.9%, 중도보수 20.4%, 보수 11.3%로 애매하게 나타났다.

정당 지지도를 몇 번째 문항에서 묻느냐에 따라 지지율 차이도 컸다. R&R은 정당 지지도를 가장 마지막에 물었다. 설문 앞부분에 배치된 문항들은 ‘야 5당 단일화에서 이탈하여 독자적 행보를 걷겠다고 밝힌 진보신당 노회찬 후보의 주장에 대해 찬성하십니까?’ 같은 민주노동당과 진보신당에 관한 질문이었다. 민노당 부설 새세상연구소에서 조사를 의뢰했기 때문이다.

유우종씨는 “보수적 유권자들은 설문조사에 응하다 민노당이나 진보신당 관련 항목에서 전화를 끊었을 수 있다”고 말했다. 실제 민주당 민노당 진보신당 지지율은 각각 27.7%, 4.2%, 3.2%로 비슷한 시기의 다른 조사 결과와 유사했지만, 한나라당 지지율은 32.0%로 다른 조사의 35.1∼42.7%보다 낮았다.

낮은 응답률과 왜곡 현상

전문가들은 여론조사의 품질을 볼 때 응답률을 가장 먼저 따진다. 응답률은 통화건수(응답자 수)를 전체 통화시도횟수(응답자+불응자)로 나눈 수치다. 응답률이 10%라면 1000명 표본조사를 위해 무작위로 추출한 전화번호 1만개로 전화를 걸어 10명 중 1명꼴로 답을 얻어냈다는 뜻이다.

그런데 여기에도 함정이 있다. 예를 들어 전체 국민의 25%가 담배를 피운다고 가정하자. 국민 흡연율을 파악하기 위해 표본 3333명을 추렸는데 1000명만 조사에 응했다. 이 경우 응답률은 30%다.

모집단을 대표하도록 표본이 잘 선정됐다면 3333명 중 흡연자는 833명(25%)이다. 조사에 응한 1000명 속에 250명(25%), 무응답자 2333명 가운데 583명(25%)으로 흡연자가 나뉘어져 있을까. 상식적으로 봐도 그렇지 않을 가능성이 크다.

만약 흡연자들이 흡연 사실을 밝히길 싫어해 무응답자 속에 흡연자가 많이 숨어버렸다면 어떻게 될까. 표본집단 흡연자 833명 가운데 700명이 조사를 거부(무응답자 2333명의 30%)했다면 응답자 1000명 중 흡연자는 133명에 불과하다. ‘1000명을 대상으로 조사했더니 흡연율은 13.3%’라는 결과가 나오게 된다. 실제 흡연율보다 12% 포인트 정도 낮은 수치다.

이런 왜곡 정도는 응답률이 낮을수록 커진다. 그래서 여론조사에선 응답률을 높이는 게 중요하다. 응답률이 90%에 이르면 많은 흡연자가 조사를 거부해도, 조사 값은 실제 값과 큰 차이가 없다<표 참조>.

이번 분석 대상 5개 업체 가운데 응답률을 공개한 곳은 리서치뷰와 GH코리아, 더피플뿐이다. 리서치뷰와 GH코리아는 각각 3.3%, 3.59%였고 더피플 측은 “응답률이 5% 미만”이라고만 밝혔다. ARS 방식이라 응답률이 저조했다. 전화면접 방식으로 조사한 업체의 응답률도 20%에 못 미칠 것으로 추정된다. 통상 우리나라 정치 여론조사의 경우 응답률이 15∼20%에 그치기 때문이다.

가중치 보정의 함정

국내 여론조사에서 흔히 사용되는 ‘가중치 보정’ 방법도 위험할 수 있다. 전국에서 1000명을 상대로 조사할 때 보통 나이, 지역, 성별 등 인구 구성표에 따라 고루 분포되도록 표본을 추출한다. 서울 20대는 남자 24명 여자 25명, 부산 20대는 남자 8명 여자 8명을 조사하는 식이다.

ARS 조사는 인구 구성표를 채울 때까지 한없이 전화를 돌릴 수가 없다. 1000개의 표본을 조사하기로 했다면 5000명에게만 전화한 뒤 나머진 가중치로 채워 넣는 식이다. ARS 방식을 택한 리서치뷰와 GH코리아, 더피플이 가중치를 사용했다.

더피플 관계자는 “20∼30대의 경우 통화하기 쉽지 않아 가중치를 많이 적용하는데 이번 조사에선 20∼30대 표본을 많이 수집해 다른 조사보다 가중치를 작게 적용했다”며 “정확한 가중치는 밝힐 수 없다”고 말했다.

전국에서 1000명을 추출해 조사한다면 인천·남성·20대 표본은 겨우 6명에 불과하다. 예를 들어 5000통 전화를 돌린 뒤 조사에 응한 인천 20대 남성이 3명뿐이라면 이들의 답에 2를 곱하게 된다. 이것이 ‘가중치를 준다’는 의미다. 만약 조사에 응한 3명이 모두 우연히 특정 정당 지지자라면 가중치만큼 결과가 더 왜곡된다.

여론조사를 제대로 검증하기 위해선 정보 공개가 필수다. 미국 여론조사협의회는 1969년 여론조사 보도 시 반드시 공개해야 할 기준 8가지를 발표했다. 조사주체, 조사대상(모집단), 표본크기, 조사방법, 표본오차, 무응답률, 조사기간, 설문지 내용이다.

충남대 조성겸 교수는 “정보를 공개한다 해도 ‘인구통계학적 특성에 따라 가중치를 부여했다’는 식이기 때문에 검증에 도움이 안 되는 경우가 많다”며 “여론조사 신뢰도를 높이기 위해선 계약 방식을 바꿔야 한다. 지금처럼 ‘샘플 1개당 얼마’라는 식으로 계약하면 서둘러 조사를 마무리하려는 유혹을 느낄 수밖에 없다”고 지적했다.

김원철 기자 wonchul@kmib.co.kr

◆Key Word

①모집단=통계적인 관찰 대상이 되는 집단 전체. 서울시장 후보 지지율을 조사한다면 모집단은 서울 유권자 전체다.

②표본=모집단으로부터 표본추출 과정을 거쳐 선택된 일부. 표본만을 대상으로 자료를 수집한 결과는 모집단을 대상으로 일반화할 수 있어야 한다.

③가중치=수집된 표본이 모집단과 성·나이·가구원 수·소득 등 주요 인구사회학적 구성에서 차이를 보일 때 표본에 적절한 가중치를 대입해 표본과 모집단 사이의 차이를 보정한다.

④표본오차=표본을 대상으로 한 조사 값과 모집단 값의 차이. 95% 신뢰수준에서 최대 허용 표본오차가 ±3.1% 포인트라면, 모집단 전체를 조사해 얻은 참값과 표본조사를 통해 얻은 측정값의 차이가 오차범위(±3.1% 포인트) 내에 들어갈 확률이 95%라는 뜻.



GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재, 수집, 재배포 및 AI학습 이용 금지