한기언, ‘엉터리’ 매체 신뢰도 조사 논란

한국기독교언론포럼(이하 한기언)이 이달 초 발표한 ‘한국사회에 대한 개신교인 인식조사’가 표본 추출부터 질문 구성, 여론조사업체 선정 등에 이르기까지 신뢰도에 심각한 오류가 있는 것으로 드러났다. 설문조사는 같은 방법으로 3년간 진행됐다.

“목회자 대표할 수 없는 표본으로 설문”

한기언이 여론조사업체 ‘지앤컴리서치’에 의뢰해 실시한 조사는 기독교인 900명과 목회자 100명을 대상으로 했다. 문제는 표본오차가 신뢰수준을 한참 넘어섰다는 것이다. 지앤컴리서치는 “이번 조사의 목회자 표본 오차가 95% 신뢰수준에 ±9.8%”라고 밝혔다. 일반적으로 조사방법론에서는 오차 범위가 ±5%를 넘으면 표본이 모(母)집단을 대표할 수 없다고 본다. 한마디로 표본으로서의 가치가 없다는 뜻이다.

설문조사 발표자료에 “무작위 추출로 설문조사를 했다”고 돼 있으나 사실과 다른 것으로 밝혀졌다. 국내 목회자를 20만명으로 가정했을 때, 전 국민(5000만명 추산)을 대상으로 목사 100명을 무작위 추출하는 건 상당한 시간과 비용이 투입되는 사안이다.

전 국민에게 무작위로 250차례 전화를 돌렸을 때, 목회자 1명이 전화를 받을 확률이다. 산술적으로 따졌을 때 2만5000번 전화를 걸어야 100명의 목회자를 무작위 추출할 수 있는 셈이다. 제대로 조사했다면 설문기간 15일 동안 가능했을지 의문이다.

여론조사를 진행한 지앤컴리서치의 관계자는 13일 “목회자 표본은 무작위 추출이 아니라 ‘편의표집’했다”고 실토했다. 편의표집은 편의상 어떤 조건을 갖추고 있는 사람을 추출하는 것을 말한다. 그는 “편의표집을 했기 때문에 표본오차는 있을 수 없다”며 “자료의 ‘±9.8%’는 아무런 의미가 없고 이 수치가 자료에 들어간 것도 착오”라고 해명했다. 이 업체는 용역을 의뢰한 한기언이 제시한 설문내용을 거의 그대로 반영했다고 인정했다.

“신뢰 떨어뜨린 매체신뢰도 조사”

기독교 매체 신뢰도를 묻는 질문은 더욱 납득하기 힘든 부분이다. 다른 매체들의 경우 회사 명칭만 기입한 것과는 달리 국민일보는 ‘국민일보(미션지)’라고 했다. 설문에서는 CBS, 극동방송, CTS, 뉴스앤조이, CGN, C채널, 국민일보(미션지)의 신뢰도를 물었다. 이 같은 질문 방식은 ‘국민일보’에 대한 편견을 갖게 만들기 쉽다는 게 전문가들의 지적이다.

전문가들은 우선 신뢰도 관련 질문에 앞서 ‘평소 어떤 매체를 즐겨 보는지’에 대한 경향성 조사가 선행돼야 한다고 조언했다. 하지만 이번 조사에선 경향성 조사가 이뤄지지 않은 채 특정 언론사 전체와 매체 일부를 비교한 것이다. 결국 신뢰도 조사를 한다면서 문항 자체에 모순을 드러내며 스스로 신뢰도를 떨어뜨린 셈이다. 용역계약을 체결한 조사기관의 대표가 설문을 의뢰한 단체의 이사로 있는 점도 의아스러운 대목이다.

지앤컴리서치 관계자는 “결과적으로 특정매체에 유리한 설문결과가 나왔지만 의도하지는 않았다”고 거듭 해명했다.

언론학 박사인 김선호 한국언론진흥재단 연구원은 “언론에 대한 신뢰도 조사는 자칫 인기투표나 이미지 투표로 흐를 위험성이 있다”면서 “이를 피하기 위해 매체에 대한 경향성 조사 등을 통해 최대한 보완할 수 있는 질문을 던져야 한다”고 설명했다.

한기언은 내년도 설문조사에서 개선하겠다는 입장이다. 장만식 한기언 실장은 “3년 동안 진행해 온 설문조사인 만큼 공신력에는 문제가 없다고 본다”면서 “지적한 부분들은 내년도 설문조사에 반영하겠다”고 답했다.

장창일 기자 jangci@kmib.co.kr