갤럽, 그리고 여론조사의 함정

 

대학에서 전공필수 과목 중의 하나로 <사회통계학>과 함께 <사회조사 방법론>을 배웠는데, 올바른 사회조사를 위해 고려하거나 피해야 할 것들을 배우면서 중요한 사례의 하나로 배우는 것이 (우리나라의 한국 갤럽과는 전혀 상관없는 회사지만 이름이 같은) 갤럽이 사회조사와 관련해서 유명해진 1936년 미국 대통령선거 여론조사입니다. 워낙 유명한 사례지만 다시 언급하자면, 당시 미국에서 가장 큰 여론조사 기관이던 리터러리 다이제스트는 1000만 명의 여론 조사를 통해 20%가 넘는 응답자를 가지고 공화당 후보였던 랜던이 민주당 후보였던 루즈벨트를 압도적으로 누르고 당선된다고 예측했고, 반면 당시 신생 소규모 조사기관이던 갤럽은 5만 명의 응답자로 전혀 반대인 루즈벨트의 압승을 예측했습니다. 대선 결과는 갤럽의 예측대로 루즈벨트의 압승이었는데, 표본집단 수가 더 적은 갤럽의 조사가 더 정확할 수 있었던 원인은 리터러리 다이제스트의 경우 표본집단의 선출을 위해 사용한 도구가 자동차 소유주 명부, 유선 전화 가입자 명부로 당시 경제 사정에 미루어 중산층 이상이 대부분 몰려 있어 공화당 지지자가 많은 표본이었던 반면, 갤럽은 다양한 계층으로부터 표본을 추출하여 조사했던 것이 조사 결과의 정확도를 높였던 것입니다.
 
최근의 미국 대선에서도 여론조사는 현실을 반영하지 못했는데, 많은 여론조사들이 해리스의 승리를 예상했지만 결과는 트럼프의 압승이었고, 그 이유 중의 하나는 조사 문항 자체의 내용이 트럼프 지지자들이 조사 중도에 전화를 끊어버리게 만드는 반트럼프적인 내용이 많았던 것이었습니다. 조사문항의 편향성의 배제는 사회조사에 있어 가장 기본적인 사항이지만 많은 조사가 노골적으로 이런 편향된 문항으로 이루어지곤 하죠. 또한 응답해야 하는 문항의 수도 너무 많아서 결국은 응답을 중도에 포기하거나 아니면 대충 답을 하게 만드는 경우도 많습니다. 제가 아주 오래전에 담당 업무덕에 FGI 등에 참여했던 이력이 있어서인지 아직도 모 조사기관에서 인터넷을 통한 다양한 조사를 보내오곤 하는데, 대부분은 이런 편향성과 끊임없이 그게 그거인 문항의 홍수를 벗어나지 못하고 있습니다.
 
질문의 편향성과 별도로 요즘의 각종 여론조사는 제대로 된 결과를 예측하기가 너무 힘든데, 가장 중요하게는 저렴한 비용 때문에 대부분의 조사가 시행하는 ARS 방식의 경우 너무 낮은 응답률로 인해 언제나 표본의 편중 또는 과표집의 위험이 높다는 것입니다. 저 같은 경우도 자주 전화를 받지만 단 한 번도 참여한 적이 없으니 이런 낮은 응답률은 어쩔 수 없고, 이런 상황에서 적정수의 응답률을 지역/연령 등에 따라 확보하다 보면 결국은 조사 당시의 정국에 따라 과표집 현상이 발생할 수밖에 없게 됩니다. 중도이탈은 표본에 포함되지 못하는데, 설문조사 완료 시까지의 시간이 절대적 시간으로는 그리 길지는 않다고 해도 전화받아 응답하는 사람의 입장에서는 너무 길다는 생각이 들 수밖에 없는지라 응답자의 조사당시의 현안에 대한 절박함에 따라 이 중도포기율도 달라지게 되어 과표집을 강화하게 됩니다. 이 과표집을 쉽게 확인할 수 있는 방법은 보통 정치문제와 관련한 조사에서는 자신이 진보/보수/중도라고 말한 응답자의 비율인데, 이 정치성향이란 것이 하루아침에 바뀌는 것은 아니라는 전제하에 다른 결과의 신뢰성을 유추할 수 있는 것이죠. 즉, 많은 사람들이 불과 한 달 전에는 진보성향이었는데, 한 달 만에 마음을 바꾸어 보수성향이 되었다는 것보다는 뭔가 다른 해석이 더 합리적이지 않겠냐는 겁니다.

물론 사회조사 방법에는 ARS 조사방식 보다 더 나은 방식들이 있습니다만, 가장 저렴하면서도 간단하고 빠른 방식을 놔두고 아무도 관심 갖지 않는 정확성과 신뢰성을 위해 돈을 더 쓸 것 같지는 않습니다. 조사의뢰처도 정확성과 신뢰성보다는 이슈화할 수 있는 결과를 원하는 경향도 있고요. 사실 내란죄 피의자로 구속된 대통령에 대한 지지율이 거의 취임 후 최고치에 육박하는 결과가 나온다고 큰 문제가 될 것은 없지만, 문제는 이런 <간편한> 조사방식이 이런저런 당내 대선후보 결정에도 사용되고, 당대표 선출에도 사용된다는 것이겠지요. 한편 재미있는 것은 지금의 여론조사 결과라면 국민의 힘은 탄핵과 조기대선을 결코 두려워할 이유가 없으니 오히려 이 기세를 몰아 빠른 탄핵이 이루어지기를 바라야 할 것 같습니다. 그리고 여론조사 결과 1위의 후보가 실제 대선 후보로 나온다면 정말 재미있을 것 같고요. 물론 정치적으로 하는 말은 아니고 순전히 여론조사 방법론과 통계학과 관련한 학술적 관점에서 말입니다.^^