비율 하나가 만드는 인상
운영 보고서에 응답자의 80%가 같은 답을 했다는 문장이 적혀 있으면 상당히 많은 사람이 그렇게 생각하는 것처럼 느껴집니다. 그런데 이 숫자가 다섯 명 가운데 네 명을 뜻한다면 이야기는 달라집니다. 한 사람의 답이 바뀌는 것만으로도 비율이 20%포인트 움직이기 때문에, 작은 자료에서 나온 비율은 규모를 짐작하기 어렵고 쉽게 흔들립니다.
그래서 숫자를 읽을 때는 비율 자체보다 먼저 그 비율이 몇 명 중 몇 명인지를 확인하는 습관이 필요합니다. 비율은 편리한 요약이지만, 분모가 작을 때에는 요약이 아니라 과장이 될 수 있습니다.
이 점은 사내 회의에서 특히 자주 놓칩니다. 발표 자료에 큰 숫자가 크게 적혀 있으면 사람들은 그 숫자를 기억하고, 각주에 작게 적힌 인원 수는 지나치기 쉽습니다. 자료를 만드는 사람이 분모를 눈에 띄는 위치에 적어 주는 배려가 필요합니다.
응답 수와 조사 기간을 함께 적기
보고서를 만드는 쪽에서는 비율 옆에 실제 인원과 조사 기간을 함께 적어야 합니다. 같은 80%라도 다섯 명 중 네 명인지, 백 명 중 팔십 명인지에 따라 해석의 무게가 전혀 다르기 때문입니다. 보고서를 받는 쪽에서는 이 정보가 빠져 있다면 질문을 던져도 괜찮습니다.
기간도 중요한 정보입니다. 연휴나 행사가 있던 주처럼 평소와 다른 시기에 모은 응답이라면 그 사실을 함께 적어 두어야 읽는 사람이 맥락을 놓치지 않습니다.
어떤 질문이 몇 번째에 놓였는지, 응답을 부탁한 시점이 이용 직후였는지 한참 뒤였는지도 영향을 줄 수 있습니다. 이런 조건들은 숫자에는 드러나지 않으므로 별도의 설명으로 남겨 두어야 합니다.
누가 응답했는지 확인하기
작은 자료일수록 어떤 방식으로 응답을 모았는지가 결과를 좌우합니다. 자발적으로 응답한 사람만 포함되었다면 불편이 컸던 사람이나 호의가 큰 사람이 더 많이 참여했을 수 있습니다. 특정 지역이나 특정 채널에서만 모았다면 다른 곳의 사람들 생각은 반영되지 않았을 가능성이 큽니다.
또한 응답하지 않은 사람의 생각을 이미 조사한 것처럼 추정해서는 안 됩니다. 답하지 않았다는 사실은 알 수 없다는 뜻이지 같은 생각이라는 뜻이 아닙니다.
비교가 꼭 필요하다면 같은 기간, 같은 질문, 비슷한 이용 경험을 가진 집단끼리 맞추는 것이 가장 안전합니다. 그렇게 맞출 수 없다면 차이를 설명하는 문장에서 단정을 피하고 가능성이라고 표현합니다.
비교하는 두 집단의 조건 맞춰 보기
두 집단의 비율을 나란히 놓고 차이를 설명하려 할 때는 두 집단이 비교할 만한 조건을 갖췄는지 살펴봅니다. 한쪽은 최근에 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면, 차이는 방법이나 서비스 때문이 아니라 집단의 성격에서 비롯되었을 수 있습니다.
시간 순서로 비교할 때도 질문 문구가 바뀌었거나 설문이 놓인 위치가 달라졌다면 같은 비율을 이어서 비교하기 어렵습니다. 이런 변경은 보고서 각주에 남겨 두어야 나중에 해석이 엇갈리지 않습니다.
보고서를 읽는 쪽에서도 막대의 길이보다 막대 옆의 숫자를 먼저 읽는 습관을 들이면 착시에 덜 흔들립니다. 작은 건수의 차이는 그래프에서 아무리 커 보여도 실제로는 한두 건의 차이일 수 있습니다.
그래프와 표에서 흔한 착시
그래프의 축 범위를 좁게 잡으면 두 건과 세 건의 차이도 크게 벌어진 막대로 보입니다. 분모가 다른 비율을 나란히 두는 경우에는 각 집단의 실제 건수를 함께 보여 주어야 합니다. 복수 선택이 가능한 문항이었는지, 누락된 응답을 제외했는지도 표 아래에 짧게 적어 두면 오해가 줄어듭니다.
이런 태도는 보고서의 신뢰도를 오히려 높여 줍니다. 한계가 분명히 적힌 자료는 읽는 사람이 어디까지 믿어도 되는지 판단할 수 있게 해 주기 때문입니다.
결론의 범위를 정직하게 적기
작은 자료에서 얻을 수 있는 결론은 이번에 확인한 사례에서는 이런 경향이 보였다는 정도입니다. 모든 고객이 그렇다고 말하려면 더 넓은 근거가 필요합니다. 대신 앞으로 어떤 집단을 어떤 기간 동안 더 살펴볼지를 적어 두면 같은 자료가 다음 조사의 출발점이 됩니다.
질문지와 포함 기준을 보관해 두면 다음 조사에서 같은 조건을 적용할 수 있고, 변화가 생겼을 때 자료의 차이인지 방법의 차이인지를 구분해 볼 수 있습니다. 표본이 작다고 해서 버릴 필요는 없습니다. 한계를 적어 두고 현장의 질문을 발견하는 데 쓰는 것이 알맞은 활용입니다.