빅데이터의 시대와 통계적 유의성

 In 오하이오의 낚시꾼

최근 이런 신문 기사가 눈에 띄었습니다:

국민일보 2019년 6월 9일자, “수학 성취도 성별 격차는 가정·학교 등 후천적 환경요인”

 

본문을 보면 이런 언급이 있습니다: “일단 초·중·고 모든 단계에서 남학생의 수학 점수가 여학생보다 높았다”. 호기심이 생긴 저는 원 연구를 찾아보기로 했습니다. 다른 문화권에서는 다른 결과가 보고된 사례가 매우 흔하기 때문입니다 (예를 들어, Nosek et al., 2009). 다행히 원문이 무료 공개돼 있어서 논문을 볼 수 있었습니다.

임슬기, 이수형 (2019). 수학 성취도에서의 성별 격차: 동태적 변화와 원인 분석. 교육과정평가연구, 22(2), 293-317.

몇 가지 재미있는 사실을 관찰할 수 있었습니다.  첫 번째 캡쳐는 저자들이 코호트, 학년만 투입한 소위 “무제약 모형” unconditional model 을 분석한 결과입니다. 아마도 이 분석 결과가 남학생의 수학 성취도가 높다는 언급의 근거 중 하나인 것으로 보입니다. 표를 보면 “여학생”의 회귀계수가 -0.033인 걸 알 수 있습니다. 이건 여학생에 대한 기대 수학 표준점수가 남학생에 비해 0.033점 작다는 말입니다. 쉽게 말해 여학생의 수학 성취도가 남학생보다 낮다는거죠. 그리고 그 옆에 별이 세 개가 떡 떠 있죠. 밑의 범례를 보니 P<.01을 의미합니다. 연구자라면 누구나 좋아할 만한 상황이겠죠? 그런데 잘 생각해 보면 여기에는 문제가 좀 있습니다.

첫째, 종속변수는 표준점수 스케일입니다. 평균이 0, 분산이 1이 되게 변환한 자료라는 뜻입니다. 저자들도 논문에서 이를 분명히 하고 있죠. 그런데 이 표준점수가 0.033점 차이난다는 게 무슨 뜻일까요? 감을 좀 잡기 위해 정규분포 두 개, N(0, 1)과 N(0.033, 1) 의 분포도를 함께 그려 보았습니다 (두 번째 캡쳐). 실선은 전자, 점선은 후자에 해당됩니다. 여러분은 이 둘이 분간이 쉽게 가시나요? 이 분석에서 찾은 수학 성취도의 성차는 딱 이 정도 차이에 해당된다는 것입니다. 그리고 이런 작은 차이도 통계적으로 유의하게 나온 이유는 엄청난 크기의 샘플 사이즈 (16만 이상) 때문입니다. 이 차이가 교육학적으로 큰 의미가 있는지 저는 비전문가이기 때문에 알지 못합니다. 하지만 적어도 이 문제 – 실질적 유의성 – 에 대해 논의를 좀 했어야 했지 않을까요?

둘째, 모형 설명력이 너무 낮습니다. 캡쳐에 제시된 세 모형 모두 R제곱 값 – 회귀식이 자료의 변산성을 설명하는 정도 – 이 0이거나 0.001밖에 안 됩니다. 이것은 나머지 99.9%의 변산성은 뭔가 다른 요인에 의해 설명된다는 것입니다. 이런 모형에 신뢰를 보내야 할까요? 저는 잘 모르겠습니다. 이 또한 큰 표본 크기에 비해 너무 작은 효과크기 때문에 벌어진 일입니다.

더 이상의 자세한 논의는 하지 않겠습니다만, 저는 이 연구의 결과를 얼마나 신뢰해야 할지 잘 모르겠습니다. 저라면 아마 실질적으로 유의미한 성차가 발견되었다고 생각하지는 않을 것 같습니다. 한 가지 언급해둘 것은, 성차가 개인차에 비해 작다고 하여 무시해도 된다고 생각지는 않는다는 것입니다. 상대적으로 개인차에 비해 작더라도, 현실적으로 의미가 있는 성차가 꾸준히 발견된다면 이것은 분명 문제이며 대책을 강구해야 할 사안입니다. 하지만 이렇게 생각하기에는 좀 작은 차이가 발견된 건 아닐까요? 물론 여학생들에게 STEM 교육을 장려해야 한다는 것, 도덕적 당위입니다. 하지만 이렇게 미약한 근거를 써야만 할지, 저는 좀 의문스럽습니다.

비단 이 연구 뿐 아니라, 다른 많은 “큰 샘플 사이즈 – 작은 효과 크기” 유형의 연구들이 비슷한 문제를 안고 있으리라 생각합니다. 그리고 소위 빅데이터의 시대에 접어들면서 이런 문제에 대해 관심을 가져야 할 이유는 더욱 많아지고 있습니다.

Recommended Posts

Leave a Comment

Contact Us

We're not around right now. But you can send us an email and we'll get back to you, asap.

Not readable? Change text. captcha txt