유의미한 결과만 보고하는 문화가 과학을 왜곡하는 방식

– 통계적 유의성 중심 연구 문화가 만들어낸 구조적 문제

유의미한 결과만 보고하는 문화가 과학을 왜곡하는 방식

현대 생명과학 연구에서 “통계적으로 유의하다(statistically significant)”라는 표현은 매우 강력한 의미를 가진다. 논문에서 p-value가 기준 이하로 떨어지는 순간 그 결과는 중요한 발견처럼 보이고, 반대로 유의성을 확보하지 못한 결과는 종종 연구의 주변부로 밀려난다.

문제는 이 과정이 단순히 논문의 표현 방식에만 영향을 주는 것이 아니라 연구 설계, 데이터 해석, 그리고 과학 지식의 축적 방식 자체를 바꾼다는 점이다. 특히 metabolomics, proteomics, transcriptomics와 같은 omics 연구에서는 수천 개의 변수를 동시에 분석하기 때문에 유의미한 결과만 보고하는 문화가 더 강하게 작동한다.

이 글에서는 왜 이러한 연구 문화가 형성되었는지, 그리고 그것이 과학적 해석을 어떤 방식으로 왜곡할 수 있는지를 살펴보고자 한다.

 

1. “유의성”이 연구의 목표가 되는 순간

통계 분석에서 p-value의 역할은 원래 단순하다.

관찰된 차이가 우연히 발생했을 가능성을 평가하는 도구다. 즉 p-value는 결과의 중요성을 판단하는 기준이 아니라 우연성(randomness)을 평가하는 하나의 지표일 뿐이다.

하지만 실제 연구 환경에서는 상황이 조금 다르게 작동한다.

연구 과정은 보통 다음과 같은 구조를 가진다.

1. 실험 수행
2. 데이터 분석
3. p-value 계산
4. 유의한 결과 선택
5. 논문 작성

이 과정이 반복되면서 자연스럽게 연구의 목표 자체가 유의한 결과를 찾는 것처럼 변한다.

특히 다음과 같은 상황에서 이 경향은 더 강해진다.

• 연구비 확보 경쟁
• 논문 출판 압박
• 높은 impact journal의 선호 구조

결과적으로 많은 연구에서 중요한 질문은 다음과 같이 바뀐다.

“이 결과가 biologically meaningful한가?”

보다는

“이 결과가 statistically significant한가?”

2. Negative result는 연구 기록에서 사라진다

과학 연구에서 negative result는 매우 중요한 의미를 가진다.

어떤 가설이 틀렸다는 사실은 새로운 가설을 세우는 데 중요한 단서가 될 수 있기 때문이다. 그러나 현실적으로 negative result는 다음과 같은 이유로 보고되기 어렵다.

• 논문 출판 가능성이 낮음
• 연구 성과로 인정받기 어려움
• 연구비 평가에 불리

이러한 구조 때문에 많은 연구에서 다음과 같은 현상이 발생한다.

• 유의한 결과만 논문에 포함
• 유의하지 않은 실험은 보고되지 않음
• 동일한 실험의 실패 사례는 공유되지 않음

이 현상은 흔히 publication bias라고 불린다.

문제는 publication bias가 단순히 연구 결과 일부를 숨기는 문제가 아니라 과학적 지식 자체의 방향을 바꿀 수 있다는 점이다.

예를 들어 특정 biomarker가 실제로는 질병과 큰 관련이 없다고 가정해 보자.

하지만 여러 연구에서 반복적으로 분석을 수행하면 우연히 유의한 결과가 나오는 연구도 일부 존재할 수 있다. 그리고 바로 그 연구들만 논문으로 출판된다면 과학 문헌에서는 다음과 같은 인상이 형성될 수 있다.

“이 biomarker는 질병과 관련이 있다.”

3. Omics 연구에서 false discovery가 증가하는 이유

Omics 데이터에서는 이러한 문제가 더욱 심각해질 수 있다.

예를 들어 metabolomics 연구에서 다음과 같은 상황을 생각해 보자.

• 분석된 feature 수: 5,000
• 통계 기준: p < 0.05

이론적으로 아무런 실제 차이가 없어도 약 5%의 feature는 우연히 유의한 결과로 나타날 수 있다. 즉 약 250개의 feature가 의미 있는 변화처럼 보일 수 있다.

물론 실제 분석에서는 multiple testing correction이 적용된다. 하지만 여전히 다음과 같은 문제가 남는다.

• 작은 cohort size
• batch effect
• biological heterogeneity

이러한 요인들이 결합되면 일부 feature는 우연한 패턴임에도 불구하고 매우 흥미로운 biological signal처럼 보일 수 있다.

그리고 연구자는 자연스럽게 그 feature들을 중심으로 생물학적 스토리를 구성하게 된다.

4. 연구자는 의도하지 않아도 선택적 해석을 한다

흥미로운 점은 이러한 문제들이 반드시 의도적인 데이터 조작 때문만은 아니라는 것이다.

대부분의 경우 연구자는 매우 성실하게 데이터를 분석한다. 하지만 인간의 인지 구조 자체가 패턴을 찾는 데 매우 강하게 최적화되어 있다.

따라서 다음과 같은 상황이 자연스럽게 발생한다.

• 흥미로운 결과에 더 많은 관심
• 설명 가능한 결과 중심 해석
• 기존 지식과 맞는 패턴 강조

반대로 다음과 같은 결과는 상대적으로 덜 주목받는다.

• 해석하기 어려운 결과
• 기존 가설과 충돌하는 결과
• 통계적으로 애매한 결과

이러한 선택적 해석 과정은 의도하지 않아도 연구 narrative를 특정 방향으로 이끌 수 있다.

5. 재현성 위기가 나타나는 구조적 이유

최근 생명과학 연구에서 reproducibility crisis가 중요한 문제로 논의되고 있다. 많은 연구 결과가 다른 연구에서 재현되지 않는다는 보고가 이어지고 있기 때문이다.

이 현상의 원인 중 하나가 바로 유의성 중심 연구 문화이다.

다음과 같은 구조를 생각해 볼 수 있다.

1. 여러 연구 그룹이 동일한 가설을 테스트
2. 대부분의 연구에서는 유의성 없음
3. 일부 연구에서 우연히 유의성 발견
4. 그 연구만 논문으로 출판

이 경우 과학 문헌에는 다음과 같은 인상이 남는다.

“이 효과는 존재한다.”

하지만 이후 더 큰 규모의 연구가 진행되면 그 효과는 재현되지 않는 경우가 많다. 이 과정이 반복되면서 reproducibility 문제가 나타난다.

6. 해결책은 무엇일까

이 문제를 완전히 해결하는 것은 쉽지 않다. 하지만 최근 과학계에서는 여러 가지 개선 시도가 이루어지고 있다.

대표적인 접근 방식은 다음과 같다.

1. pre-registration

연구 시작 전에 분석 계획을 미리 등록하는 방식이다. 이를 통해 분석 과정에서 선택적 결과 보고를 줄일 수 있다.

2. negative result 공유

유의하지 않은 결과도 데이터베이스나 논문 형태로 공유하려는 움직임이 늘어나고 있다.

3. effect size 중심 해석

단순한 p-value 대신 다음과 같은 지표를 강조하는 접근도 늘고 있다.

• effect size
• confidence interval
• biological relevance

4. replication study 확대

독립적인 cohort에서 결과를 재현하는 연구가 점점 중요해지고 있다.

결론

과학 연구에서 통계적 유의성은 중요한 도구이다. 하지만 그것이 연구의 목표가 되는 순간 여러 가지 문제가 나타날 수 있다.

특히 다음과 같은 현상들이 과학적 해석을 왜곡할 수 있다.

• 유의한 결과만 보고되는 publication bias
• omics 데이터에서 증가하는 false discovery
• 선택적 해석이 만들어내는 narrative
• 재현성 문제

결국 중요한 질문은 다음과 같다.

“이 결과가 통계적으로 유의한가?”

보다는

“이 결과가 반복적으로 관찰되는가, 그리고 실제 생물학적 의미를 가지는가?”

이 질문을 중심에 둘 때 과학 연구는 단순히 유의한 결과를 찾는 과정이 아니라 현상을 이해하는 과정으로 다시 돌아갈 수 있다.