제약회사 연구원의 블로그

— 어떤 방법을 쓰느냐에 따라 결과 자체가 바뀌는 이유데이터 분석에서 normalization은항상 “필수 단계”로 취급된다.그래서 대부분의 분석 pipeline에서는아무 고민 없이 들어간다.log transformscalingnormalization마치 정해진 순서처럼.하지만 실제로 데이터를 몇 번 다뤄보면이상한 경험을 하게 된다.같은 데이터인데어떤 normalization을 쓰느냐에 따라→ 결과가 완전히 달라진다어떤 경우에는→ 있던 차이가 사라지고어떤 경우에는→ 없던 차이가 생긴다이 순간부터 질문이 생긴다.“대체 어떤 normalization이 맞는 걸까?”먼저 이해해야 할 것: normalization은 “정답”이 없다많은 사람들이 오해하는 부분이다.normalization은더 정확한 값을 만드는 ..

데이터를 ‘정리’하는 과정에서 진짜 차이를 지워버릴 때데이터를 처음 받아보면가장 먼저 드는 생각은 이것이다.“값이 너무 들쭉날쭉하다”샘플 간 intensity가 다르고,run마다 scale이 다르고,어떤 샘플은 전체적으로 높고어떤 샘플은 낮다.그래서 우리는 자연스럽게다음 단계를 떠올린다.Normalization전체를 맞추고비교 가능하게 만들고noise를 줄인다이건 너무 당연한 과정이다.그래서 오히려의심하지 않는다.하지만 문제는바로 여기서 시작된다.normalization은 ‘보정’이 아니라 ‘가정’이다우리는 보통 normalization을기술적인 보정이라고 생각한다.하지만 실제로는 그렇지 않다.Normalization은 항상하나의 전제를 포함한다.전체 signal은 비슷하다대부분 feature는 변하지 ..