Annotation confidence를 정량화하는 새로운 기준

– metabolomics 해석 패러다임이 ‘이름 붙이기’에서 ‘신뢰도 관리’로 이동하는 이유

1. Annotation confidence는 왜 늘 애매하게 남아 있었는가

Metabolomics 논문을 수십 편만 읽어봐도 반복해서 등장하는 표현들이 있다.

• Putatively annotated metabolite
• Tentative identification
• Level 2 identification according to MSI guideline

이 표현들은 모두 한 가지 사실을 우회적으로 말한다.

“확실하다고 말하기에는 불안하고,
그렇다고 무시하기에는 의미 있어 보인다.”

Annotation confidence는 오랫동안 말로 표현되는 감각에 가까웠다.
분석가는 마음속으로 이렇게 판단한다.

• 이건 꽤 그럴듯하다
• 이건 조금 위험하다
• 이건 그냥 feature로 두자

하지만 그 판단은
수치도 아니고,
일관된 기준도 아니며,
사람이 바뀌면 달라진다.

문제는 metabolomics가 점점

• 대규모 데이터
• 다기관 연구
• 임상·규제 영역

으로 확장되면서,
이 모호함 자체가 더 이상 용납되기 어려워졌다는 점이다.

2. 기존 annotation confidence 체계의 구조적 한계

2.1 MSI level의 공헌과 한계

Metabolomics community에서 가장 널리 쓰이는 기준은
MSI(Metabolomics Standards Initiative) level이다.

• Level 1: authentic standard로 확인
• Level 2: MS/MS 등으로 putative annotation
• Level 3: compound class
• Level 4: unknown

이 체계는 분명 역사적 공헌이 크다.
“아무 기준도 없던 시대”에 최소한의 질서를 만들었다.

하지만 시간이 지나면서 한계가 분명해졌다.

첫 번째 문제: 지나치게 이산적(discrete)이다

현실의 annotation confidence는 연속적인데,
MSI level은 딱 네 칸으로 잘라버린다.

Level 2 안에서도

• 거의 확실한 것
• 상당히 위험한 것

이 섞여 있다.
하지만 둘 다 같은 “Level 2”다.

두 번째 문제: MS/MS 중심 사고에 갇혀 있다

MSI는 기본적으로 이렇게 묻는다.

“이 MS/MS가 이 구조를 설명하는가?”

하지만 현대 metabolomics에서 annotation 신뢰도는
MS/MS만으로 결정되지 않는다.

• RT consistency
• isotope pattern
• biological plausibility
• cohort-level reproducibility

이 모든 요소는 MSI level에 반영되지 않는다.

2.2 라이브러리 매칭 score의 착시

많은 소프트웨어는
spectral similarity score를 제공한다.

• cosine similarity 0.92
• dot product 850

이 숫자는 굉장히 과학적으로 보인다.
하지만 분석가는 알고 있다.

“score가 높다고 항상 맞는 건 아니다.”

왜냐하면 이 score는

• 어떤 fragment가 중요한지
• 어떤 fragment가 우연히 겹쳤는지

를 구분하지 못하기 때문이다.

즉, 수치가 있지만 의미가 불완전한 confidence다.

3. Annotation confidence를 ‘정량화’해야만 하는 이유

3.1 AI·Foundation model 시대의 역설

Foundation model 기반 MS/MS 해석은
annotation의 양을 폭발적으로 늘린다.

• 구조 후보 수십 개
• chemical class 확률 분포
• similarity embedding 기반 결과

문제는 이 결과들이
확신처럼 보이지만, 실제로는 확률이라는 점이다.

이때 annotation confidence를 정량화하지 않으면,
AI는 오히려 false certainty를 만들어낸다.

3.2 규제·임상 환경에서의 요구

임상 metabolomics, biomarker discovery,
GMP 환경에서는 이런 질문이 반드시 나온다.

• 이 annotation을 어느 정도까지 믿을 수 있는가?
• 서로 다른 연구에서 이 결과를 비교할 수 있는가?
• 분석자 A와 B의 판단이 왜 다른가?

이 질문에 “경험적으로…”라는 답은 더 이상 충분하지 않다.

4. 새로운 annotation confidence의 철학적 전환

핵심 전환 1

“맞다/틀리다” → “얼마나 신뢰할 수 있는가”

Annotation은 더 이상
정답 맞히기 문제가 아니다.

오히려 불확실성을 관리하는 문제다.

핵심 전환 2

단일 점수 → 다차원 신뢰도 벡터

현대의 annotation confidence는
하나의 숫자로 표현되기 어렵다.

대신 이런 질문들의 조합이다.

• 스펙트럼은 얼마나 일치하는가
• 화학적으로 말이 되는가
• 생물학적으로 납득 가능한가
• 데이터 전체에서 일관성이 있는가

5. Annotation confidence를 구성하는 핵심 요소들

이제부터는 실제로 쓸 수 있는 정량화 프레임을 하나씩 풀어본다.

5.1 Spectral evidence confidence

가장 전통적인 요소다.
하지만 접근 방식은 달라져야 한다.

• 단순 similarity score ❌
• fragment coverage 비율
• diagnostic ion 포함 여부
• noise 대비 informative fragment 비율

이 요소는
“스펙트럼이 구조를 얼마나 설명하고 있는가”를 수치화한다.

5.2 Orthogonal evidence confidence

MS/MS 외의 정보들이다.

• RT prediction 모델과의 일치도
• logP, polarity 일관성
• isotope pattern consistency

이 정보는
스펙트럼이 우연히 맞았을 가능성을 낮춘다.

5.3 Biological context confidence

가장 과소평가되었지만,
실제로는 가장 강력한 요소다.

• 해당 metabolite가 그 조직·종에서 보고된 적 있는가
• pathway 상에서 앞뒤 대사체가 함께 움직이는가
• 조건 변화에 대한 반응이 생물학적으로 타당한가

이 요소는
“이 annotation이 말이 되는가”를 평가한다.

5.4 Dataset-level consistency confidence

단일 샘플이 아니라
전체 데이터셋을 기준으로 본다.

• feature clustering 결과에서의 위치
• replicate 간 reproducibility
• batch effect 이후에도 유지되는 패턴

이 요소는
annotation을 개별 사건이 아닌 구조적 현상으로 본다.

5.5 Model uncertainty confidence (AI 시대의 핵심)

Foundation model, ML 기반 annotation에서는
반드시 모델의 불확실성을 포함해야 한다.

• top-1 vs top-5 구조 간 확률 차이
• embedding space에서의 거리 분포
• model ensemble 간 결과 일관성

이 요소 없이는
AI annotation은 항상 과신 위험을 안고 있다.

6. 하나의 점수가 아니라 ‘confidence profile’로 표현하자

새로운 기준에서 annotation confidence는
이런 형태를 띤다.

Annotation confidence = [Spectral 0.7, Orthogonal 0.6, Biological 0.8, Dataset 0.9, Model 0.65]

이 벡터는

• 사람이 해석할 수 있고
• 비교 가능하며
• 업데이트 가능하다

그리고 무엇보다
“불확실성의 위치”를 숨기지 않는다.

7. Confidence 정량화가 metabolomics 해석을 바꾸는 방식

7.1 논문 서술의 변화

“확실하다” 대신
“이 정도 신뢰도로 해석했다”는 표현이 가능해진다.

7.2 Validation 전략의 변화

• 낮은 spectral, 높은 biological → pathway 검증
• 높은 spectral, 낮은 biological → 오염·artifact 검증

Validation이 더 전략적이 된다.

7.3 Annotation bottleneck 이후의 질서

모든 feature를

• 같은 기준
• 같은 언어

로 다룰 수 있게 된다.

8. 결국 annotation confidence 정량화의 본질

이 문제의 본질은 기술이 아니다.

정직함이다.

• 무엇을 알고
• 무엇을 모르며
• 어느 부분이 불확실한지

그걸 숨기지 않고 수치로 드러내는 용기다.

Metabolomics는
“모든 것을 정확히 아는 분석”이 아니라
“불확실성을 가장 잘 관리하는 분석”이 되어야 한다.

Annotation confidence 정량화는
그 방향으로 나아가기 위한
피할 수 없는 진화 단계다.

마무리하며

Annotation confidence를 정량화한다는 것은
분석가의 권위를 줄이는 일이 아니다.

오히려
분석가의 판단을 구조화하고, 공유 가능하게 만드는 일이다.

그리고 그 순간,
metabolomics는 비로소
대규모·임상·규제 환경에서도
스스로를 설명할 수 있는 학문이 된다.

 

Annotation confidence를 정량화하는 새로운 기준