Sample prep robot 도입 시 KPI 설계 – 생산성, 오류율, 편차 기준

Sample prep robot 도입의 출발점은 언제나 KPI 오해였다

Sample prep robot 도입 시 KPI 설계 – 생산성, 오류율, 편차 기준

Sample prep robot 도입 논의가 시작되면 거의 항상 이런 말이 먼저 나온다.

• “사람보다 빠르다”
• “오류가 줄어든다”
• “재현성이 좋아진다”

문제는 이 말들이 정량화되지 않은 상태로 합의된다는 점이다.
그래서 로봇이 들어온 뒤에도 이런 질문이 계속 반복된다.

• 실제로 얼마나 빨라졌는가?
• 오류는 무엇을 기준으로 줄었다고 말할 수 있는가?
• CV가 줄었는데, 이게 로봇 덕분인가 조건 덕분인가?

이 혼란의 원인은 명확하다.
로봇 도입 이전에 KPI가 ‘사람 중심’으로 정의되어 있었기 때문이다.

자동화 환경에서 KPI는 반드시 다시 설계되어야 한다

사람이 하던 sample prep을 그대로 로봇에 옮겨놓고
같은 KPI로 평가하면 거의 반드시 문제가 생긴다.

왜냐하면 로봇은

• 피로하지 않고
• 숙련도 편차가 없으며
• 동시에 여러 샘플을 다루고
• 오류 양상이 인간과 다르기 때문이다

즉, 비교 대상의 본질이 달라졌는데, 평가 기준만 그대로 두는 셈이다.

1. 생산성 KPI – “처리량”이 아니라 “유효 처리량”을 보라

기존의 착각: samples/day

가장 흔한 생산성 KPI는 여전히 이것이다.

하루에 몇 샘플을 처리할 수 있는가?

로봇 도입 시 이 수치는 거의 항상 증가한다.
하지만 이 숫자만으로는 진짜 생산성 향상인지 판단할 수 없다.

왜냐하면 자동화 환경에서는

• re-run
• robot error recovery
• QC failure 후 재처리

같은 숨은 비용이 함께 늘어나는 경우가 많기 때문이다.

새로운 기준: 유효 처리량 (Effective throughput)

자동화 환경에서 생산성 KPI는 이렇게 바뀌어야 한다.

(최종적으로 분석에 사용 가능한 샘플 수) / (전체 투입 시간)

이를 구성 요소로 나누면 다음과 같다.

• 총 처리 샘플 수
• QC 통과율
• 재처리 비율
• operator intervention 횟수

로봇이 하루에 200개를 처리했어도
QC 통과가 70%라면,
실질 생산성은 기대와 다를 수 있다.

시간 KPI도 다시 정의해야 한다

사람 기준의 “작업 시간”은
로봇 환경에서는 의미가 달라진다.

• hands-on time
• walk-away time
• overnight operation 가능 여부

이 세 가지를 분리하지 않으면
자동화의 진짜 가치를 설명할 수 없다.

2. 오류율 KPI – ‘실수’가 아니라 ‘시스템 실패’를 정의하라

사람의 오류 vs 로봇의 오류는 성격이 다르다

사람의 오류는 대체로

• pipetting 실수
• 순서 착오
• 피로 누적

같이 확률적·산발적이다.

반면 로봇의 오류는

• tip clogging
• liquid class 설정 오류
• calibration drift
• protocol edge case 실패

처럼 구조적·반복적이다.

이 차이를 무시하고
“오류율이 줄었는가?”만 묻는 것은 위험하다.

오류 KPI의 재정의: error rate → failure mode frequency

자동화 환경에서는
오류율을 하나의 숫자로 요약하면 안 된다.

대신 이렇게 본다.

• 오류 유형별 발생 빈도
• 동일 오류의 반복성
• 오류 발생 시 영향 범위

예를 들어,

• 한 샘플만 망가지는 오류
• 배치 전체를 날리는 오류

는 같은 1회 오류라도 KPI 의미가 완전히 다르다.

로봇 환경에서 중요한 새로운 지표

• Silent error rate
  → QC 없으면 발견되지 않았을 오류 비율
• Recovery cost
  → 오류 발생 후 정상화까지 걸리는 시간
• Error predictability
  → 사전에 감지 가능한 오류 비율

이 지표들은
사람 작업에서는 거의 측정 불가능했지만,
로봇 환경에서는 오히려 명확해진다.

3. 편차(CV) KPI – 숫자 하나로 결론 내리지 마라

CV 감소 = 성공? 항상 그렇지는 않다

로봇 도입 후
CV가 줄었다는 보고는 흔하다.

하지만 여기에는 함정이 있다.

• CV가 줄었는데 평균도 함께 변했는가?
• 특정 농도 구간에서만 개선되었는가?
• batch 간 편차는 줄었는가?

로봇은 같은 일을 반복하는 데는 강하지만,
조건 변화에 대한 적응력은 사람보다 떨어질 수 있다.

편차 KPI는 반드시 계층화해야 한다

자동화 환경에서는
CV를 하나로 보지 않는다.

• intra-run CV
• inter-run CV
• inter-batch CV
• operator-independent CV

특히 중요한 것은 마지막 항목이다.

“이 결과는 누가 돌려도 같은가?”

이 질문에 답할 수 있을 때,
자동화의 재현성 가치는 완성된다.

QC 기반 편차 KPI의 중요성

로봇 도입 이후에는
QC sample의 역할이 바뀐다.

QC는 더 이상
“분석이 잘 됐는지 확인”만 하는 존재가 아니라,

• 로봇 상태
• liquid handling 안정성
• protocol drift

를 감지하는 센서가 된다.

따라서 KPI도 이렇게 확장된다.

• QC trend slope
• QC failure lead time
• QC variability vs robot log 상관

4. KPI 설계에서 자주 발생하는 실패 패턴

실패 1: 사람 vs 로봇 단순 비교

“사람이 할 때 CV 10%, 로봇은 6%”

이 비교는
조건, batch size, 시간대가 다르면 의미 없다.

실패 2: 초기 성능만 보고 결론

로봇 도입 초기는
vendor 지원, 세팅 최적화, 관심 집중으로
성과가 과대평가되기 쉽다.

KPI는 반드시
3~6개월 이상 누적 데이터로 봐야 한다.

실패 3: KPI가 운영 개선으로 연결되지 않음

측정은 하는데

• 누가
• 언제
• 무엇을 바꾸는지

정해져 있지 않으면
KPI는 보고서용 숫자에 불과하다.

5. 좋은 KPI의 조건 – 자동화 환경 기준

좋은 KPI는 다음 조건을 만족해야 한다.

1. 사람 개입 없이 자동 수집 가능
2. 장비·프로토콜 변경에 민감
3. QC 및 분석 결과와 연결됨
4. 의사결정으로 바로 이어짐

이 조건을 만족하지 못하면
그 KPI는 자동화 환경에서는 독이 된다.

6. 결국 KPI는 ‘로봇 성능 평가’가 아니라 ‘랩 성능 관리’다

Sample prep robot 도입의 목적은
로봇이 일을 잘하는지 확인하는 것이 아니다.

• 랩 전체의 처리 안정성
• 데이터 품질의 예측 가능성
• 인력 의존도 감소

이 목표에 얼마나 기여했는지를 보는 것이다.

그래서 KPI는
로봇 중심이 아니라 프로세스 중심으로 설계되어야 한다.

마무리하며

Sample prep robot 도입은
자동화 프로젝트이지만,
KPI 설계는 철저히 사람의 사고 영역이다.

• 무엇을 성과로 볼 것인가
• 무엇을 실패로 정의할 것인가
• 어디까지 허용할 것인가

이 질문에 답하지 않은 채
로봇부터 들여오면,
자동화는 생산성을 높이지 않고
복잡성만 키운다.

반대로 KPI가 명확하면,
로봇은 단순한 장비가 아니라
랩 운영을 투명하게 만드는 도구가 된다.