평균 정확도가 놓치는 False Negative: Pulse Oximeter 사례로 보는 Subgroup 검증

이 글은 의료 조언이 아니라 Sensor Data와 자동화된 의사결정 시스템의 검증 방법을 다루는 기술 글입니다.

SEO 정보

• SEO Title: 평균 정확도가 놓치는 False Negative와 Pulse Oximeter 측정 편차
• Meta Description: Pulse Oximeter의 Occult Hypoxemia 사례를 통해 평균 정확도, False Negative, Subgroup Bias와 Wearable Sensor 검증 방법을 살펴봅니다.
• Slug: false-negative-pulse-oximeter-subgroup-validation
• Tags: False Negative, Pulse Oximeter, SpO2, SaO2, Occult Hypoxemia, Subgroup Validation, Wearable Sensor, Health Data

---

데이터 기반 시스템의 성능을 설명할 때 가장 먼저 등장하는 숫자는 대개 평균입니다.

평균 오차가 작다거나 전체 정확도가 높다는 결과는 모델과 Sensor의 상태를 빠르게 파악하는 데 유용합니다. 하지만 이 숫자만으로 모든 사용자에게 비슷한 품질이 제공된다고 판단할 수는 없습니다.

전체 결과에서는 작은 오류로 보이더라도 특정 사용자 Group에서 같은 방향의 오차가 반복될 수 있기 때문입니다. 특히 측정값이 경고, 치료 대상, 대출 승인 또는 이상 탐지와 같은 다음 행동의 기준이 된다면 평균에서 보이지 않는 오류가 더 중요해집니다.

Wearable Sensor와 건강 데이터를 조사하면서 이 문제를 가장 분명하게 보여준 사례 중 하나가 Pulse Oximeter였습니다.

Pulse Oximeter의 핵심 문제를 단순히 “기기가 부정확하다”라고 정리하면 정확하지 않습니다. 더 중요한 질문은 다음과 같습니다.

어떤 조건과 사용자에게서, 어느 방향의 오류가 발생하며, 그 오류가 Decision Threshold를 넘나들 정도로 큰가?

이 질문은 Pulse Oximeter뿐 아니라 스마트워치, 의료 AI, 이상 탐지 모델처럼 측정값을 바탕으로 행동을 결정하는 시스템 전체에 적용할 수 있습니다.

평균 성능이 모든 사용자의 성능을 의미하지 않는 이유

100명의 결과 중 95개가 맞았다면 전체 정확도는 95%입니다. 그러나 틀린 5개가 무작위로 흩어져 있는지, 특정 조건이나 사용자에게 집중돼 있는지는 이 숫자만으로 알 수 없습니다.

오류의 종류도 구분해야 합니다.

실제 상태시스템 판단분류의미

정상	정상	True Negative	정상 상태를 정상으로 판단
위험	위험	True Positive	위험 상태를 발견
정상	위험	False Positive	위험하지 않은데 경고
위험	정상	False Negative	위험 상태를 놓침

False Positive가 많으면 불필요한 경고, 추가 검사, 사용자 피로가 증가합니다. 반대로 False Negative가 많으면 실제 위험이 존재하지만 시스템이 다음 조치를 실행하지 않을 수 있습니다.

둘 다 오류이지만 비용은 같지 않습니다. 어떤 오류가 더 중요한지는 시스템의 목적과 후속 행동에 따라 달라집니다.

따라서 단일한 Accuracy나 Mean Error만으로 성능을 평가하면 다음 정보가 빠질 수 있습니다.

• 오류가 어느 방향으로 발생하는가
• Threshold 부근에서 오류가 증가하는가
• 특정 Subgroup에서 오류가 집중되는가
• 기기, 환경, 움직임 또는 혈류 상태에 따라 결과가 달라지는가
• 잘못된 결과가 실제 행동과 의사결정에 어떤 영향을 주는가

Pulse Oximeter 사례는 이 문제를 실제 측정과 임상 Threshold의 관계로 보여줍니다.

SpO₂는 직접 측정값이 아니라 Estimate다

Pulse Oximeter는 일반적으로 손가락 등에 Red Light와 Infrared Light를 조사하고, 혈액을 통과하거나 반사된 빛의 차이를 이용해 산소포화도를 추정합니다. 화면에 표시되는 값은 **Peripheral Oxygen Saturation (SpO₂)**입니다.

반면 동맥에서 채혈한 혈액을 분석해 얻는 산소포화도는 **Arterial Oxygen Saturation (SaO₂)**입니다. 연구에서는 SaO₂가 Reference Measurement로 사용됩니다.

두 값의 차이는 단순한 명칭 차이가 아닙니다.

• SpO₂: 비침습적인 광학 신호를 이용한 추정값
• SaO₂: 동맥혈을 채취해 측정한 Reference 값

Pulse Oximeter는 빠르고 비침습적이라는 큰 장점이 있습니다. 하지만 빛, Sensor, 피부, 혈류, 측정 위치와 환경의 영향을 받는 Estimate이므로 Reference Measurement와 항상 일치하는 것은 아닙니다.

FDA도 낮은 혈액 순환, 피부 색소, 피부 두께와 온도, 흡연, 매니큐어 등 여러 요인이 Pulse Oximeter 측정 정확도에 영향을 줄 수 있다고 설명합니다.

중요한 것은 오차가 있다는 사실 자체보다, 오차 때문에 실제 저산소 상태가 정상 범위처럼 보일 수 있다는 점입니다.

Occult Hypoxemia: 화면에서는 보이지 않는 저산소 상태

2020년 New England Journal of Medicine에 발표된 연구는 Pulse Oximeter에서 비교적 안정적으로 보이는 값과 동맥혈 측정값 사이의 불일치를 분석했습니다.

연구에서 사용한 Occult Hypoxemia의 기준은 다음과 같습니다.

• Pulse Oximeter의 SpO₂: 92~96%
• 같은 시점의 동맥혈 SaO₂: 88% 미만

즉, 비침습 측정 화면만 보면 저산소 상태가 명확하게 드러나지 않지만 Reference Measurement에서는 이미 낮은 산소포화도가 확인된 경우입니다.

University of Michigan 자료에서는 이 현상이 Black 환자군의 11.7%, White 환자군의 3.6%에서 관찰됐습니다. 미국 178개 병원의 별도 자료에서는 각각 17.0%와 6.2%였습니다.

두 Cohort 모두 Black 환자군에서 Occult Hypoxemia가 White 환자군보다 약 3배 가까이 자주 나타났습니다.

이 결과를 “Black 환자에게 Pulse Oximeter는 항상 틀린다”라고 해석해서는 안 됩니다. 연구진도 모든 Black 환자에게 Occult Hypoxemia가 발생한 것은 아니라고 명시했습니다. 이 연구가 보여준 것은 특정 조건에서 집단별 발생 빈도가 같지 않았다는 점입니다.

또한 이 연구는 Retrospective Study입니다. 이미 수집된 임상 자료에서 SpO₂와 SaO₂가 짧은 시간 간격으로 함께 존재하는 사례를 분석했습니다. 따라서 관찰된 차이와 가능한 원인을 구분해야 합니다.

왜 이것이 False Negative 문제인가

False Negative는 실제 상태가 위험하지만 시스템이 정상 또는 비위험으로 판단한 경우입니다.

Pulse Oximeter 연구에서는 SpO₂가 절대적인 정상 판정을 내린 것은 아닙니다. 그러나 측정값이 특정 Threshold를 넘지 않으면 저산소 상태의 인식이나 후속 조치가 늦어질 수 있습니다. 이런 관점에서 Occult Hypoxemia는 중요한 False Negative 구조를 보여줍니다.

예를 들어 다음과 같은 시스템을 생각할 수 있습니다.

1. Sensor가 생체 신호를 측정한다.
2. Algorithm이 수치를 추정한다.
3. 추정값이 Threshold와 비교된다.
4. 기준을 넘으면 경고나 다음 조치가 실행된다.
5. 기준을 넘지 않으면 별도의 행동이 발생하지 않는다.

이 구조에서 평균 오차가 작더라도 Threshold 근처에서 일정한 방향의 Bias가 발생하면 결과가 달라집니다. 실제 값은 위험 범위에 있지만 추정값이 조금 높게 표시되는 것만으로 경고가 실행되지 않을 수 있습니다.

따라서 Threshold 기반 시스템에서는 평균적인 오차 크기와 함께 다음 두 가지를 별도로 확인해야 합니다.

• Threshold를 잘못 통과한 사례
• Threshold를 통과했어야 하지만 통과하지 못한 사례

두 번째가 False Negative입니다.

측정 편차는 실제 의사결정과 연결될 수 있다

2022년 JAMA Internal Medicine에 발표된 연구는 COVID-19 환자의 Pulse Oximeter 측정 편차와 치료 대상 인식 시점의 관계를 분석했습니다.

이 Retrospective Cohort Study에는 총 7,126명의 환자가 포함됐습니다. 이 중 1,216명에게서 10분 이내에 함께 측정된 SpO₂와 SaO₂ 자료가 있었고, 연구진은 Race와 Ethnicity에 따른 측정 차이를 분석했습니다.

연구에서는 Asian, Black, Hispanic 환자군에서 White 환자군보다 Pulse Oximeter가 동맥혈 산소포화도를 더 높게 추정하는 경향이 관찰됐습니다. 별도 분석에서는 이러한 과대 추정이 Black 및 Hispanic 환자에게서 산소포화도 Threshold를 기준으로 한 COVID-19 치료 대상 인식의 지연 또는 누락과 연관됐습니다.

여기서 표현을 조심해야 합니다.

이 연구는 관찰 자료를 이용해 측정 편차와 치료 대상 인식 사이의 Association을 분석했습니다. Pulse Oximeter의 오차 하나만으로 모든 치료 지연과 임상 결과가 발생했다고 입증한 Randomized Trial은 아닙니다.

그럼에도 이 연구는 Sensor Error가 단순히 화면 속 숫자 차이로 끝나지 않을 수 있음을 보여줍니다. 시스템의 출력이 실제 Decision Rule에 연결되면 작은 측정 편차도 행동의 차이로 이어질 수 있습니다.

Race와 Skin Pigmentation은 같은 변수가 아니다

Pulse Oximeter의 집단별 차이를 설명할 때 가장 주의해야 할 부분입니다.

여러 Retrospective Study는 의료기록에 저장된 Self-reported Race 또는 Ethnicity를 사용했습니다. 하지만 Race는 Skin Pigmentation을 직접 측정한 값이 아닙니다.

피부색의 범위는 같은 Race 범주 안에서도 다양할 수 있고, 서로 다른 Race 범주 사이에서도 겹칠 수 있습니다. 따라서 연구에서 집단 차이가 관찰됐다는 결과와 피부색 하나가 모든 오차를 설명한다는 주장은 동일하지 않습니다.

가능한 광학적 메커니즘을 검토하더라도 다음 변수를 함께 고려해야 합니다.

• Skin Pigmentation
• 말초 혈류와 Perfusion
• Sensor의 제조사와 Model
• 측정 위치와 장착 상태
• 움직임과 Motion Artifact
• 피부 온도와 두께
• 주변광
• 흡연과 매니큐어 등 사용 조건

단순히 Race별로 일정한 보정값을 더하거나 빼는 방식도 충분한 해결책이 될 수 없습니다. Proxy Variable에 다시 의존하는 셈이며, 개인의 실제 피부색과 측정 환경을 반영하지 못하기 때문입니다.

FDA가 제안한 검증 방식의 변화

FDA는 2025년 1월 의료용 Pulse Oximeter의 성능 시험과 Labeling에 관한 새로운 Draft Guidance를 발표했습니다.

주요 제안은 다음과 같습니다.

• 임상시험 참가자 수 확대
• 다양한 Skin Pigmentation 범위를 포함한 참가자 구성
• 주관적 평가인 Monk Skin Tone Scale과 객관적 측정 방법인 Individual Typology Angle을 함께 사용
• 피부색 Group 사이에서 성능이 유사한지 별도로 평가
• 검증된 성능을 사용자가 확인할 수 있도록 Labeling 개선

2026년 8월 현재 FDA 문서에는 여전히 Draft – Not for Implementation이라고 표시돼 있습니다. 따라서 이를 확정된 Guidance나 이미 시행 중인 최종 규정으로 표현하면 안 됩니다.

적용 범위도 구분해야 합니다.

이 Draft Guidance는 병원이나 의료기관 등에서 사용하는 의료 목적의 Pulse Oximeter를 대상으로 합니다. FDA는 General Wellness, 스포츠 또는 항공 목적으로 판매되는 다수의 Consumer Device에는 이 Draft Guidance가 적용되지 않는다고 설명합니다.

이 구분은 스마트워치의 SpO₂ 기능을 검토할 때 특히 중요합니다. 의료용 Pulse Oximeter 연구 결과를 Consumer Wearable의 성능 수치처럼 그대로 옮길 수 없으며, 반대로 Wellness Device의 표시값을 의료적 판단의 Reference로 간주해서도 안 됩니다.

Wearable Sensor 개발에서 확인해야 할 것

Pulse Oximeter 사례를 스마트워치와 Health Data Platform 관점에서 보면, “센서 값을 받을 수 있는가”보다 “그 값을 어떤 조건에서 신뢰할 수 있는가”가 더 어려운 문제입니다.

스마트워치에서 Processed Data를 받아 화면에 표시하는 기능은 구현할 수 있습니다. 그러나 그 값으로 경고, 위험도 분류 또는 개인별 권고를 만들기 시작하면 별도의 Validation 문제가 생깁니다.

최소한 다음 항목은 분리해 기록해야 합니다.

검증 항목	확인할 내용
Target	실제로 측정하거나 예측하려는 상태는 무엇인가
Measurement	Sensor가 직접 측정한 값과 Algorithm이 추정한 값은 무엇인가
Reference	성능 비교에 사용할 Ground Truth 또는 Reference Measurement는 무엇인가
Device Context	기기 Model, Sensor Version, Firmware, 착용 위치가 기록되는가
Environment	움직임, Perfusion, 피부 온도, 주변광 등 측정 조건을 구분할 수 있는가
Subgroup	연령, 성별, Skin Tone, 질환, 기기별로 결과를 나눠 확인했는가
Threshold	실제 행동이 바뀌는 기준선 근처에서 성능을 별도로 평가했는가
Error Type	False Positive와 False Negative를 각각 계산했는가
Missingness	측정 실패와 누락이 특정 사용자에게 집중되지 않는가
Action	오류가 발생했을 때 어떤 잘못된 행동 또는 미실행이 발생하는가

여기서 측정 실패도 중요한 데이터입니다.

품질이 낮은 신호를 제거한 뒤 남은 데이터만으로 성능을 계산하면 결과가 좋아 보일 수 있습니다. 하지만 특정 피부 특성, 착용 방식 또는 혈류 상태에서 신호가 더 자주 제외된다면 실제 사용자 경험에서는 이미 집단별 성능 차이가 발생한 것입니다.

따라서 다음 두 비율을 함께 봐야 합니다.

• 측정에 성공한 데이터 안에서의 정확도
• 전체 시도 중 유효한 결과를 얻은 비율

Accuracy 하나 대신 어떤 지표를 봐야 하는가

모든 시스템에 동일한 지표를 적용할 수는 없지만, Threshold 기반의 Health Data System이라면 다음 지표를 함께 검토할 필요가 있습니다.

• Sensitivity / Recall
• Specificity
• False Negative Rate
• False Positive Rate
• Positive Predictive Value
• Negative Predictive Value
• Bias와 Limits of Agreement
• Subgroup별 Error Distribution
• Threshold 부근의 성능
• Signal Quality별 성능
• 기기 및 Sensor Version별 성능

특히 의료와 건강 영역에서는 Class Imbalance도 주의해야 합니다.

위험 상태가 전체 데이터의 1%뿐인 상황에서 모든 사례를 정상이라고 판단해도 Accuracy는 99%입니다. 그러나 위험 상태를 한 번도 발견하지 못하므로 시스템의 목적은 달성하지 못합니다.

그래서 “정확도가 몇 %인가?”보다 먼저 다음 질문을 해야 합니다.

무엇을 맞혔고, 무엇을 놓쳤으며, 놓친 대상은 누구인가?

이 사례가 입증한 것과 입증하지 않은 것

Pulse Oximeter 사례를 과장하지 않기 위해 확인된 범위와 한계를 구분할 필요가 있습니다.

연구에서 확인된 내용

• 두 개의 대규모 Retrospective Cohort에서 Black 환자군의 Occult Hypoxemia가 White 환자군보다 더 자주 관찰됐습니다.
• COVID-19 환자 자료에서는 Pulse Oximeter의 과대 추정이 일부 Black·Hispanic 환자의 치료 대상 인식 지연 또는 누락과 연관됐습니다.
• FDA는 Skin Pigmentation 범위를 더 대표하고 객관적으로 측정하는 임상시험 설계를 제안했습니다.

이 결과만으로 단정할 수 없는 내용

• 모든 Pulse Oximeter와 모든 사용자에게 동일한 크기의 오차가 발생한다는 주장
• Race가 Sensor Error의 직접적인 생물학적 원인이라는 주장
• Skin Pigmentation 하나만으로 개인별 오류를 완전히 예측하거나 보정할 수 있다는 주장
• 관찰된 측정 편차가 모든 임상 결과의 차이를 직접 유발했다는 인과관계
• 의료용 Pulse Oximeter 연구 결과가 모든 스마트워치와 Wellness Device에 그대로 적용된다는 주장

이 구분이 중요한 이유는 편향 문제를 인정하는 것과 원인을 과도하게 단순화하는 것이 서로 다른 일이기 때문입니다.

현재 판단

평균 성능은 필요하지만 충분하지 않습니다.

전체 Mean Error나 Accuracy는 시스템을 요약한 값입니다. 어떤 사용자에게 어떤 오류가 반복되는지, Threshold에서 어떤 행동이 바뀌는지까지 설명하지는 못합니다.

Pulse Oximeter 사례의 핵심은 특정 기기를 비판하는 데 있지 않습니다. 직접 측정하지 않은 Estimate가 Decision Rule과 연결될 때, 작은 Bias가 False Negative로 변할 수 있다는 점에 있습니다.

Wearable Sensor나 Health AI를 개발할 때도 같은 순서로 접근해야 합니다.

1. Sensor가 실제로 측정하는 신호를 정의한다.
2. Processed Data가 어떤 Algorithm을 거친 Estimate인지 구분한다.
3. Reference Measurement와 비교한다.
4. 전체 평균뿐 아니라 Subgroup과 Threshold별 오류를 확인한다.
5. False Positive와 False Negative의 비용을 따로 평가한다.
6. 결과가 불확실할 때 실행할 안전한 행동과 설명 방식을 설계한다.

평균적으로 정확한 시스템도 특정 사용자에게는 반복적으로 틀릴 수 있습니다.

그리고 시스템의 가치가 위험을 발견하는 데 있다면, 높은 평균 정확도보다 먼저 확인해야 할 것은 발견하지 못한 위험입니다.

참고 자료

1. Sjoding MW, Dickson RP, Iwashyna TJ, Gay SE, Valley TS. Racial Bias in Pulse Oximetry Measurement. New England Journal of Medicine. 2020.
   https://www.nejm.org/doi/full/10.1056/NEJMc2029240
2. Fawzy A, Wu TD, Wang K, et al. Racial and Ethnic Discrepancy in Pulse Oximetry and Delayed Identification of Treatment Eligibility Among Patients With COVID-19. JAMA Internal Medicine. 2022.
   https://jamanetwork.com/journals/jamainternalmedicine/fullarticle/2792653
3. U.S. Department of Veterans Affairs. Differential Pulse Oximeter Accuracy, Occult Hypoxemia, and Clinical Outcomes by Patient Race/Ethnicity: A Systematic Review. 2023.
   https://www.ncbi.nlm.nih.gov/books/NBK602599/
4. U.S. Food and Drug Administration. Pulse Oximeters for Medical Purposes — Non-Clinical and Clinical Performance Testing, Labeling, and Premarket Submission Recommendations. Draft Guidance. 2025.
   https://www.fda.gov/regulatory-information/search-fda-guidance-documents/pulse-oximeters-medical-purposes-non-clinical-and-clinical-performance-testing-labeling-and
5. U.S. Food and Drug Administration. Pulse Oximeter Basics. 2025.
   https://www.fda.gov/consumers/consumer-updates/pulse-oximeter-basics