격차를 해소하는 것은 무엇일까요?

이 시리즈의 앞선 두 편에서 문제점을 정확히 지적했습니다. 대부분의 KPI 체계는 의도를 확인하는 데 초점을 맞추도록 설계되어 있어, 실제 상황의 변화를 감지하는 데는 한계가 있습니다. 따라서 전략적 의도와 Field 현실 사이의 격차는 이미 커진 후에야 비로소 드러납니다. 이번 글에서 다루고자 하는 질문은 문제 자체보다 간단합니다. 바로 그 격차를 어떻게 해소할 수 있을까 하는 것입니다.

더 많은 데이터도, 더 나은 대시보드도, 더 잦은 보고 주기도 아닙니다. 근본적인 격차는 구조적인 것이며, 구조적 격차는 아키텍처가 바뀔 때만 해소될 수 있습니다.

빠진 세 가지 조건

단순히 결과를 확인하는 것을 넘어 변화의 추이를 감지할 수 있는 측정 시스템을 구축하려면 기존 보고 체계에 세 가지 구조적 요소를 추가해야 합니다. 이 세 가지 요소는 비용이 많이 들지 않으며, 새로운 기술도 필요하지 않습니다. 또한 위기 상황이 아닌, 시스템 도입을 결정하는 시점에 적용해야 합니다.

첫 번째는 기준선 설정입니다. 모든 확정된 프로세스에는 시작점, 즉 목표 추구에 앞서 프로세스가 실제로 어디에 있는지를 파악하는 기준점이 필요합니다. 기준선은 목표가 아닙니다. 말 그대로 현재 상태를 나타내는 수치입니다. 이 차이는 매우 중요합니다. 목표는 조직이 나아가고자 하는 방향을 제시하는 반면, 기준선은 현재 위치를 나타냅니다. 기준선이 없다면 이후의 모든 수치는 그저 허공에 떠 있는 데이터 포인트에 불과합니다. 하지만 기준선이 있다면 이후의 모든 수치는 변화를 측정하는 것이 되며, 이러한 변화가 바로 표류(drift)의 본질입니다.

두 번째는 자연 공정 한계(Natural Process Limit)입니다. 휠러와 셰워트의 통계적 공정 관리 방법론에서 파생된 자연 공정 한계는 정상적인 변동과 조치를 취할 가치가 있는 실제 신호 사이의 경계를 정의합니다. 한계 내에 있는 모든 측정값은 노이즈, 즉 관리 상태에 있는 공정에서 예상되는 변동입니다. 한계를 벗어난 모든 측정값은 신호, 즉 표면적인 측정값이 아니라 근본적인 공정 자체에 변화가 발생했다는 증거입니다. 자연 공정 한계가 없으면 조직은 일시적인 불량 사례와 악화 추세를 구분할 수 없습니다.

세 번째는 사전 신호 임계값입니다. 약속을 하는 당사자가 자발적으로, 약속 시점에, 자연적 과정 한계보다 낮은 수준으로 설정하는 이 사전 신호 임계값은 가장 빠른 경고 장치입니다. 통계적 한계가 무너지기 전, 신호가 명확해지기 전, 개입 가능 기간이 끝나기 전에 작동합니다.

이는 조직이 사후에 실패를 확인하는 것이 아니라, 조치를 취할 시간이 있을 때 경고를 받을 수 있도록 하는 구조적 보장입니다.

순서가 중요한 이유

이 세 가지 조건은 서로 바꿔 쓸 수 없으며, 명시된 순서 외에는 어떤 순서로도 작동하지 않습니다. 기준선(baseline)이 가장 먼저 설정되어야 하는데, 기준선 없이는 공정 한계(process limit)나 임계값(threshold)을 정확하게 보정할 수 없기 때문입니다. 공정 한계는 두 번째로 설정되어야 하는데, 공정 한계가 없으면 임계값의 통계적 근거가 마련되지 않기 때문입니다. 임계값은 마지막으로 설정되어야 하는데, 임계값이 실제로 조기 경고를 발생시키는 요소이며, 기준선과 한계가 모두 설정된 경우에만 그 역할을 제대로 수행할 수 있기 때문입니다.

순서는 다음과 같습니다: 확정, 기준선 설정, 한계 설정, 임계값 설정, 운영. 표준 KPI 순서는 다음과 같습니다: 확정, 운영, 보고. 두 순서의 차이점은 변동을 감지하도록 설계된 시스템과 완료를 확인하도록 설계된 시스템의 차이입니다.

실제 적용 사례는 다음과 같습니다.

Cooperative 에서 사전 신호 임계값은 외부에서 부과되는 것이 아니라 운영에 필요한 데이터 수집 빈도에 따라 조정자가 수동으로 설정하는 수준입니다. 이 임계값 아래로 집단 측정값이 떨어지면 조기 경보가 발령됩니다. 이는 통계적 한계를 넘어서기 훨씬 전에, 원인을 파악하고 시정 조치를 취할 수 있는 시점에 경보를 발생시킵니다.

양자 간 인프라 협정에서 동일한 구조는 현재 의도적으로 반증 불가능한 외교적 약속을 Field 수준에서 지속적으로 수집되는 관측 가능한 데이터를 참조하여 확인, 수정 또는 부인할 수 있는 세계에 대한 주장으로 전환할 것입니다.

정부 인프라 사업에서 사전 경보 시스템은 조사 착수 몇 달 전에 건설 진행 상황이 당초 약속했던 궤적보다 낮아지기 시작하는 시점을 포착했을 것입니다. 이는 비난이 아니라 정보 제공입니다. 미래의 위기를 현재의 시정 조치로 전환할 수 있는 정보 말입니다.

정직한 제한

이 세 가지 조건은 아키텍처 격차를 해소합니다. 하지만 의지 격차는 해소하지 못합니다. 표류하는 모습을 보이고 싶지 않은 조직은 자발적으로 사전 신호 임계값을 설정하지 않을 것입니다. 왜냐하면 임계값은 무엇보다도 표류를 드러내어 변명거리를 마련하기 전에 이를 가시화할 수 있는 가장 빠른 수단이기 때문입니다.

이 문제는 올해 같은 분기에 세 개의 독립 기관이 적용한 것과 같은 외부 압력, 즉 신용 등급 하향 조정, 개발 은행의 공개 성명, 정부의 성장률 전망치 하향 조정으로 해결할 수 있습니다. 신호 체계가 없을 때 발생하는 비용이 충분히 명확해지면, 그에 따른 의지도 자연스럽게 나타나기 마련입니다.

그 격차에는 이름이 있습니다. 그 격차를 해소할 아키텍처도 존재합니다. 이제 남은 질문은 다음 보고서가 이미 알려진 사실을 확인하기 전에 어떤 조직이 그 아키텍처를 사용할 것인가 하는 것입니다.

---

MetriqOne · 잡음 없는 증거 · metriq.one