누락이 실제로 어떤 모습일까요?
의도 확인을 위해 구축된 KPI 스택은 의도와 현실 사이의 격차가 너무 커져서 더 이상 감출 수 없을 때까지 의도를 확실하게 확인해줍니다. 수개월 동안 지속된 추세 변화 속에서도 대시보드는 정상으로 표시될 것이고, 더 이상 존재하지 않는 상황을 요약한 보고서를 제때 제출할 것이며, 이해관계자들에게 잘못된 정보를 제공할 것입니다.
이것은 사기가 아닙니다. 시스템 설계의 일부입니다. 전략적 목표 달성 여부를 추적하기 위해 설계된 측정 시스템은 그 목적만을 달성할 뿐, 그 이상은 아닙니다. 그 시스템은 보고서의 근거가 되는 Field 현실이 목표 설정의 전략적 의도와 일치하는지 여부를 알려주지 않습니다. 애초에 그런 목적으로 설계된 시스템이 아니기 때문입니다.
이러한 시스템이 만들어내는 결과를 나타내는 단어는 부정확성이 아닙니다. 그 단어는 누락입니다.
누락이 만들어내는 격차
조직이 전략적 목표를 설정하는 시점부터 목표 달성 결과를 보고하는 시점까지 실제로 어떤 일이 벌어지는지 생각해 보십시오. 목표 설정은 추상적인 수준, 즉 목표치, 달성률, 완료 시점 등으로 구체화됩니다. 하지만 실제 실행은 Field 활동, 일상적인 의사 결정, 계획 단계에서는 파악하기 어려웠던 자원 제약 등 구체적인 운영 수준에서 이루어집니다. 목표 설정과 보고 사이에는 일련의 인수인계, 요약, 해석 과정을 거쳐 Field 에서 발생한 일들이 목표 형식에 맞는 수치로 요약됩니다.
그 과정에서 각 단계마다 신호는 점점 희미해집니다. Field 수준의 미묘한 차이는 지역 요약 보고서가 되고, 지역 요약 보고서는 부서 보고서가 됩니다. 부서 보고서는 대시보드 수치가 되고, 대시보드 수치는 목표치와 비교되어 녹색 또는 빨간색으로 표시됩니다. 결국 의사 결정권자에게 도달할 때쯤이면, 그 수치를 만들어낸 실제 운영 상황은 목표치가 측정하고자 했던 내용과 거의 관련이 없을 수도 있습니다.
이것은 부패도 아니고, 태만도 아닙니다. 이는 의도한 바와 실제 발생 간의 차이를 감지하기보다는 보고 가능한 수치를 산출하도록 설계된 측정 체계의 구조적 결과입니다.
생략되는 것
표준 KPI 스택에서 파생되는 구체적인 항목들은 일관성이 충분하여 이름을 붙일 수 있습니다.
현재 위치뿐 아니라 변화율도 중요합니다. 목표 범위 내에 있지만 경계를 향해 꾸준히 움직이는 지표는 빨간색으로 바뀌기 직전까지 계속 녹색으로 표시됩니다. 신호 아키텍처는 궤적을 포착하는 반면, 보고 시스템은 특정 시점의 스냅샷만 포착합니다.
보고된 활동과 검증된 결과 사이의 격차. 보고서를 제때 제출하는 팀과 현장 활동이 보고서 내용과 일치하는 팀은 다릅니다. Field 수준의 검증 계층이 없다면, 보고 체계는 이 둘을 구분할 수 있는 메커니즘이 없습니다.
결과가 늦게 나타나는 프로세스에서는 초기 단계에서부터 변화가 발생합니다. 구조적 결함, 공급망 악화, 프로그램 이행 차질 등은 모두 초기 경고와 가시적인 결과 사이에 긴 시간 간격이 있는 경향이 있습니다. 결과에 맞춰 조정된 측정 시스템은 항상 제때 효과를 발휘하지 못합니다. 반면 프로세스 신호에 맞춰 조정된 측정 시스템은 조치를 취할 수 있을 만큼 충분히 일찍 효과를 발휘할 수 있습니다.
이것들은 특이한 고장 유형이 아닙니다. 정교한 보고 인프라를 갖추고 있지만 그 밑에 신호 아키텍처가 없는 조직에서 흔히 발생하는 일반적인 고장 유형입니다.
그것을 닫는 건축
보고 시스템과 신호 아키텍처의 차이는 더 많은 데이터나 더 나은 소프트웨어의 문제가 아닙니다. 측정 시스템이 무엇을 감지하도록 설계되었는지의 문제입니다.
보고 시스템은 목표 달성 여부, 보고 여부, 제출 여부를 감지합니다. 이는 의도와 결과 간의 기록을 정기적으로 생성하도록 설계되었습니다. 신호 아키텍처는 프로세스가 확정된 목표 궤도에서 벗어나기 시작하는 순간, 즉 편차가 목표 비교에 나타날 만큼 커지기 전에 이를 감지합니다. 이는 기록을 생성하는 것이 아니라 조기 경고를 생성하도록 설계되었습니다.
신호 아키텍처의 구조적 요구 사항은 단순하면서도 동시에 까다롭습니다. 모든 필수 공정에는 기준선, 자연 공정 한계(Natural Process Limit), 그리고 사전 신호 임계값이 필요합니다. 이 세 가지가 모두 없으면 측정 시스템은 노이즈와 신호를 구분할 수 없습니다. 단순히 숫자만 생성할 뿐, 신호를 생성하지 못합니다.
대부분의 KPI 스택은 의도적으로 이 세 가지를 모두 생략합니다. 악의적인 의도가 아니라, 보고서 검증을 위해 만들어졌기 때문이며, 검증에는 기준선, 한계치 또는 임계값이 필요하지 않고 목표치와 수치만 있으면 되기 때문입니다.
이 문제에는 더 어려운 버전이 있는데, 이 부분은 여기서 다뤄야 합니다. 오랫동안 운영되어 온 조직에서는 보고서와 현장 상황 간의 차이가 더 이상 놀라운 일이 아닙니다. 오히려 당연한 것으로 여겨집니다. 한 번 이상의 보고 주기를 거친 사람들은 보고서 내용과 Field 이 다르다는 것을 경험을 통해 터득했습니다. 그들은 그 차이를 감수하고, 비공식적인 판단에 반영하고, 자체적인 보완 시스템을 구축해 왔습니다. 공식적인 측정 체계는 계속해서 보고서를 발표합니다. 모두가 그 보고서를 액면 그대로 받아들여서는 안 된다는 것을 알고 있습니다. 그리고 아무도 문제를 제기하지 않습니다. 왜냐하면 그 차이가 이미 정상적인 것으로 받아들여졌기 때문입니다.
이는 무지보다 해결하기 더 어려운 문제입니다. 측정 시스템이 맹목적이라는 사실을 모르는 조직은 무엇이 부족한지 보여주면 알 수 있습니다. 하지만 이미 알고 있고, 늘 알고 있었으며, 그저 그런 상황에 익숙해져 버린 조직은 시스템 구조 자체를 바꾸기 전에 문화적 적응을 바로잡아야 합니다. 보고서는 신뢰받지 못하지만, 여전히 작성되고, 보관되고, 인용됩니다. 그리고 그 보고서가 덮어주는 격차는 아무도 공식적으로 지켜보지 않는 속도로 점점 더 벌어지고 있습니다.
이 누락은 구조적인 문제입니다. 이를 해결하려면 다른 목적에 맞게 설계된 아키텍처가 필요합니다.
MetriqOne · 잡음 없는 증거 · metriq.one