원인 분석에서 확증 편향은 어떻게 피하나요?
요약
원인 분석에서 확증 편향을 피하려면 4단계를 거칩니다. 경쟁 가설을 나열하고, 가설마다 무엇이 반증이 되는지 정하고, 시험하고, 배제한 원인을 범위와 함께 기록합니다. 이 방법은 누구든 시험 결과를 보기 전에 반증 조건을 적어 두고, 배제 기록마다 해당하는 로트, 날짜, 조건을 밝힐 때 통합니다.
Nickerson이 인용한 한 연구에서는 처음 30번의 추출이 한 항아리를, 다음 30번이 다른 항아리를 가리켜 증거가 결국 같아졌습니다. 그런데도 참가자들은 처음 30번이 가리킨 항아리를 고르는 경향을 보였습니다(Nickerson, 1998).
Heuer의 경쟁가설분석(Analysis of Competing Hypotheses)은 8단계이며, 5단계에서는 가설을 증명하기보다 반증하려는 방식으로 분석을 진행하라고 합니다(Heuer, 1999).
Platt의 강한 추론(strong inference)은 결정적 실험을 고안합니다. 이 실험은 나올 수 있는 결과마다 가설을 하나 이상 배제합니다(Platt, 1964).
미국 식품의약국(FDA)의 의약품 시험실 지침은 재시험 최대 횟수를 서면 절차에 미리 정해 두어야 하며, 얻은 결과에 따라 조정하지 않아야 한다고 말합니다(FDA, 2022).
이 방법은 화학 제품의 품질이나 성능 클레임에서 편향을 막는 장치를 다룹니다. 원인 분석 전체를 진행하는 방법과, 부상이나 누출이 있는 사고 조사는 각각의 절차를 따르며 다른 글에서 다룹니다.
원인 분석은 왜 처음 의심한 원인에 매달리나요?
원인 분석이 처음 의심한 원인에 매달리는 이유는 먼저 들어온 정보가 나중 정보보다 무겁게 작용하고, 조사자가 새 데이터를 첫 생각에 맞게 읽기 때문입니다. Nickerson은 확증 편향을 "기존의 믿음이나 기대, 또는 지금 가진 가설에 유리한 방향으로 증거를 찾거나 해석하는 것"으로 정의합니다(Nickerson, 1998). 먼저 들어온 정보에 무게가 실리는 부분은 초두 효과라고 부릅니다.
화학 제품 클레임에서는 대개 클레임과 함께 첫 용의자가 따라옵니다. 고객은 새 로트가 불량이라고 말하거나, 영업 엔지니어가 원료 변경을 기억해 내고, 조사는 그것을 증명하는 일로 시작합니다. Heuer는 분석가에게서 같은 양상을 봅니다. 가장 가능성이 높다고 짐작한 답을 고르고, 정보를 "그 답을 뒷받침하는지 아닌지의 관점에서" 본다는 것입니다(Heuer, 1999).
함정은 대부분의 증거가 여러 설명에 들어맞는다는 데 있습니다. 코팅의 부착력이 떨어졌다면 불량 로트, 오염된 기재, 짧은 경화, 추운 작업장이 모두 동시에 들어맞습니다(예시). Heuer는 가설을 하나씩 다룰 때 분석가가 "이 증거 대부분이 다른 설명과도 들어맞는다는 사실을 알아차리지 못한다"고 경고합니다(Heuer, 1999). 시험 전에 경쟁 가설을 나열하는 절차가 현실적인 해법입니다. 첫 결과가 나오기 전에 다른 설명들을 문서에 올려 두기 때문입니다.
원인 분석에서 확증 편향은 단계별로 어떻게 피하나요?
원인 분석에서 확증 편향을 피하려면 네 단계를 순서대로 밟고, 다음 단계로 넘어가기 전에 단계마다 기록을 남깁니다. 이 단계는 Heuer의 경쟁 가설과 Platt의 강한 추론을 제품 클레임에 맞게 고친 것입니다(Heuer, 1999; Platt, 1964). 이 단계는 IEC 62740:2015가 설명하는 것과 같은 원인 분석 전체 절차 안에서 쓰며, 그 절차를 대신하지 않습니다(IEC 62740:2015).
경쟁 가설을 나열합니다. 원인 영역마다 후보를 적어도 하나씩 적습니다. 제품 로트, 보관과 취급, 고객의 적용 조건, 기재나 시스템, 오염입니다. Heuer의 1단계는 이 작업에 관점이 서로 다른 분석가 여러 명을 모으라고 합니다. 한 사람이 모든 가능성을 떠올리는 일은 드물기 때문입니다(Heuer, 1999).
가설마다 무엇이 반증이 되는지 정합니다. 가설마다 그 가설을 배제할 관찰이나 시험 결과를 적고, 가설이 참일 때 예상하는 결과도 적습니다.
시험합니다. 가설을 서로 가려내는 확인부터 진행하되, Platt가 결정적 실험을 설명한 대로 결과가 후보를 하나 이상 배제하는 확인부터 시작합니다(Platt, 1964). 반복 횟수는 미리 정해 둡니다.
배제한 원인을 범위와 함께 기록합니다. 배제한 가설마다 그 배제가 어느 로트, 날짜, 조건에 해당하는지, 어떤 근거로 배제했는지 적습니다.
확인되지도 배제되지도 않은 가설은 열어 둡니다. Heuer는 분명히 말합니다. "증명되지 않은 가설은 반증될 때까지 살려 두어야 한다"(Heuer, 1999).
근거를 모으기 전에 원인 가설과 반증 조건은 어떻게 정하나요?
근거를 모으기 전에 원인 가설과 반증 조건을 정하려면, 후보 원인마다 예측 하나와 그 원인을 배제할 결과 하나를 적고, 첫 시험 결과를 읽기 전에 날짜를 붙여 합의합니다. 요점은 데이터가 들어오기 시작한 뒤에는 가설을 기각하는 기준이 움직일 수 없다는 것입니다.
반증 조건에는 시험, 시료, 기준값이 들어갑니다. 점도 클레임의 원인으로 "불량 로트" 가설을 세웠다면 이렇게 쓸 수 있습니다. "로트 2409-12의 보관 시료를 같은 방법으로 시험해 시험성적서(CoA)의 점도 범위를 만족하면, 로트 조성은 점도 클레임의 원인에서 배제한다"(예시). 오염 가설이라면 고객이 사용 중인 시료의 수분 함량을 조건으로 정할 수 있습니다(예시).
규제를 받는 시험실은 재시험에서 이미 이렇게 일합니다. FDA의 의약품 생산 지침은 합격 결과가 나올 때까지 시험을 되풀이하는 일을 "testing into compliance"라고 부르고, 이것이 "CGMP상 비과학적이며 허용되지 않는다"고 말합니다(FDA, 2022). 같은 지침은 재시험 횟수를 "얻은 결과에 따라 조정해서는 안 된다"고 합니다(FDA, 2022). 이 지침은 의약품 CGMP 시험실을 대상으로 쓰였지만, 중단 기준을 먼저 정하는 습관은 어떤 화학 제품 조사에도 옮겨 쓸 수 있습니다.
가설 목록은 날짜와 함께 보관합니다. 나중에 새 가설이 나오면 원래 목록을 고쳐 쓰지 말고, 새 가설에 따로 날짜를 붙여 추가합니다.
배제한 원인과 배제 범위는 어떻게 기록하나요?
배제한 원인을 기록하려면, 배제한 가설마다 배제 근거와 그 배제의 정확한 범위를 적습니다. 범위는 로트 구간, 기간, 시험한 조건입니다. 범위가 없는 배제 기록은 "제품 문제가 아님"으로 읽힙니다. 하지만 근거가 실제로 보여 주는 것은 "로트 2409-12, 점도, 40 °C에서는 아님"일 수 있습니다(예시).
배제 기록에는 항목마다 다섯 가지 필드가 필요합니다.
가설: 시험 전에 정한 문구 그대로의 후보 원인.
근거: 시험, 시료, 결과와 그 출처 문서.
로트 구간: 근거가 다루는 로트나 배치, 그리고 다루지 않는 로트나 배치.
기간: 근거가 다루는 생산일, 납품일, 사용일.
시험한 조건: 물성, 시험법, 온도나 농도 같은 조건.
다음 클레임이 그 범위 밖에서 나올 수 있으므로 범위가 중요합니다. FDA의 의약품 시험실 지침은 근본 원인을 찾은 뒤에도 "해당 실패와 관련되었을 수 있는 다른 배치나 제품"까지 넓힌 실패 조사를 마쳐야 한다고 말합니다(FDA, 2022). 로트 구간과 기간을 함께 기록한 배제는 어느 로트를 이미 확인했고 어느 로트를 아직 확인해야 하는지 보여 줍니다.
한 번도 시험하지 않은 가설은 배제가 아니라 미결로 기록에 남깁니다. Heuer는 "틀렸다는 적극적 증거"가 있는 반증된 가설과, 뒷받침이 없을 뿐인 증명되지 않은 가설을 구분합니다(Heuer, 1999).
원인 분석 방법들은 왜 사실 수집 전에 가설을 세우는 문제에서 의견이 갈리나요?
원인 분석 방법들이 사실 수집 전 가설 수립을 두고 의견이 갈리는 이유는 서로 다른 실패를 막으려 하기 때문입니다. 사실을 먼저 모으는 방법은 섣불리 정한 유력 후보를 막고, 가설을 먼저 세우는 방법은 무엇이 문제를 판가름하는지 모른 채 모든 것을 모으는 일을 막습니다. 양쪽 모두 같은 편향을 겨냥합니다.
TapRooT는 자사 방법이 "왜 일어났는지 찾기 시작하기 전에, 무슨 일이 있었는지 충분히 이해하도록 먼저 정보 수집을 요구함으로써" 확증 편향을 피한다고 말합니다(TapRooT, 2019). 편향 없는 조사를 다룬 글에서는 조사자가 "처음 세운 가설에 맞는 정보를 찾고, 해석하고, 기억한다"고 경고합니다(TapRooT, 2023).
Heuer와 Platt는 반대 순서를 따릅니다. Heuer의 방법은 가능한 가설을 먼저 찾은 다음 근거에 비추어 시험합니다(Heuer, 1999). Platt의 강한 추론은 "대안 가설 고안"에서 시작해, 그 가설들을 배제할 실험을 설계합니다(Platt, 1964). Red X 방식을 다룬 engineering.com 기사는 데이터를 "다양한 가설을 시험하면서 수집한다"고 설명합니다(engineering.com, 2023).
두 순서는 하나의 안전장치에서 만납니다. FDA 지침이 시험 준비물을 폐기하기 전에 초기 평가를 요구하듯, 먼저 사실을 보존하고 기록합니다(FDA, 2022). 그런 다음 가설을 여러 개 나열하고, 그 가설들을 판가름할 시험 전에 가설마다 반증 조건을 정합니다. 두 방법 모두에서 위험한 것은 시점이 아니라 초기에 세운 가설이 하나뿐인 상태입니다.
원인 분석에 확증 편향이 있는지 어떻게 점검하나요?
원인 분석에 확증 편향이 있는지 점검하려면 기록을 네 가지 질문에 비추어 봅니다. 경쟁 가설을 나열했는가, 시험 전에 가설마다 반증 조건을 정했는가, 시험 횟수를 미리 정했는가, 배제 기록마다 범위를 밝혔는가입니다. 아래 표는 이 질문을 화학 제품 클레임에 적용한 것입니다.
아래 표를 보면 원인 분석이 경쟁 가설을 시험했는지, 아니면 첫 용의자를 확인하기만 했는지 판단할 수 있습니다.
점검 항목 | 통과 | 불합격과 조치 |
|---|---|---|
경쟁 가설 | 원인 영역마다 하나 이상: 로트, 보관, 적용, 시스템, 오염 | 용의자 하나뿐: 결과를 더 읽기 전에 다시 열고 경쟁 가설을 나열 |
반증 조건 | 가설마다 시험 전에 작성하고 날짜를 기록 | 결과를 본 뒤 작성: 결론을 잠정으로 표시하고 새 조건을 정함 |
시험 횟수 | FDA가 재시험에 기대하는 대로 반복 횟수를 미리 정함(FDA, 2022) | 맞는 결과가 나올 때까지 시험을 추가: 모든 결과를 보고하고 다른 사람과 함께 검토 |
배제 범위 | 항목마다 로트 구간, 기간, 시험한 조건 | 범위 없이 "제품 문제 아님": 실제로 시험한 로트와 조건을 넣어 다시 작성 |
미결 가설 | 시험하지 않은 후보를 미결로 기록 | 시험하지 않은 후보를 삭제: 미결로 되살림 |
대부분의 조사가 통과하지 못하는 행은 배제 범위입니다. "제품 배제"라고만 적힌 기록은 시험한 로트와 물성을 넣어 다시 써야 합니다. 그러지 않으면 다음 클레임이 처음부터 해당하지 않던 배제를 다시 가져다 씁니다. 점검은 결론이 고객에게 가기 전, 보관 시료로 시험을 다시 할 수 있을 때 합니다. 루빈플라는 같은 규칙으로 원인 분석을 진행합니다. 가설과 반증 조건을 먼저 정하고, 배제한 원인마다 배제 범위를 함께 기록합니다.
자주 묻는 질문
원인 분석에서 경쟁 가설은 몇 개나 나열해야 하나요?
Heuer는 검토해야 할 가설의 정답 개수는 없다고 말합니다(Heuer, 1999). 화학 제품 클레임에서 현실적인 최소치는 원인 영역마다 후보 하나입니다. 로트, 보관과 취급, 적용 조건, 고객의 시스템, 오염입니다. 근거가 다른 후보를 시사하면 더 추가합니다.
확증 편향이 있다는 것은 처음 의심한 원인이 틀렸다는 뜻인가요?
아닙니다. engineering.com 기사는 편향이 있다고 해서 해법이 틀렸다는 뜻은 아니라고 짚습니다(engineering.com, 2023). 처음 의심한 원인이 근본 원인일 수도 있습니다. 안전장치의 요점은 그 원인이 혼자 시험받아서가 아니라, 경쟁 가설과 같은 반증 시험을 견뎌서 채택되게 하는 데 있습니다.
반증 조건은 누가 작성해야 하나요?
조사 책임자가 작성하고, 시험 전에 다른 부서의 한 사람이 검토합니다. 예를 들어 책임자가 기술 지원 소속이면 시험실 담당자가 검토합니다. Heuer가 가설 단계에서 관점이 다른 사람들을 권하는 이유도 같습니다(Heuer, 1999).
배제한 원인이 다시 후보가 될 수 있나요?
그렇습니다. 배제는 기록한 범위 안에서만 유효합니다. 나중 클레임이 다른 로트, 다른 기간, 시험하지 않은 물성과 관련되면 배제했던 원인은 다시 후보가 되며, 따로 반증 시험을 거쳐야 합니다.