화학 공급사는 기술 문의를 어떻게 분류해야 하나요?
요약
기술 문의 분류는 4단계로 진행합니다. 분류 정의를 쓰고, 제품군·문의 유형·증상을 태그하고, 결과를 기록한 다음, 정의가 바뀌면 판을 매겨 관리합니다. 이 방법은 문의를 한 건씩 별도 기록으로 남기고, 같은 서면 정의를 보고 태그할 때 통합니다. 그런 정의가 없으면 사람끼리, 연도끼리 건수를 비교할 수 없습니다.
유엔 통계 분류 지침은 같은 수준의 범주가 서로 배타적이어서 각 단위가 한 범주에만 분류되도록 요구합니다(UNSD, 2022).
같은 지침은 "기타"나 "달리 분류되지 않은 것" 같은 잔여 범주를 주로 운영상의 목적으로 둔다고 봅니다(UNSD, 2022).
평가자 간 신뢰도에 관한 한 리뷰는 보건 연구 맥락에서 많은 교재가 평가자 간 최소 허용 일치도로 80%를 권장한다고 적습니다(McHugh, 2012).
같은 리뷰는 일치도 표본이 30건보다 적은 비교로 이루어져서는 안 된다고 제안합니다(McHugh, 2012).
ISO 10002:2018 제3판은 2023년에 마지막으로 검토·확인되었으며, 제품과 서비스를 개선하기 위한 불만 분석과 평가를 포함해 불만 처리 지침을 제시합니다(ISO, 2018).
이 방법은 화학제품 제조사나 유통사가 고객과 영업 담당자에게서 받은 기술 질문을 자체적으로 기록할 때 씁니다. 공식 불만 처리, 제품 리콜, 규제 대상 이상 사례 보고는 따로 요구되는 기록이 있으며, 이 분류 체계가 그 기록을 대신하지 않습니다.
화학 공급사의 기술 문의 기록에는 어떤 필드가 있어야 하나요?
화학 공급사의 기술 문의 기록에는 분류 필드 네 개를 서로 나누어 두어야 합니다. 제품군, 문의 유형, 증상, 결과입니다. 필드마다 질문 하나에 답하고, 서면 목록에서 값 하나를 고릅니다.
제품군은 질문이 무엇에 관한 것인지를 보고 단위로 적습니다. 예를 들어 유압유, 금속가공유, 혐기성 접착제입니다. 문의 유형은 고객이 무엇을 요청했는지를 적습니다. 문서, 제품 선정, 상용성 답변, 적용 방법, 고장 진단, 규제 관련 확인서 같은 것입니다. 증상은 고객이 본 현상을 적고, 문제가 없었으면 비워 둡니다. 결과는 문의가 어떻게 끝났는지를 적습니다.
이 네 필드 외에, 건수를 세고 감사할 수 있게 해 주는 사실도 남깁니다. 접수일, 종결일, 고객, 경로, 처리한 사람, 고객이 적은 그대로의 제품명이나 등급입니다. 질문과 답변의 자유 서술도 기록에 남깁니다. 나중에 정의가 바뀌면 이 서술을 보고 예전 문의를 다시 태그해야 할 수 있기 때문입니다.
ISO 10002:2018은 다루는 불만 처리 측면 가운데 하나로 "analysing and evaluating complaints in order to improve the quality of products and services", 즉 제품과 서비스의 품질을 개선하기 위한 불만 분석과 평가를 듭니다(ISO, 2018). 기술 문의는 불만보다 범위가 넓지만 같은 논리가 적용됩니다. 기록마다 같은 방식으로 분류했을 때에만 데이터를 분석할 수 있습니다.
기술 문의 유형을 증상, 제품군과 어떻게 구분하나요?
기술 문의 유형을 증상, 제품군과 구분하려면 차원마다 별도 필드와 별도 목록을 두어, 어느 범주도 제품과 문제를 섞지 않게 합니다. "유압유 거품" 같은 혼합 범주도 셀 수는 있습니다. 하지만 거품 문의가 몇 건 들어왔는지 보려고 "절삭유 거품"과 더하거나, 유압유 문의가 몇 건인지 보려고 "유압유 누유"와 더할 수는 없습니다.
유엔 통계국(UNSD) 지침은 같은 수준의 범주가 서로 배타적이어야 한다고 밝힙니다. 즉 "each member of the population of primary units must only be classified to one category", 기본 단위 모집단의 각 구성원은 한 범주에만 분류되어야 합니다(UNSD, 2022). 필드를 셋으로 나누면 목록마다 각자 이 규칙을 지킬 수 있습니다.
아래 표는 차원을 나누는 한 가지 방법입니다. 값은 모두 예시이며, 실제 값은 회사의 제품 구성과 기록에서 가져와야 합니다.
필드 | 답하는 질문 | 예시 값(예시) |
|---|---|---|
제품군 | 어떤 제품에 관한 것인가? | 유압유, 금속가공유, 혐기성 접착제 |
문의 유형 | 고객이 무엇을 요청했는가? | 문서 요청, 제품 선정, 상용성, 고장 진단 |
증상 | 고객이 무엇을 보았는가? | 거품, 부식, 점도 변화, 없음 |
결과 | 어떻게 끝났는가? | 회신 완료, 현장 시험 준비, 본사 이관, 결과 모름 |
핵심은 증상 행입니다. 증상을 별도 필드로 두고 "없음"을 허용 값으로 넣어야 문서 요청과 제품 선정 요청이 문제 건수를 부풀리지 않습니다. 그러면 절삭유 거품 질문은 금속가공유, 고장 진단, 거품으로 태그됩니다.
태그를 시작하기 전에 기술 문의 분류 정의는 어떻게 쓰나요?
태그를 시작하기 전에 범주마다 한 문장 정의, 포함하는 것, 제외하는 것, 실제 예시 하나를 쓰고, "기타" 범주의 규칙을 정합니다. 서면 정의 없이 태그하면 사람마다 판단이 각기 다른 분류 체계가 됩니다.
UNSD 지침은 "explain the content by giving examples of inclusions and exclusions", 즉 포함과 제외의 예를 들어 내용을 설명하는 해설을 권합니다(UNSD, 2022). 상용성 같은 문의 유형이라면 포함 항목에는 두 유체를 섞거나 유체와 실 재질을 함께 쓰는 질문을 적고, 제외 항목에는 제품 교체 질문을 제품 선정으로 보낸다고 적을 수 있습니다. 예시는 회사 기록에 있는 실제 문의에서 이름을 지워 씁니다.
"기타" 범주에는 별도 규칙이 필요합니다. 같은 지침은 잔여 범주를 "primarily for operational purposes only", 즉 주로 운영상의 목적으로만 둔다고 설명하고, 모호한 응답은 "should not generally be coded to residual categories", 즉 일반적으로 잔여 범주에 넣지 말고 정보가 허락하는 가장 세부적인 수준으로 분류해야 한다고 말합니다(UNSD, 2022). 실무에서는 "기타"에 들어가는 문의 비율에 한도를 두고(예를 들어 10%, 팀이 정하는 예시 수치), 분기마다 그 내용을 검토합니다. 거기서 반복되는 주제는 날짜를 적은 정의와 함께 새 범주로 만듭니다.
도입 전에 두 사람이 초안 정의로 같은 과거 문의 묶음을 태그해 보고, 두 사람의 의견이 갈린 정의는 모두 다시 씁니다.
기술 문의의 결과는 셀 수 있게 어떻게 기록하나요?
기술 문의의 결과를 셀 수 있게 기록하려면, 종결할 때 짧은 닫힌 목록에서 결과를 고르게 하고 "결과 모름"을 명시적인 값으로 둡니다. 종결일도 같은 때에 적습니다. 결과 없이 종결한 문의는 해결이 아니라 결과 모름으로 세야 합니다.
쓸 만한 결과 목록은 무엇을 했는지와 효과가 있었는지를 나눕니다. 무엇을 했는지는 기존 문서로 회신, 새 권고로 회신, 현장 방문이나 시험 준비, 제조사로 이관, 공식 불만으로 전환, 회신 불가입니다. 효과가 있었는지는 종결 시점에 모르는 경우가 많습니다. 고객이 확인했을 때에만 채우는 후속 필드를 두면 이 사실을 따로, 정직하게 남길 수 있습니다.
여기서 세는 규칙이 두 가지 나옵니다. 첫째, 분모는 결과 모름을 포함해 그 기간에 종결한 모든 문의입니다. 그래야 결과 모름의 비율이 숨지 않고 드러납니다. 둘째, 같은 문제로 다시 열린 문의는 새 문의가 아니라 재개일을 적은 한 건으로 남깁니다. 그렇지 않으면 반복 문제가 건수에서 사라집니다. 루빈플라의 기술 지원 실적 분석은 기록을 조회하기 전에 지표 정의, 분모, 제외 규칙을 정하고, 조직의 자체 범위 안에서 진단합니다.
결과 필드는 작업이 어디서 멈추는지 보여 주는 필드이기도 합니다. 결과가 없고 최근 활동도 없는 미결 문의는 기술 지원 케이스가 어디서 막히는지 찾을 때 출발점이 되며, 이 분석은 종결된 문의에 결과가 있어야만 제대로 됩니다.
분류 정의가 바뀌면 예전 데이터는 어떻게 하나요?
기술 문의 분류 정의가 바뀌면 그 변경을 시행일과 함께 기록하고, 예전 범주를 새 범주에 대응시킨 뒤, 과거 기록을 다시 태그하거나 두 기간을 따로 보고합니다. 날짜 없이 바뀐 정의 앞뒤의 건수는 비교할 수 없습니다. 같은 숫자가 이제 다른 뜻이 되기 때문입니다.
UNSD 지침은 시계열을 "can be managed through the use of correspondences (which map or link together different versions of classifications), back-casting or dual-coding", 즉 분류의 서로 다른 판을 잇는 대응표, 소급 추정, 이중 코딩으로 관리할 수 있다고 말합니다(UNSD, 2022). 대응표는 예전 범주가 새 범주와 어떤 관계인지 기록합니다. 그대로인지, 여러 개로 나뉘었는지, 다른 범주와 합쳐졌는지, 대응하는 범주가 없는지입니다.
기술 문의 기록이라면 실무에서 네 가지를 합니다. 판 번호, 시행일, 바뀐 범주, 이전 정의와 새 정의, 승인자를 적은 정의 변경 기록을 둡니다. 바뀐 범주마다 대응표를 씁니다. 범주가 나뉘었다면 영향을 받은 과거 기록을 자유 서술을 보고 다시 태그하거나, 이전 기간을 비교 불가로 표시합니다. 짧은 겹침 기간(예시로 한 달) 동안에는 새 문의를 두 판 모두로 태그해 변화의 크기를 잴 수 있게 합니다.
동향 보고서에는 어느 판의 정의를 썼는지 적는 것이 좋습니다. 그래야 읽는 사람이 어떤 범주가 늘어난 것이 시장 때문인지 규칙 때문인지 구분할 수 있습니다.
기술 문의 분류가 쓸 만한 데이터를 내는지 어떻게 점검하나요?
기술 문의 분류가 쓸 만한 데이터를 내는지는 분류 체계와 태그된 기록 표본에 합격과 불합격을 가리는 점검 다섯 가지를 해서 확인합니다. 아래 표로 건수를 보고하고 기간끼리 비교해도 되는지 정합니다.
점검 | 합격 | 불합격 시 할 일 |
|---|---|---|
네 필드 분리 | 제품군, 문의 유형, 증상, 결과가 각각 별도 필드에 있음 | 혼합 범주를 나누고 자유 서술을 보고 다시 태그 |
범주마다 서면 정의와 예시 | 모든 범주에 정의, 포함, 제외, 실제 예시 하나가 있음 | 다음 집계 전에 빠진 정의를 작성 |
"기타" 비율 | 팀이 정한 한도 미만, 예를 들어 10%(예시) | "기타"를 검토하고 날짜를 적은 범주를 추가 |
두 사람 태그 일치도 | 30건 이상 표본에서 일치도 80% 이상(McHugh, 2012) | 의견이 갈린 정의를 다시 쓰고 재시험 |
정의 변경 날짜 기록 | 기록에 판, 시행일, 대응표가 있음 | 대응시킬 때까지 기간을 나눠 보고 |
핵심은 태그 점검 행입니다. 두 사람이 같은 표본을 따로 태그합니다. McHugh(2012)가 보건 연구 교재에서 인용한 기준대로, 30건 이상 표본에서 일치한 비율이 80% 미만이면 동향을 보고하기 전에 정의를 손봐야 합니다. 전체 수치만 보지 말고 두 사람이 어디서 갈렸는지도 봅니다. 불일치는 대개 제품 선정과 상용성처럼 이웃한 범주 두세 개에 몰리며, 그 정의부터 다시 씁니다. 정의를 바꿀 때마다 이 점검을 다시 합니다.
자주 묻는 질문
기술 문의 분류에 관한 표준이 있나요?
화학 공급사의 기술 문의 범주 목록을 정한 공개 표준은 없습니다. ISO 10002:2018은 불만 처리 지침을 제시하고, ISO/IEC 20000-1:2018은 서비스 관리 시스템 요건을, ISO 18295-1:2017은 고객 상담 센터의 서비스 요건을 규정합니다(ISO, 2018; ISO, 2017). 모두 틀이며, 범주 목록은 아닙니다.
기술 문의 한 건에 증상이 둘 이상일 수 있나요?
그렇습니다. 다만 일관되게 세야 합니다. 주 증상 하나를 태그하고 나머지는 자유 서술에 적거나, 증상 여러 개를 허용하고 증상 건수를 문의 건수가 아니라 언급 건수로 보고합니다. UNSD는 분석용 분류는 상호 배타성에 묶이지 않아 한 항목이 여러 영역에 들어갈 수 있다고 설명합니다(UNSD, 2022).
일치율과 Cohen's kappa는 어떻게 다른가요?
일치율은 두 사람이 같은 방식으로 태그한 기록의 비율입니다. Cohen's kappa는 이 비율에서 우연히 일치할 것으로 예상되는 몫을 보정하므로 값이 더 낮습니다. McHugh의 예에서는 일치율 0.94가 kappa 0.85에 해당했습니다(McHugh, 2012). McHugh가 제안한 해석으로는 kappa가 0.60 미만이면 일치도가 부족합니다.