ChatGPT로 기술 데이터시트 두 건을 믿을 만하게 비교할 수 있나요?

ChatGPT의 데이터시트 두 건 비교는 언제 믿을 수 있고, 언제 믿을 수 없나요?

ChatGPT가 비교한 값을 믿을 수 있는 경우는 두 데이터시트가 그 값을 같은 방식으로 측정했고, 그 숫자를 원문 페이지에서 확인했을 때뿐입니다. 나머지 경우는 확인이 필요하거나 아예 비교할 수 없습니다. 아래 표를 보면 AI가 나란히 정리한 데이터시트 비교를 행마다 그대로 써도 되는지, 출처를 확인해야 하는지, 비교할 수 없는지 판단할 수 있습니다.

인화점 행이 문제를 잘 보여 줍니다. 클리블랜드 개방식 결과와 펜스키-마텐스 밀폐식 결과는 서로 다른 시험이고, 어떤 AI 비교도 이 둘을 제품 간 차이로 바꾸지 못합니다. "두 번째 제품의 인화점이 더 높다" 같은 요약 문장보다 표의 행을 먼저 읽어야 합니다. 시험 방법 행을 감춘 요약은 그 결론이 틀릴 수 있는 이유도 함께 감추기 때문입니다.

시험 방법과 대표값은 왜 TDS 두 건의 AI 비교를 무너뜨리나요?

모델은 숫자를 비교하지만, 숫자의 의미는 시험 방법, 시험 조건, 값의 기준에 있습니다. 그래서 시험 방법과 대표값이 기술 데이터시트(TDS) 두 건의 AI 비교를 무너뜨립니다. ASTM D92-24는 개방식 컵으로, ASTM D93-26은 밀폐식 컵으로 인화점을 측정합니다. D92 스스로도 "시험 방법 D92로는 검출되지 않을 수 있는, 적지만 의미 있는 농도의 저인화점 물질이 있는지 확인하려는 경우에도" D93을 써야 한다고 밝힙니다(ASTM D92-24, 2024). ASTM D445-26이나 ISO 3104:2023에 따른 동점도는 정해 둔 온도에서 측정합니다. 따라서 40 °C 값과 100 °C 값은 서로 다른 상태의 유체를 나타냅니다. 대표값은 두 번째 함정입니다. 한 제조사의 데이터시트는 대표 물성이 "정상적인 생산 공차에서 얻는 대표적인 값이며 규격을 구성하지 않는다"고 밝힙니다(ExxonMobil, 2026). 대표값을 보증 최대값과 견주면 평균을 한계값과 비교하는 셈입니다. 같은 조건끼리 비교한 차이도 맥락이 필요합니다. 시험 방법이 공표한 재현성보다 작은 차이는 시험소 간 편차일 수 있습니다. ASTM D3244-24는 공급자와 수령자가 규격 적합 여부를 다툴 때 이 재현성을 씁니다(ASTM D3244-24, 2024).

ChatGPT는 데이터시트 PDF의 표를 읽을 때 어떤 오류를 내나요?

비교에 영향을 주는 오류는 네 가지입니다. ChatGPT는 데이터시트 PDF를 읽을 때 이미지에 담긴 값을 놓치거나, ">" 같은 한정 표시를 빠뜨리거나, 값을 엉뚱한 행이나 단위에 붙이거나, 틀린 값을 확신에 차서 말할 수 있습니다. Enterprise 외 플랜에서는 파일 검색이 "파일에 포함된 이미지가 아니라 디지털 텍스트를 추출"합니다(OpenAI, 2026). 그래서 스캔한 표는 모델에 아예 전달되지 않을 수 있습니다. 2024년에 GPT-3.5와 GPT-4의 표 이해를 평가한 벤치마크에서는 성능이 "표 입력 형식, 내용 순서, 역할 프롬프트, 구분 기호 등 입력 방식에 따라 달라졌다"고 보고했습니다(Sui et al., 2024). NIST는 더 넓은 범위의 이 실패를 작화(confabulation)라고 부르고, "확신에 찬 어조로 진술되었지만 잘못되었거나 거짓인 콘텐츠의 생성"으로 정의합니다(NIST AI 600-1, 2024). 한정 표시는 쉽게 사라집니다. 한 제품 데이터시트는 클리블랜드 개방식 인화점을 ">210" °C로 적습니다(ExxonMobil, 2026). 비교 과정에서 ">"가 빠지면 하한값이 측정값으로 바뀝니다. 시험 방법이나 시험 온도를 정하는 각주는 표 아래, 그 각주가 바꾸는 값과 떨어진 곳에 있는 경우가 많습니다. 회사 파일을 근거로 한 AI 답에는 모두 같은 규칙이 적용됩니다. ChatGPT가 회사 기술 문서를 근거로 답할 수 있는지에서 다룬 대로, 원문 페이지까지 추적할 수 있는 값만 믿어야 합니다.

기술 데이터시트 두 건의 AI 비교는 어떻게 확인하나요?

결론을 내리기 전에, 비교한 값마다 각 데이터시트의 해당 줄을 정해진 순서대로 찾아 확인합니다. 판단에 영향을 주는 행은 모두 다음 순서를 따르면 됩니다.

1. 데이터시트마다 물성, 값, 단위, 시험 방법, 페이지 번호를 담은 표를 요청하고, 페이지가 없는 행은 받아들이지 않습니다.

2. 각 페이지를 열어 숫자와 한정 표시(">", "<", min, max, typical), 각주를 확인합니다.

3. 시험 방법, 판, 시험 온도가 같은지 확인합니다. 맞지 않는 행은 환산하지 말고 "비교 불가"로 표시합니다.

4. 단위 환산은 직접 다시 합니다. 1 mm2/s는 1 cSt와 같습니다(ASTM D445-26, 2026).

5. 조건이 같은 행은 차이를 차이로 판단하기 전에 시험 방법이 공표한 재현성과 견주어 봅니다.

6. 여전히 선택을 가르는 행은 두 공급사에 같은 시험 방법과 온도로 잰 결과를 요청합니다.

루빈플라에서는 두 데이터시트를 메인 에이전트에 첨부하거나 기록에서 @멘션해 비교를 요청할 수 있습니다. 결과를 쓰기 전에 각 값을 번호가 붙은 출처와 대조해 확인하면 됩니다.