반응형

SAMPLING 2

LLM 정리 3편 - 토큰과 확률을 이해하지 못하면 결과는 항상 흔들린다

2편에서 Transformer 구조가 왜 LLM의 한계를 결정하는지 살펴봤다. 이제 다음 질문으로 자연스럽게 이어진다.왜 같은 프롬프트인데 결과가 매번 달라질까?왜 temperature를 조금만 건드려도 답이 완전히 바뀔까?이 질문에 답하지 못하면, LLM의 불안정성을 “운이 나쁜 케이스”로 오해하게 된다. 하지만 실제 원인은 훨씬 단순하고 구조적이다.1. LLM의 출력은 문장이 아니라 확률 분포다LLM은 문장을 한 번에 생성하지 않는다. 각 단계마다 다음 토큰에 대한 확률 분포를 만든다.우리가 보는 문장은, 그 분포에서 하나의 경로를 선택한 결과일 뿐이다.이 관점을 받아들이면 중요한 사실이 하나 드러난다.LLM 출력에는 항상 다른 선택지가 존재한다현재 출력은 “가장 가능성이 높은 후보 중 하나”일 뿐이..

AI/LLM 2026.02.02

10편. 샘플링을 잘못하면 Observability는 오히려 독이 된다

9편에서 OpenTelemetry Collector 설정을 “관측 데이터가 흐르는 설계도”로 읽는 법을 살펴봤다. 이제 남은 가장 어려운 질문이 있다.“그 많은 Trace를 다 모아야 할까?”결론부터 말하면 아니다. 샘플링을 잘못하면 Observability는 비용만 늘리고, 정작 중요한 순간에는 아무것도 설명해주지 못한다.왜 샘플링이 필요한가분산 추적은 본질적으로 데이터가 많다.요청 하나당 여러 개의 Span트래픽이 늘수록 기하급수적으로 증가저장-전송-분석 비용이 모두 따라온다“일단 다 모아두고 나중에 보자”는 전략은 거의 항상 실패한다. 비용이 먼저 한계에 도달하기 때문이다.그래서 OpenTelemetry는 샘플링을 설계의 일부로 취급한다.샘플링의 본질: 무엇을 포기할 것인가샘플링은 기술 문제가 아니..

반응형