LLM을 실제로 써본 사람이라면 비슷한 경험이 있을 것이다. 어떤 날은 결과가 너무 잘 나와서 “이제 이 정도는 자동화해도 되겠다” 싶다가도, 조금만 조건이 바뀌면 갑자기 말이 안 되는 답을 내놓는다.이 글은 LLM을 처음 소개하는 글이 아니다. 이미 API를 붙여봤고, 프롬프트도 여러 번 고쳐봤지만 여전히 어디까지 믿어도 되는지 판단 기준이 없는 상태인 사람을 위한 글이다.1. LLM을 둘러싼 가장 흔한 오해LLM을 쓰다 보면 자연스럽게 이런 식으로 생각하게 된다.“이 정도면 문맥을 이해한 것 같은데?”“설명까지 그럴듯하니 내부적으로 추론을 하고 있겠지”“조금만 더 프롬프트를 잘 쓰면 정확해질 거야”이 오해는 위험하다. 왜냐하면 이 전제를 깔고 가는 순간, 모델 출력의 실패를 설계 문제가 아니라 운이 ..