조용한 개발 노트

Claude를 설명할 때 자주 등장하는 표현이 있다.“Claude는 긴 컨텍스트에 강하다”이 말은 사실이다. 하지만 이 문장을 그대로 믿으면 곧 설계에서 실수하게 된다.중요한 질문은 이거다.“길게 넣으면 정말 더 잘 이해하는가?”1. 긴 컨텍스트는 능력이 아니라 한계의 확장이다Claude는 다른 많은 LLM보다 긴 입력을 처리할 수 있다.하지만 이 능력은모든 정보를 완벽히 기억한다는 뜻도 아니고문서를 구조적으로 이해한다는 뜻도 아니다긴 컨텍스트는 모델이 고려할 수 있는 토큰의 범위가 넓다는 의미일 뿐이다.고려 가능성과 이해는 다르다.2. Claude가 긴 입력에 상대적으로 안정적인 이유Claude는 보수적인 설계 철학을 갖고 있다.확신이 약하면 단정을 피하고충돌하는 정보가 있으면 조심스럽게 표현하며불명확..

1편에서 LLM을 “이해하는 존재”로 다루는 순간 판단이 흔들린다는 이야기를 했다. 그렇다면 다음 질문은 자연스럽다.모델을 이해하지 않는다고 가정했을 때, 우리는 무엇을 이해해야 하는가?답은 의외로 단순하다. LLM이 어떤 구조 위에서 동작하는지만 정확히 알아도, 과신하거나 과소평가하는 대부분의 판단 오류는 사라진다.1. Transformer를 알아야 하는 이유는 ‘구현’이 아니라 ‘한계’를 알기 위해서다Transformer 구조를 설명하는 글은 많다. Attention 수식, Query-Key-Value, Multi-head 구조까지 상세히 다룬다.하지만 실무에서 필요한 건 그런 디테일이 아니다. 중요한 건 이 질문이다.왜 LLM은 입력 길이에 민감한가?왜 앞에 준 정보가 뒤에서 무시되기도 하는가?왜 ..