Attention의 기본 원리Attention 메커니즘은 트랜스포머 모델의 핵심입니다. 각 토큰이 이전의 모든 토큰과 얼마나 "주목(Attend)"해야 하는지를 학습하는 방식입니다. LLM이 "다음 단어를 예측할 때 문맥을 이해하는 이유"가 바로 Attention입니다.Attention의 작동 방식을 이해하려면 세 가지 핵심 요소를 알아야 합니다. Query(Q), Key(K), Value(V)가 그것인데, 이들이 어떻게 상호작용하는지 보겠습니다. 자세한 내용은 트랜스포머 논문(https://arxiv.org/abs/1706.03762)을 참고하시면 좋을 것 같습니다. Attention Is All You NeedThe dominant sequence transduction models are based..
