목록트랜스포머2.0 (1)
세찬하늘
[논문] Attention Is All You Need_트랜스포머 이해(개요 + 구조정)_파트1
🧠 Transformer 개요 Transformer는 2017년 Vaswani et al.이 발표한논문 *Attention Is All You Need에서 처음 소개된 모델로,기존 자연어 처리(NLP)에서 주류로 사용되던 RNN과 CNN 기반의Sequence-to-Sequence 모델의 한계를 극복하기 위해 등장했다. 기존의 RNN 기반 모델(예: LSTM, GRU 등)은 문장을 구성하는 단어들을순서대로 처리해야 하기 때문에 병렬 처리가 어렵고, 문장의 길이가 길어질수록앞 단어의 정보가 뒤로 갈수록 희미해지는 장기 의존성(long-range dependency) 문제가 발생했다.예를 들어 "나는 어릴 적 꿈이 뭐였냐면..." 같은 긴 문장에서,마지막 단어를 생성할 때 처음 말한 "나는"이 잘 기억되지 ..
카테고리 없음
2025. 3. 24. 13:05