어텐션 (Attention)
입력 데이터의 중요한 부분에 집중하는 메커니즘
상세 설명
트랜스포머의 핵심 구성요소로, 문장에서 각 단어가 다른 단어들과 얼마나 관련 있는지를 계산합니다.
사용 예시
‘그는 사과를 먹었다’에서 ‘먹었다’가 ‘사과’에 높은 어텐션을 가짐
관련 용어
트랜스포머, 셀프 어텐션, LLM
🤖 모델 심화
어텐션 (Attention)
입력 데이터의 중요한 부분에 집중하는 메커니즘
검색어를 입력하세요
입력 데이터의 중요한 부분에 집중하는 메커니즘
입력 데이터의 중요한 부분에 집중하는 메커니즘
트랜스포머의 핵심 구성요소로, 문장에서 각 단어가 다른 단어들과 얼마나 관련 있는지를 계산합니다.
‘그는 사과를 먹었다’에서 ‘먹었다’가 ‘사과’에 높은 어텐션을 가짐
트랜스포머, 셀프 어텐션, LLM