🤖 모델 심화

토크나이저 (Tokenizer)

텍스트를 토큰으로 분리하는 도구

토크나이저 (Tokenizer)

텍스트를 토큰으로 분리하는 도구

상세 설명

AI 모델에 텍스트를 입력하기 전에 단어나 글자를 토큰 단위로 쪼개는 전처리 도구입니다.

사용 예시

‘안녕하세요’를 [‘안녕’, ‘하’, ‘세요’] 등으로 분리

관련 용어

토큰, BPE, LLM

🔗 관련 용어

LLM (Large Language Model) 토큰 (Token)

🤖 모델 카테고리 다른 용어

전이학습 중급

한 분야에서 학습한 지식을 다른 분야에 적용하는 기술
Claude 입문

Anthropic이 만든 대화형 AI 모델
어텐션 심화

입력 데이터의 중요한 부분에 집중하는 메커니즘
Llama 중급

Meta가 공개한 오픈소스 LLM
ChatGPT 입문

OpenAI가 만든 대화형 AI 서비스
트랜스포머 심화

현대 AI 모델의 핵심 구조 (2017년 구글 발표)
링크가 복사되었습니다!