2018년 사무자동화산업기사 4회차 59번

Question

다음 문장은 몇 개의 토큰으로 분리할 수 있는가?

Accepted Answer

이 문제는 문장을 단어, 구두점 등 의미 있는 최소 단위인 "토큰"으로 분리하는 것을 묻습니다. "다음 문장은 몇 개의 토큰으로 분리할 수 있는가?"라는 문장은 공백을 기준으로 분리하면 '다음', '문장은', '몇', '개의', '토큰으로', '분리할', '수', '있는가?'로 총 8개의 토큰으로 분리될 수 있습니다. 따라서 정답은 8개입니다. 핵심 개념은 **토큰화(Tokenization)**입니다. 토큰화는 자연어 처리에서 텍스트를 분석 가능한 단위로 분해하는 과정이며, 일반적으로 단어, 숫자, 구두점 등이 토큰이 됩니다.

2018년 사무자동화산업기사 4회차 59번 - 기출문제 및 해설

문제 1