문제 #41589

Question

다음 문장은 몇 개의 토큰으로 분리될 수 있는가?

Accepted Answer

이 문제는 문장을 구성하는 최소 단위인 '토큰'의 개수를 세는 문제입니다. 일반적으로 띄어쓰기 단위로 토큰을 분리하며, 문장 부호도 별도의 토큰으로 간주됩니다. 따라서 주어진 문장은 "이", "것은", "문제", "입니다", "." 와 같이 총 5개의 토큰으로 분리될 수 있습니다. **핵심 개념:** 토큰화 (Tokenization) **정답 이유:** 문장 "이것은 문제입니다."는 띄어쓰기를 기준으로 "이것은", "문제", "입니다"로 분리되고, 마침표(".") 또한 하나의 토큰으로 취급되어 총 4개의 토큰으로 분리됩니다.

문제 1