어휘 분석은 원시 프로그램을 하나의 긴 스트링으로 보고 원시 프로그램을 문자 단위로 스캐닝하여 문법적으로 의미 있는 일련의 문자들을 분할해 낸다. 이때 분할된 문법적인 단위는?