문제 1

컴파일 과정 중 원시 프로그램을 하나의 긴 스트링으로 보고 원시 프로그램을 문자 단위로 스캐닝하여 문법적으로 의미있는 일련의 문자(토큰)들로 분할해 내는 작업은?