Преглед садржаја:
Дефиниција - Шта значи лексичка анализа?
Лексичка анализа је концепт који се на рачунарске науке примењује на сличан начин као и за лингвистику. У основи, лексичка анализа значи груписање тока слова или звукова у скупове јединица које представљају смислену синтаксу. У језикословљу се назива рашчлањивање, а у рачунарској науци може се назвати рашчлањивање или токенизација.
Техопедија објашњава лексичку анализу
Идеја лексичке анализе у рачунарској науци је да лексичка анализа разбија струје у „лексеме“ где ознака представља основну јединицу значења. Токени су нанизани на такав начин да их преводилац мора вратити и изоловати да би применио исправна рачунарска упутства. У основи, и људи и рачунари раде лексичку анализу, али рачунари то раде другачије и на много више технички начин. Начин на који рачунари раде лексичку анализу не мора бити транспарентан за људе - он се мора само програмирати у рачунарски систем. Програми који раде лексичку анализу у рачунарској науци често се називају лексери, токенизери или скенери.
