el analisador lexico grafico tambien conocido como rastreo o en ocasiones rastre o infiltrado o incluso menos formalmente como lexicologia

o reconocimiento de comp onentes lexicas. el analisis lexico agrupa secuencia de caracteres desde el programa fuente de en trada en unidades llamadas componentes lexicas o tokens. ----------------------------------------------------------------------------------tokens: los tokens (componentes lexicas) son unidades lexicas basicas del mismo que las palabras, los signos de puntuacion son las unidades basicas de una oracion en in gles,los tokens varian de lenguaje a lenguaje e incluso de compilador en compilador para el mismo lenguaje. se considera 3 unidades lexicas basicas o tokens como secuancia especiales de ca racteres, las cuales comprenden las palabras de nuestro lenguaje. un tokens es la unidad m as pequea del lenguaje que tiene significado. ------------------------------------------------------------------------------------en el analisis lexicografico las secuencia de caracteres se rastrea hasta que se encuentra una secuencia permitida,luego se filtra para clasificarla por medio de un tipo c omo entero o palabra clave,identificador,ect. los tokens se describen por lo general en 2 partes un tipo o clase y un valor sintaxis de los tokens:token=(tipo,valor). ejemplo encontrar todos los tokens::::::si nuevo > MaxNum Entonces.... "si"-------->(palabra R,si) "nuevo"----->(identificador,nuevo) ">"--------->(operador,>) "MaxNum"---->(identificador,MaxNum) "Entonces"-->(palabra r,entonces) el analisador lexico grafico pasa al analidador sintactico el tipo de tokens, ma s el valor real de este, en ocaciones el valor es un apuntador a la tabla que contiene el v alor. a los tokens a menudo se les llama clase; los caracteres reales se conocen como lenxemas existen 3 formalismos como dedos comunes para la descripcion de los tipos de tok ens: 1._ expresiones regulares:describen los tokens como el conjunto de cadenas permitidas de un lenguaje. 2._ diagrmas de transcicion:describen los tokens como las cadenas permitidas que toman el diagrama desde un estado inicial hasta un estadio final. 3._ gramaticas liniales:describen los tokens como las cadenas generadas por una gramatica en una forma especial(llamadas tambien gramaticas regulares).

****funciones principales de los analixadores lexicograficos:**** existen 4 funciones principales para un analixador lexicografico a medida que al lando tokens: 1._utilidades de caracteres y manejos de lineas 2._prueba de predicados 3._acciones 4._manejo de errores