Ejercicio: Análisis léxico

NOTA: Este es un ejercicio para realizar en clase. No se tiene que entregar nada.

Descripción

Escribir en Clojure un programa que reciba como entrada el nombre de un archivo de texto cuyo contenido sean expresiones aritméticas y comentarios, y nos imprima una tabla con cada una de las unidades léxicas (tokens) encontradas, en el orden en que fueron encontradas e indicando de qué tipo son. El programa se debe implementar utilizando el API de expresiones regulares.

Tipos de tokens

Las expresiones aritméticas sólo podrán contener los siguientes tipos de tokens :

• Enteros
• Flotantes (reales)
• Operadores:
  • Asignación (=)
  • Suma (+)
  • Resta (-)
  • Multiplicación (*)
  • División (/)
  • Potencia (^)
• Variables
• Símbolos especiales:
  • Paréntesis izquierdo [(]
  • Peréntesis derecho [)]
• Comentarios:
  • // seguido de caracteres hasta que se acabe el renglón

Entrada

• El nombre de un archivo de texto. Dicho archivo debe contener una o más expresiones aritméticas, una por renglón.
• Los tokens pueden estar separados entre sí por cero o más espacios en blanco.

Ejemplo:

b=7

a = 32.4 *(-8.6 - b)/       6.1E-8

d = a ^ b // Esto es un comentario

Salida

El ejemplo anterior debe producir la siguiente salida:

========================================================
Token                           Tipo
========================================================
b                               Variable
=                               Asignación
7                               Entero
a                               Variable
=                               Asignación
32.4                            Real
*                               Multiplicación
(                               Paréntesis que abre
-8.6                            Real
-                               Resta
b                               Variable
)                               Paréntesis que cierra
/                               División
6.1E-8                          Real
d                               Variable
=                               Asignación
a                               Variable
^                               Potencia
b                               Variable
// Esto es un comentario        Comentario
========================================================

Reglas de formación de algunos tokens

• Variables:
  • Deben empezar con una letra (mayúscula o minúscula)
  • Sólo están formadas por letras, números y guion bajo ( _ )
• Números reales (de punto flotante):
  • Pueden ser positivos o negativos
  • Pueden o no tener parte decimal pero deben contener un punto (e.g. 10. o 10.0)
  • Pueden usar notación exponencial con la letra E, mayúscula o minúscula, pero después de la letra E sólo puede ir un entero positivo o negativo (e.g. 2.3E3, 6.345e-5, -0.001E-3, 0.467E9)
• Comentarios:
  • Inician con // y todo lo que sigue hasta que termina el renglón es un comentario