Actividad: Análisis léxico

NOTA: Este es un ejercicio para realizar en clase. No se tiene que entregar nada.

Descripción

Escribir en Clojure un programa que reciba como entrada un archivo de texto que contenga expresiones aritméticas y comentarios, y nos regrese una tabla con cada uno de sus tokens encontrados, en el orden en que fueron encontrados e indicando de qué tipo son. El programa se debe implementar utilizando el API de expresiones regulares.

Tipos de tokens

Las expresiones aritméticas sólo podrán contener los siguientes tipos de tokens:

• Enteros
• Flotantes (Reales)
• Operadores:
  • Asignación
  • Suma
  • Resta
  • Multiplicación
  • División
  • Potencia
• Identificadores:
  • Variables
• Símbolos especiales:
  • (
  • )
• Comentarios:
  • // seguido de caracteres hasta que se acabe el renglón

Entrada

• Un archivo tipo texto que contenga una o más expresiones aritméticas, una por renglón.
• Los tokens no necesariamente deben estar separados por un blanco, o pueden tener separación de más de un blanco.

Por ejemplo:

b=7

a = 32.4 *(-8.6 - b)/       6.1E-8

d = a ^ b // Esto es un comentario

Salida

El ejemplo anterior debe producir la siguiente salida:

========================================================
Token                           Tipo
========================================================
b                               Variable
=                               Asignación
7                               Entero
a                               Variable
=                               Asignación
32.4                            Real
*                               Multiplicación
(                               Paréntesis que abre
-8.6                            Real
-                               Resta
b                               Variable
)                               Paréntesis que cierra
/                               División
6.1E-8                          Real
d                               Variable
=                               Asignación
a                               Variable
^                               Potencia
b                               Variable
// Esto es un comentario        Comentario
========================================================

Reglas de formación de algunos tokens

• Variables:
  • Deben empezar con una letra (mayúscula o minúscula)
  • Sólo están formadas por letras, números y guion bajo ( _ )
• Números reales (de punto flotante):
  • Pueden ser positivos o negativos
  • Pueden o no tener parte decimal pero deben contener un punto (e.g. 10. o 10.0)
  • Pueden usar notación exponencial con la letra E, mayúscula o minúscula, pero después de la letra E sólo puede ir un entero positivo o negativo (e.g. 2.3E3, 6.345e-5, -0.001E-3, 0.467E9)
• Comentarios:
  • Inician con // y todo lo que sigue hasta que termina el renglón es un comentario