Les analyseurs lexicaux

Avant de proposer une activité TeXT Handler analyse le texte suivant un modèle de référence en éliminant les espaces, les caractères de contrôle, etc.

TeXT Handler travaille suivant un modèle anglais, qui élimine les caractères qui ne sont pas propres à cette langue. La version 2 peut travailler suivant un autre modèle plus neutre qui se contente de repérer la formation de mots. Les caractères accentués et ésotériques sont alors acceptés. On peut alors utiliser un texte en français ou espagnol.