Construction d'un analyseur lexical en Java

Question

Je suis en train d'apprendre l'analyse lexicale dans la conception de compilateurs. Afin d'apprendre comment fonctionne vraiment un analyseur lexical, j'essaie d'en construire un moi-même. Je prévois de le construire en Java.

L'entrée de l'analyseur lexical est un fichier .tex de format suivant.

\begin{document} 

    \chapter{Introduction} 

    \section{Scope} 

    Arbitrary text. 

    \section{Relevance} 

    Arbitrary text. 

    \subsection{Advantages} 

    Arbitrary text. 

    \subsubsection{In Real life} 

    \subsection{Disadvantages} 

    \end{document} 

La sortie du lexer doit être une table des matières éventuellement avec des numéros de page dans un autre fichier.

1. Introduction 1 
    1.1 Scope   1 
    1.2 Relevance  2 
    1.2.1 Advantages 2 
     1.2.1.1 In Real Life 2 
    1.2.2 Disadvantages 3 

J'espère que ce problème est dans le cadre de l'analyse lexicale. Ma lexer lirait le fichier .tex et verifierait '\' et trouverait continue la lecture pour verifier si c'est bien l'une des commandes de sectionnement. Une variable d'indicateur est définie pour indiquer le type de sectionnement. Le mot entre accolades suivant la commande de coupe est lu et écrit avec le préfixe précédé d'un nombre (comme 1.2.1) en fonction du type et de la profondeur.

J'espère que l'approche ci-dessus fonctionnerait pour construire le lexer. Comment faire pour ajouter des numéros de page à la table des matières si cela est possible dans le cadre de la lexer?

Answer 1

Vous pouvez vraiment les ajouter comme vous le souhaitez. Je vous recommande de stocker le contenu de votre fichier .tex dans votre propre structure en forme d'arbre ou de carte, puis de lire votre fichier de numéros de pages et de les appliquer de manière appropriée.

Une option plus archaïque serait d'écrire un second analyseur qui analyse la sortie de votre premier analyseur et le fichier de numéros de ligne et les ajoute de manière appropriée.

C'est vraiment à vous de choisir. Puisque c'est un exercice d'apprentissage, essayez de construire comme si quelqu'un d'autre devait l'utiliser. Comment est-ce convivial? Faire quelque chose que vous seul pouvez utiliser est encore bon pour l'apprentissage conceptuel, mais pourrait conduire à des pratiques désordonnées si vous l'utilisez jamais dans le monde réel!

Answer 2

Ce que vous décrivez est en fait un analyseur lexer plus. Le travail de l'analyseur lexical ici est de retourner les jetons et d'ignorer les espaces. Les jetons sont les différents mots-clés introduits par '\', les littéraux de chaînes à l'intérieur de '{', '}' et le texte arbitraire ailleurs. Tout le reste que vous avez décrit est l'analyse et la construction d'arbres.