Fare parsing di un file con il tokenizer di java

Poco tempo fa ho trovato uno snippet in giro per la rete, ma non mi è sembrato così corretto, infatti si "mangiava" (termine tecnico :D) il primo token, l'ho corretto ed ecco quel che ne è venuto fuori:

        StreamTokenizer st = new StreamTokenizer(rd);
        int token = st.nextToken();
        while (token != StreamTokenizer.TT_EOF) {
                 token = st.nextToken();
         }