2 #ifndef __TTokenizer_hh__
3 #define __TTokenizer_hh__
10 #include "APushParser.hh"
12 class TTokenizer : private APushParser
15 TTokenizer(class ALogger& l) : APushParser(l) { };
17 std::vector<TToken> tokenize(const std::string&);
20 virtual void push(const TToken&);
21 virtual void setCursorHint(const std::string&) { };
23 std::list<TToken> tokens;
26 #endif // __TTokenizer_hh__