2 #ifndef __TTokenizer_hh__
3 #define __TTokenizer_hh__
10 #include "APushParser.hh"
12 class TTokenizer : private APushParser
15 TTokenizer(class ALogger& l) : APushParser(l) { };
17 std::vector<TToken> tokenize(const std::string&);
20 virtual void reset(void);
21 virtual void push(const TToken&);
22 virtual std::string drop(void);
23 virtual void setCursorHint(const std::string&) { };
24 virtual bool hideCursor(void) { return false; };
25 virtual bool showCursor(void) { return false; };
27 std::list<TToken> tokens;
30 #endif // __TTokenizer_hh__