]> matita.cs.unibo.it Git - helm.git/blob - helm/software/components/content_pres/test_lexer.ml
fixed recursiveness check
[helm.git] / helm / software / components / content_pres / test_lexer.ml
1 (* Copyright (C) 2005, HELM Team.
2  * 
3  * This file is part of HELM, an Hypertextual, Electronic
4  * Library of Mathematics, developed at the Computer Science
5  * Department, University of Bologna, Italy.
6  * 
7  * HELM is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU General Public License
9  * as published by the Free Software Foundation; either version 2
10  * of the License, or (at your option) any later version.
11  * 
12  * HELM is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with HELM; if not, write to the Free Software
19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston,
20  * MA  02111-1307, USA.
21  * 
22  * For details, see the HELM World-Wide-Web page,
23  * http://helm.cs.unibo.it/
24  *)
25
26 (* $Id$ *)
27
28 let _ =
29   let level = ref "2@" in
30   let ic = ref stdin in
31   let arg_spec = [ "-level", Arg.Set_string level, "set the notation level" ] in
32   let usage = "test_lexer [ -level level ] [ file ]" in
33   let open_file fname =
34     if !ic <> stdin then close_in !ic;
35     ic := open_in fname
36   in
37   Arg.parse arg_spec open_file usage;
38   let lexer =
39     match !level with
40         "1" -> CicNotationLexer.level1_pattern_lexer
41       | "2@" -> CicNotationLexer.level2_ast_lexer
42       | "2$" -> CicNotationLexer.level2_meta_lexer
43       | l ->
44           prerr_endline (Printf.sprintf "Unsupported level %s" l);
45           exit 2
46   in
47   let token_stream, loc_func =
48     lexer.Token.tok_func (Obj.magic (Ulexing.from_utf8_channel !ic)) in
49   Printf.printf "Lexing notation level %s\n" !level; flush stdout;
50   let tok_count = ref 0 in
51   let rec dump () =
52     let (a,b) = Stream.next token_stream in
53     if a = "EOI" then raise Stream.Failure;
54     let pos = loc_func !tok_count in
55     print_endline (Printf.sprintf "%s '%s' (@ %d-%d)" a b
56       (Stdpp.first_pos pos) (Stdpp.last_pos pos));
57     incr tok_count;
58     dump ()
59   in
60   try
61     dump ()
62   with Stream.Failure -> ()
63