]> matita.cs.unibo.it Git - helm.git/blob - matitaB/matita/matitaEngine.ml
support for printing the number of objects grouped by flavour
[helm.git] / matitaB / matita / matitaEngine.ml
1 (* Copyright (C) 2005, HELM Team.
2  * 
3  * This file is part of HELM, an Hypertextual, Electronic
4  * Library of Mathematics, developed at the Computer Science
5  * Department, University of Bologna, Italy.
6  * 
7  * HELM is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU General Public License
9  * as published by the Free Software Foundation; either version 2
10  * of the License, or (at your option) any later version.
11  * 
12  * HELM is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with HELM; if not, write to the Free Software
19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston,
20  * MA  02111-1307, USA.
21  * 
22  * For details, see the HELM World-Wide-Web page,
23  * http://helm.cs.unibo.it/
24  *)
25
26 (* $Id$ *)
27
28 module G = GrafiteAst
29 open GrafiteTypes
30 open Printf
31
32 class status uid baseuri =
33  object
34   inherit GrafiteTypes.status uid baseuri
35   inherit ApplyTransformation.status uid
36  end
37
38 exception TryingToAdd of string Lazy.t
39 exception EnrichedWithStatus of exn * status
40 exception AlreadyLoaded of string Lazy.t
41 exception FailureCompiling of string * exn
42 exception CircularDependency of string
43
44 let debug = false ;;
45 let debug_print = if debug then prerr_endline else ignore ;;
46
47 let slash_n_RE = Pcre.regexp "\\n" ;;
48
49 let pp_ast_statement status stm =
50   let stm = GrafiteAstPp.pp_statement status stm
51     ~map_unicode_to_tex:(Helm_registry.get_bool "matita.paste_unicode_as_tex")
52   in
53   let stm = Pcre.replace ~rex:slash_n_RE stm in
54   let stm =
55       if String.length stm > 50 then String.sub stm 0 50 ^ " ..."
56       else stm
57   in
58     HLog.debug ("Executing: ``" ^ stm ^ "''")
59 ;;
60
61 let clean_exit baseuri exn =
62   LibraryClean.clean_baseuris ~verbose:false [baseuri];
63   raise (FailureCompiling (baseuri,exn))
64 ;;
65
66
67 let pp_times fname rc big_bang big_bang_u big_bang_s = 
68   if not (Helm_registry.get_bool "matita.verbose") then
69     let { Unix.tms_utime = u ; Unix.tms_stime = s} = Unix.times () in
70     let r = Unix.gettimeofday () -. big_bang in
71     let u = u -. big_bang_u in
72     let s = s -. big_bang_s in
73     let extra = try Sys.getenv "BENCH_EXTRA_TEXT" with Not_found -> "" in
74     let rc,rcascii = 
75       if rc then "\e[0;32mOK\e[0m","Ok" else "\e[0;31mFAIL\e[0m","Fail" in
76     let times = 
77       let fmt t = 
78         let seconds = int_of_float t in
79         let cents = int_of_float ((t -. floor t) *. 100.0) in
80         let minutes = seconds / 60 in
81         let seconds = seconds mod 60 in
82         Printf.sprintf "%dm%02d.%02ds" minutes seconds cents
83       in
84       Printf.sprintf "%s %s %s" (fmt r) (fmt u) (fmt s)
85     in
86     let s = Printf.sprintf "%-4s %s %s" rc times extra in
87     print_endline s;
88     flush stdout;
89     HLog.message ("Compilation of "^Filename.basename fname^": "^rc)
90 ;;
91
92 let cut prefix s = 
93   let lenp = String.length prefix in
94   let lens = String.length s in
95   assert (lens > lenp);
96   assert (String.sub s 0 lenp = prefix);
97   String.sub s lenp (lens-lenp)
98 ;;
99
100 let activate_extraction baseuri fname =
101   ()
102   (* MATITA 1.0
103  if Helm_registry.get_bool "matita.extract" then
104   let mangled_baseuri =
105    let baseuri = String.sub baseuri 5 (String.length baseuri - 5) in
106      let baseuri = Pcre.replace ~pat:"/" ~templ:"_" baseuri in
107       String.uncapitalize baseuri in
108   let f =
109     open_out
110      (Filename.dirname fname ^ "/" ^ mangled_baseuri ^ ".ml") in
111    LibrarySync.add_object_declaration_hook
112     (fun ~add_obj ~add_coercion _ obj ->
113       output_string f (CicExportation.ppobj baseuri obj);
114       flush f; []);
115       *)
116 ;;
117
118
119 let eval_ast ~include_paths ?do_heavy_checks status (text,prefix_len,ast as ast') =
120  let baseuri = status#baseuri in
121    GrafiteEngine.eval_ast ~include_paths ?do_heavy_checks status ast'
122 ;;
123
124 let baseuri_of_script ~include_paths fname =
125  try Librarian.baseuri_of_script ~include_paths fname
126  with
127    Librarian.NoRootFor _ -> 
128     HLog.error ("The included file '"^fname^"' has no root file,");
129     HLog.error "please create it.";
130     raise (Failure ("No root file for "^fname))
131   | Librarian.FileNotFound _ -> 
132     raise (Failure ("File not found: "^fname))
133 ;;
134
135 let rec get_ast status ~compiling ~asserted ~include_paths strm = 
136   match GrafiteParser.parse_statement status strm with
137      (GrafiteAst.Executable
138        (loc,GrafiteAst.NCommand (_,GrafiteAst.Include (_,_,mafilename)))) as cmd
139      ->
140        let already_included = NCicLibrary.get_transitively_included status in
141        let asserted,_ =
142         assert_ng ~already_included ~compiling ~asserted ~include_paths
143          ?uid:status#user mafilename
144        in
145         asserted,cmd
146    | cmd -> asserted,cmd
147
148 and eval_from_stream ~compiling ~asserted ~include_paths ?do_heavy_checks status str cb =
149  let matita_debug = Helm_registry.get_bool "matita.debug" in
150  let rec loop asserted status str =
151   let asserted,stop,status,str = 
152    try
153      let cont =
154        try Some (get_ast status ~compiling ~asserted ~include_paths str)
155        with End_of_file -> None in
156      match cont with
157      | None -> asserted, true, status, str
158      | Some (asserted,ast) ->
159         cb status ast;
160         let status =
161           eval_ast ~include_paths ?do_heavy_checks status ("",0,ast)
162         in
163         let str =
164          match ast with
165             (GrafiteAst.Executable
166               (_,GrafiteAst.NCommand
167                 (_,(GrafiteAst.Include _ | GrafiteAst.Notation _)))) ->
168               GrafiteParser.parsable_statement status
169                (GrafiteParser.strm_of_parsable str)
170           | _ -> str
171         in
172          asserted, false, status, str
173    with exn when not matita_debug ->
174      (* prerr_endline ("EnrichedWithStatus: " ^ Printexc.to_string exn); *)
175      raise (EnrichedWithStatus (exn, status))
176   in
177   if stop then asserted,status else loop asserted status str
178  in
179   loop asserted status str
180
181 and compile ~compiling ~asserted ~include_paths ~outch ?uid fname =
182   if List.mem fname compiling then raise (CircularDependency fname);
183   let compiling = fname::compiling in
184   let matita_debug = Helm_registry.get_bool "matita.debug" in
185   let matita_debug = true in
186   let root,baseuri,fname,_tgt = 
187     Librarian.baseuri_of_script ~include_paths fname in
188   if Http_getter_storage.is_read_only baseuri then assert false;
189   activate_extraction baseuri fname ;
190   (* MATITA 1.0: debbo fare time_travel sulla ng_library? *)
191   (* FIXME: currently hardcoded to single user mode *)
192   let status = new status uid baseuri in
193   let big_bang = Unix.gettimeofday () in
194   let { Unix.tms_utime = big_bang_u ; Unix.tms_stime = big_bang_s} = 
195     Unix.times () 
196   in
197   let time = Unix.time () in
198   try
199     (* cleanup of previously compiled objects *)
200     if (not (Http_getter_storage.is_empty ~local:true baseuri))
201       then begin
202       HLog.message ("baseuri " ^ baseuri ^ " is not empty");
203       HLog.message ("cleaning baseuri " ^ baseuri);
204       LibraryClean.clean_baseuris [baseuri];
205     end;
206     HLog.message ("compiling " ^ Filename.basename fname ^ " in " ^ baseuri);
207     if not (Helm_registry.get_bool "matita.verbose") then
208       (let cc = 
209         let rex = Str.regexp ".*opt$" in
210         if Str.string_match rex Sys.argv.(0) 0 then "matitac.opt"
211         else "matitac" 
212       in
213       let s = Printf.sprintf "%s %-35s " cc (cut (root^"/") fname) in
214       print_string s; flush stdout);
215     (* we dalay this error check until we print 'matitac file ' *)
216     assert (Http_getter_storage.is_empty ~local:true baseuri);
217     (* create dir for XML files *)
218     if not (Helm_registry.get_opt_default Helm_registry.bool "matita.nodisk"
219               ~default:false) 
220     then
221       HExtlib.mkdir 
222         (Filename.dirname 
223           (Http_getter.filename ~local:true ~writable:true (baseuri ^
224           "foo.con")));
225     prerr_endline ("trying to compile " ^ fname); 
226     let buf =
227      GrafiteParser.parsable_statement status
228       (Ulexing.from_utf8_channel (open_in fname))
229     in
230     let print_cb =
231       if not (Helm_registry.get_bool "matita.verbose") then (fun _ _ -> ())
232       else pp_ast_statement
233     in
234     let asserted, status =
235      eval_from_stream ~compiling ~asserted ~include_paths status buf print_cb in
236     prerr_endline ("end compile of " ^ fname); 
237     let elapsed = Unix.time () -. time in
238      (if Helm_registry.get_bool "matita.moo" then begin
239        GrafiteTypes.Serializer.serialize ~baseuri:(NUri.uri_of_string baseuri)
240         status
241      end;
242      let tm = Unix.gmtime elapsed in
243      let sec = string_of_int tm.Unix.tm_sec ^ "''" in
244      let min = 
245        if tm.Unix.tm_min > 0 then (string_of_int tm.Unix.tm_min^"' ") else "" 
246      in
247      let hou = 
248        if tm.Unix.tm_hour > 0 then (string_of_int tm.Unix.tm_hour^"h ") else ""
249      in
250      HLog.message 
251        (sprintf "execution of %s completed in %s." fname (hou^min^sec));
252      pp_times fname true big_bang big_bang_u big_bang_s;
253      let origbuf = Ulexing.from_utf8_channel (open_in fname) in
254      let interpr = GrafiteDisambiguate.get_interpr status#disambiguate_db in
255      let outstr = ref "" in
256      ignore (SmallLexer.mk_small_printer interpr outstr origbuf);
257      Printf.fprintf outch "%s" !outstr;
258      asserted
259 (* MATITA 1.0: debbo fare time_travel sulla ng_library?
260      LexiconSync.time_travel 
261        ~present:lexicon_status ~past:initial_lexicon_status;
262 *))
263   with 
264   (* all exceptions should be wrapped to allow lexicon-undo (LS.time_travel) *)
265   | exn when not matita_debug -> 
266 (* MATITA 1.0: debbo fare time_travel sulla ng_library?
267        LexiconSync.time_travel ~present:lexicon ~past:initial_lexicon_status;
268  *       *)
269       pp_times fname false big_bang big_bang_u big_bang_s;
270       clean_exit baseuri exn
271
272 and assert_ng ~already_included ~compiling ~asserted ~include_paths ?outch ?uid mapath =
273  let _,baseuri,fullmapath,_ = Librarian.baseuri_of_script ~include_paths mapath in
274  if List.mem fullmapath asserted then asserted,false
275  else
276   begin
277    let baseuri = NUri.uri_of_string baseuri in
278    let ngtime_of baseuri =
279     let ngpath = NCicLibrary.ng_path_of_baseuri uid baseuri in
280     let uid = match uid with Some u -> "Some " ^ u | _ -> "None" in
281     (* prerr_endline ("uid = " ^ uid);
282     prerr_endline ("ngpath = " ^ ngpath); *)
283     try
284      Some (Unix.stat ngpath).Unix.st_mtime
285     with Unix.Unix_error (Unix.ENOENT, "stat", f) when f = ngpath -> None in
286    let matime =
287     try (Unix.stat fullmapath).Unix.st_mtime
288     with Unix.Unix_error (Unix.ENOENT, "stat", f) when f = fullmapath -> assert false
289    in
290    let ngtime = ngtime_of baseuri in
291    let asserted,to_be_compiled =
292     match ngtime with
293        Some ngtime ->
294         let preamble = GrafiteTypes.Serializer.dependencies_of uid baseuri in
295         let asserted,children_bad =
296          List.fold_left
297           (fun (asserted,b) mapath ->
298             let asserted,b1 =
299               assert_ng ~already_included ~compiling ~asserted ~include_paths
300                 ?uid mapath
301             in
302              asserted, b || b1
303               || let _,baseuri,_,_ =
304                    Librarian.baseuri_of_script ~include_paths mapath in
305                  let baseuri = NUri.uri_of_string baseuri in
306                   (match ngtime_of baseuri with
307                       Some child_ngtime -> child_ngtime > ngtime
308                     | None -> assert false)
309           ) (asserted,false) preamble
310         in
311          asserted, children_bad || matime > ngtime
312      | None -> asserted,true
313    in
314     (* prerr_endline ("asserted = " ^ (String.concat "," asserted)); *)
315     if not to_be_compiled then fullmapath::asserted,false
316     else
317      if List.mem baseuri already_included then
318        (* maybe recompiling it I would get the same... *)
319        raise (AlreadyLoaded (lazy mapath))
320      else
321       let outch, is_file_ch = 
322         match outch with
323         | None -> open_out (fullmapath ^ ".mad"), true
324         | Some c -> c, false
325       in
326       (* prerr_endline ("compiling " ^ fullmapath); *)
327       let asserted = compile ~compiling ~asserted ~include_paths ~outch ?uid fullmapath in
328        if is_file_ch then close_out outch;
329        fullmapath::asserted,true
330   end
331 ;;
332
333 let eos status s =
334   let only_dust_RE = Pcre.regexp "^(\\s|\n|%%[^\n]*\n)*$" in      
335   let rec is_there_only_comments status s = 
336   if Pcre.pmatch ~rex:only_dust_RE s then raise End_of_file;
337   let strm =
338     GrafiteParser.parsable_statement status
339     (Ulexing.from_utf8_string s) in
340   match GrafiteParser.parse_statement status strm with
341   | GrafiteAst.Comment (loc,_) -> 
342       let _,parsed_text_length = HExtlib.utf8_parsed_text s loc in
343       (* CSC: why +1 in the following lines ???? *)
344       let parsed_text_length = parsed_text_length + 1 in
345       let remain_len = String.length s - parsed_text_length in
346       let next = String.sub s parsed_text_length remain_len in
347       is_there_only_comments status next
348   | GrafiteAst.Executable _ -> false
349  in
350  try is_there_only_comments status s
351   with 
352   | NCicLibrary.IncludedFileNotCompiled _
353   | HExtlib.Localized _
354   | CicNotationParser.Parse_error _ -> false
355   | End_of_file -> true
356   | Invalid_argument "Array.make" -> false
357 ;;
358
359
360 let assert_ng ~include_paths ?outch mapath =
361  snd (assert_ng ~include_paths ~already_included:[] ~compiling:[] ~asserted:[]
362   ?outch mapath)
363 let get_ast status ~include_paths strm =
364  snd (get_ast status ~compiling:[] ~asserted:[] ~include_paths strm)