]> matita.cs.unibo.it Git - helm.git/blob - helm/software/components/library/libraryClean.ml
More exceptions pretty-printed.
[helm.git] / helm / software / components / library / libraryClean.ml
1 (* Copyright (C) 2005, HELM Team.
2  * 
3  * This file is part of HELM, an Hypertextual, Electronic
4  * Library of Mathematics, developed at the Computer Science
5  * Department, University of Bologna, Italy.
6  * 
7  * HELM is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU General Public License
9  * as published by the Free Software Foundation; either version 2
10  * of the License, or (at your option) any later version.
11  * 
12  * HELM is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with HELM; if not, write to the Free Software
19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston,
20  * MA  02111-1307, USA.
21  * 
22  * For details, see the HELM World-Wide-Web page,
23  * http://helm.cs.unibo.it/
24  *)
25
26 (* $Id$ *)
27
28 open Printf
29
30 let debug = false
31 let debug_prerr = if debug then prerr_endline else ignore
32
33 module HGT = Http_getter_types;;
34 module HG = Http_getter;;
35 module UM = UriManager;;
36
37 let cache_of_processed_baseuri = Hashtbl.create 1024
38
39 let one_step_depend suri =
40   let buri =
41     try
42       UM.buri_of_uri (UM.uri_of_string suri)
43     with UM.IllFormedUri _ -> suri
44   in
45   if Hashtbl.mem cache_of_processed_baseuri buri then 
46     []
47   else
48     begin
49       Hashtbl.add cache_of_processed_baseuri buri true;
50       let query = 
51         let buri = buri ^ "/" in 
52         let buri = HSql.escape buri in
53         let obj_tbl = MetadataTypes.obj_tbl () in
54         if HSql.isMysql then        
55           sprintf ("SELECT source, h_occurrence FROM %s WHERE " 
56             ^^ "h_occurrence REGEXP '^%s[^/]*$'") obj_tbl buri
57         else
58                 begin
59             sprintf ("SELECT source, h_occurrence FROM %s WHERE " 
60             ^^ "REGEXP(h_occurrence, '^%s[^/]*$')") obj_tbl buri
61           (* implementation with vanilla ocaml-sqlite3
62           HLog.debug "Warning SELECT without REGEXP";
63           sprintf
64             ("SELECT source, h_occurrence FROM %s WHERE " ^^ 
65              "h_occurrence LIKE '%s%%'")
66                   obj_tbl buri*)
67                 end
68       in
69       try 
70         let rc = HSql.exec (LibraryDb.instance ()) query in
71         let l = ref [] in
72         HSql.iter rc (
73           fun row -> 
74             match row.(0), row.(1) with 
75             | Some uri, Some occ when Filename.dirname occ = buri -> 
76                 l := uri :: !l
77             | _ -> ());
78         let l = List.sort Pervasives.compare !l in
79         HExtlib.list_uniq l
80       with
81         exn -> raise exn (* no errors should be accepted *)
82     end
83     
84 let safe_buri_of_suri suri =
85   try
86     UM.buri_of_uri (UM.uri_of_string suri)
87   with
88     UM.IllFormedUri _ -> suri
89
90 let db_uris_of_baseuri buri =
91  let query = 
92   let buri = buri ^ "/" in 
93   let buri = HSql.escape buri in
94   let obj_tbl = MetadataTypes.name_tbl () in
95   if HSql.isMysql then        
96     sprintf ("SELECT source FROM %s WHERE " 
97     ^^ "source REGEXP '^%s[^/]*$'") obj_tbl buri
98   else
99    begin
100     sprintf ("SELECT source FROM %s WHERE " 
101       ^^ "REGEXP(source, '^%s[^/]*$')") obj_tbl buri
102      (* implementation with vanilla ocaml-sqlite3
103     HLog.debug "Warning SELECT without REGEXP";
104     sprintf
105     ("SELECT source, h_occurrence FROM %s WHERE " ^^ 
106     "h_occurrence LIKE '%s%%'")
107     obj_tbl buri
108     *)
109    end
110  in
111  try 
112   let rc = HSql.exec (LibraryDb.instance ()) query in
113   let l = ref [] in
114   HSql.iter rc (
115     fun row -> 
116       match row.(0) with 
117       | Some uri when Filename.dirname uri = buri -> 
118           l := uri :: !l
119       | _ -> ());
120   let l = List.sort Pervasives.compare !l in
121   HExtlib.list_uniq l
122  with
123   exn -> raise exn (* no errors should be accepted *)
124 ;;
125
126 let close_uri_list uri_to_remove =
127   (* to remove an uri you have to remove the whole script *)
128   let buri_to_remove = 
129     HExtlib.list_uniq 
130       (List.fast_sort Pervasives.compare 
131         (List.map safe_buri_of_suri uri_to_remove))
132   in
133   (* cleand the already visided baseuris *)
134   let buri_to_remove = 
135     List.filter 
136       (fun buri -> 
137         if Hashtbl.mem cache_of_processed_baseuri buri then false
138         else true)
139       buri_to_remove
140   in
141   (* now calculate the list of objects that belong to these baseuris *)
142   let uri_to_remove = 
143     try
144       List.fold_left 
145         (fun acc buri ->
146           let inhabitants = HG.ls (buri ^ "/") in
147           let inhabitants = List.filter 
148               (function HGT.Ls_object _ -> true | _ -> false) 
149             inhabitants
150           in
151           let inhabitants = List.map 
152               (function 
153                | HGT.Ls_object e -> buri ^ "/" ^ e.HGT.uri 
154                | _ -> assert false)
155             inhabitants
156           in
157           inhabitants @ acc)
158       [] buri_to_remove 
159     with HGT.Invalid_URI u -> 
160       HLog.error ("We were listing an invalid buri: " ^ u);
161       exit 1
162   in
163   let uri_to_remove_from_db =
164    List.fold_left 
165      (fun acc buri -> db_uris_of_baseuri buri @ acc
166      ) [] buri_to_remove 
167   in
168   let uri_to_remove = uri_to_remove @ uri_to_remove_from_db in
169   let uri_to_remove =
170    HExtlib.list_uniq (List.sort Pervasives.compare uri_to_remove) in
171   (* now we want the list of all uri that depend on them *) 
172   let depend = 
173     List.fold_left
174     (fun acc u -> one_step_depend u @ acc) [] uri_to_remove
175   in
176   let depend = 
177     HExtlib.list_uniq (List.fast_sort Pervasives.compare depend) 
178   in
179   uri_to_remove, depend
180
181 let rec close_db uris next =
182   match next with
183   | [] -> uris
184   | l -> let uris, next = close_uri_list l in close_db uris next @ uris
185   
186 let cleaned_no = ref 0;;
187
188   (** TODO repellent code ... *)
189 let moo_root_dir = lazy (
190   let url =
191     List.assoc "cic:/matita/"
192       (List.map
193         (fun pair ->
194           match
195             Str.split (Str.regexp "[ \t\r\n]+") (HExtlib.trim_blanks pair)
196           with
197           | a::b::_ -> a, b
198           | _ -> assert false)
199         (Helm_registry.get_list Helm_registry.string "getter.prefix"))
200   in
201   String.sub url 7 (String.length url - 7)  (* remove heading "file:///" *)
202 )
203
204 let close_nodb buris =
205   let rev_deps = Hashtbl.create 97 in
206   let all_metadata =
207     HExtlib.find ~test:(fun name -> Filename.check_suffix name ".metadata")
208       (Lazy.force moo_root_dir)
209   in
210   List.iter
211     (fun path -> 
212       let metadata = LibraryNoDb.load_metadata ~fname:path in
213       let baseuri_of_current_metadata =
214        prerr_endline "ERROR, add to the getter reverse lookup";
215        let basedir = "/fake" in
216        let dirname = Filename.dirname path in
217        let basedirlen = String.length basedir in
218         assert (String.sub dirname 0 basedirlen = basedir);
219         "cic:" ^
220         String.sub dirname basedirlen (String.length dirname - basedirlen) ^
221          Filename.basename path
222       in
223       let deps = 
224         HExtlib.filter_map 
225           (function LibraryNoDb.Dependency buri -> Some buri)
226         metadata
227       in
228       List.iter 
229         (fun buri -> Hashtbl.add rev_deps buri baseuri_of_current_metadata) deps)
230     all_metadata;
231   let buris_to_remove = 
232     HExtlib.list_uniq  
233       (List.fast_sort Pervasives.compare 
234         (List.flatten (List.map (Hashtbl.find_all rev_deps) buris)))
235   in
236   let objects_to_remove = 
237     let objs_of_buri buri =
238       HExtlib.filter_map 
239         (function 
240         | Http_getter_types.Ls_object o ->
241             Some (buri ^ "/" ^ o.Http_getter_types.uri)
242         | _ -> None) 
243       (Http_getter.ls buri)
244     in
245     List.flatten (List.map objs_of_buri (buris @ buris_to_remove))
246   in
247   objects_to_remove
248
249 let clean_baseuris ?(verbose=true) buris =
250   Hashtbl.clear cache_of_processed_baseuri;
251   let buris = List.map Http_getter_misc.strip_trailing_slash buris in
252   debug_prerr "clean_baseuris called on:";
253   if debug then
254     List.iter debug_prerr buris; 
255   let l = 
256     if Helm_registry.get_bool "db.nodb" then
257       close_nodb buris
258     else
259       close_db [] buris 
260   in
261   let l = HExtlib.list_uniq (List.fast_sort Pervasives.compare l) in
262   let l = List.map UriManager.uri_of_string l in
263   debug_prerr "clean_baseuri will remove:";
264   if debug then
265     List.iter (fun u -> debug_prerr (UriManager.string_of_uri u)) l; 
266   List.iter
267    (fun baseuri ->
268      try 
269       let obj_file =
270        LibraryMisc.obj_file_of_baseuri ~must_exist:false ~writable:true ~baseuri
271       in
272        HExtlib.safe_remove obj_file ;
273        HExtlib.safe_remove 
274          (LibraryMisc.metadata_file_of_baseuri 
275            ~must_exist:false ~writable:true ~baseuri) ;
276        HExtlib.safe_remove 
277          (LibraryMisc.lexicon_file_of_baseuri 
278            ~must_exist:false ~writable:true ~baseuri) ;
279        HExtlib.rmdir_descend (Filename.chop_extension obj_file)
280      with Http_getter_types.Key_not_found _ -> ())
281    (HExtlib.list_uniq (List.fast_sort Pervasives.compare
282      (List.map (UriManager.buri_of_uri) l @ buris)));
283   List.iter
284    (let last_baseuri = ref "" in
285     fun uri ->
286      let buri = UriManager.buri_of_uri uri in
287      if buri <> !last_baseuri then
288       begin
289         if Helm_registry.get_bool "matita.bench" then
290             (print_endline ("matitaclean " ^ buri ^ "/");flush stdout)
291           else 
292             HLog.message ("Removing: " ^ buri ^ "/*");
293        last_baseuri := buri
294       end;
295      LibrarySync.remove_obj uri
296    ) l;
297   if HSql.isMysql then
298    begin
299    cleaned_no := !cleaned_no + List.length l;
300    if !cleaned_no > 30 then
301     begin
302      cleaned_no := 0;
303      List.iter
304       (function table ->
305         ignore (HSql.exec (LibraryDb.instance ()) ("OPTIMIZE TABLE " ^ table)))
306       [MetadataTypes.name_tbl (); MetadataTypes.rel_tbl ();
307        MetadataTypes.sort_tbl (); MetadataTypes.obj_tbl();
308        MetadataTypes.count_tbl()]
309     end
310    end