components/library/libraryClean.ml

   1 (* Copyright (C) 2005, HELM Team.
   2  *
   3  * This file is part of HELM, an Hypertextual, Electronic
   4  * Library of Mathematics, developed at the Computer Science
   5  * Department, University of Bologna, Italy.
   6  *
   7  * HELM is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation; either version 2
  10  * of the License, or (at your option) any later version.
  11  *
  12  * HELM is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with HELM; if not, write to the Free Software
  19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  20  * MA  02111-1307, USA.
  21  *
  22  * For details, see the HELM World-Wide-Web page,
  23  * http://helm.cs.unibo.it/
  24  *)
  25
  26 (* $Id$ *)
  27
  28 open Printf
  29
  30 let debug = false
  31 let debug_prerr = if debug then prerr_endline else ignore
  32
  33 module HGT = Http_getter_types;;
  34 module HG = Http_getter;;
  35 module UM = UriManager;;
  36
  37 let cache_of_processed_baseuri = Hashtbl.create 1024
  38
  39 let one_step_depend suri =
  40   let buri =
  41     try
  42       UM.buri_of_uri (UM.uri_of_string suri)
  43     with UM.IllFormedUri _ -> suri
  44   in
  45   if Hashtbl.mem cache_of_processed_baseuri buri then
  46     []
  47   else
  48     begin
  49       Hashtbl.add cache_of_processed_baseuri buri true;
  50       let query =
  51         let buri = buri ^ "/" in
  52         let buri = HSql.escape buri in
  53         let obj_tbl = MetadataTypes.obj_tbl () in
  54         if HSql.isMysql then
  55           sprintf ("SELECT source, h_occurrence FROM %s WHERE "
  56           ^^ "h_occurrence REGEXP '^%s[^/]*$'") obj_tbl buri
  57         else
  58          begin
  59           HLog.debug "Warning SELECT without REGEXP";
  60           sprintf
  61           ("SELECT source, h_occurrence FROM %s WHERE " ^^
  62           "h_occurrence LIKE '%s%%'")
  63           obj_tbl buri
  64          end
  65       in
  66       try
  67         let rc = HSql.exec (LibraryDb.instance ()) query in
  68         let l = ref [] in
  69         HSql.iter rc (
  70           fun row ->
  71             match row.(0), row.(1) with
  72             | Some uri, Some occ when Filename.dirname occ = buri ->
  73                 l := uri :: !l
  74             | _ -> ());
  75         let l = List.sort Pervasives.compare !l in
  76         HExtlib.list_uniq l
  77       with
  78         exn -> raise exn (* no errors should be accepted *)
  79     end
  80
  81 let safe_buri_of_suri suri =
  82   try
  83     UM.buri_of_uri (UM.uri_of_string suri)
  84   with
  85     UM.IllFormedUri _ -> suri
  86
  87 let db_uris_of_baseuri buri =
  88  let query =
  89   let buri = buri ^ "/" in
  90   let buri = HSql.escape buri in
  91   let obj_tbl = MetadataTypes.name_tbl () in
  92   if HSql.isMysql then
  93     sprintf ("SELECT source FROM %s WHERE "
  94     ^^ "source REGEXP '^%s[^/]*$'") obj_tbl buri
  95   else
  96    begin
  97     HLog.debug "Warning SELECT without REGEXP";
  98     sprintf
  99     ("SELECT source, h_occurrence FROM %s WHERE " ^^
 100     "h_occurrence LIKE '%s%%'")
 101     obj_tbl buri
 102    end
 103  in
 104  try
 105   let rc = HSql.exec (LibraryDb.instance ()) query in
 106   let l = ref [] in
 107   HSql.iter rc (
 108     fun row ->
 109       match row.(0) with
 110       | Some uri when Filename.dirname uri = buri ->
 111           l := uri :: !l
 112       | _ -> ());
 113   let l = List.sort Pervasives.compare !l in
 114   HExtlib.list_uniq l
 115  with
 116   exn -> raise exn (* no errors should be accepted *)
 117 ;;
 118
 119 let close_uri_list uri_to_remove =
 120   (* to remove an uri you have to remove the whole script *)
 121   let buri_to_remove =
 122     HExtlib.list_uniq
 123       (List.fast_sort Pervasives.compare
 124         (List.map safe_buri_of_suri uri_to_remove))
 125   in
 126   (* cleand the already visided baseuris *)
 127   let buri_to_remove =
 128     List.filter
 129       (fun buri ->
 130         if Hashtbl.mem cache_of_processed_baseuri buri then false
 131         else true)
 132       buri_to_remove
 133   in
 134   (* now calculate the list of objects that belong to these baseuris *)
 135   let uri_to_remove =
 136     try
 137       List.fold_left
 138         (fun acc buri ->
 139           let inhabitants = HG.ls (buri ^ "/") in
 140           let inhabitants = List.filter
 141               (function HGT.Ls_object _ -> true | _ -> false)
 142             inhabitants
 143           in
 144           let inhabitants = List.map
 145               (function
 146                | HGT.Ls_object e -> buri ^ "/" ^ e.HGT.uri
 147                | _ -> assert false)
 148             inhabitants
 149           in
 150           inhabitants @ acc)
 151       [] buri_to_remove
 152     with HGT.Invalid_URI u ->
 153       HLog.error ("We were listing an invalid buri: " ^ u);
 154       exit 1
 155   in
 156   let uri_to_remove_from_db =
 157    List.fold_left
 158      (fun acc buri -> db_uris_of_baseuri buri @ acc
 159      ) [] buri_to_remove
 160   in
 161   let uri_to_remove = uri_to_remove @ uri_to_remove_from_db in
 162   let uri_to_remove =
 163    HExtlib.list_uniq (List.sort Pervasives.compare uri_to_remove) in
 164   (* now we want the list of all uri that depend on them *)
 165   let depend =
 166     List.fold_left
 167     (fun acc u -> one_step_depend u @ acc) [] uri_to_remove
 168   in
 169   let depend =
 170     HExtlib.list_uniq (List.fast_sort Pervasives.compare depend)
 171   in
 172   uri_to_remove, depend
 173
 174 let rec close_db uris next =
 175   match next with
 176   | [] -> uris
 177   | l -> let uris, next = close_uri_list l in close_db uris next @ uris
 178
 179 let cleaned_no = ref 0;;
 180
 181   (** TODO repellent code ... *)
 182 let moo_root_dir = lazy (
 183   let url =
 184     List.assoc "cic:/matita/"
 185       (List.map
 186         (fun pair ->
 187           match
 188             Str.split (Str.regexp "[ \t\r\n]+") (HExtlib.trim_blanks pair)
 189           with
 190           | a::b::_ -> a, b
 191           | _ -> assert false)
 192         (Helm_registry.get_list Helm_registry.string "getter.prefix"))
 193   in
 194   String.sub url 7 (String.length url - 7)  (* remove heading "file:///" *)
 195 )
 196
 197 let close_nodb buris =
 198   let rev_deps = Hashtbl.create 97 in
 199   let all_metadata =
 200     HExtlib.find ~test:(fun name -> Filename.check_suffix name ".metadata")
 201       (Lazy.force moo_root_dir)
 202   in
 203   List.iter
 204     (fun path ->
 205       let metadata = LibraryNoDb.load_metadata ~fname:path in
 206       let baseuri_of_current_metadata =
 207        prerr_endline "ERROR, add to the getter reverse lookup";
 208        let basedir = "/fake" in
 209        let dirname = Filename.dirname path in
 210        let basedirlen = String.length basedir in
 211         assert (String.sub dirname 0 basedirlen = basedir);
 212         "cic:" ^
 213         String.sub dirname basedirlen (String.length dirname - basedirlen) ^
 214          Filename.basename path
 215       in
 216       let deps =
 217         HExtlib.filter_map
 218           (function LibraryNoDb.Dependency buri -> Some buri)
 219         metadata
 220       in
 221       List.iter
 222         (fun buri -> Hashtbl.add rev_deps buri baseuri_of_current_metadata) deps)
 223     all_metadata;
 224   let buris_to_remove =
 225     HExtlib.list_uniq
 226       (List.fast_sort Pervasives.compare
 227         (List.flatten (List.map (Hashtbl.find_all rev_deps) buris)))
 228   in
 229   let objects_to_remove =
 230     let objs_of_buri buri =
 231       HExtlib.filter_map
 232         (function
 233         | Http_getter_types.Ls_object o ->
 234             Some (buri ^ "/" ^ o.Http_getter_types.uri)
 235         | _ -> None)
 236       (Http_getter.ls buri)
 237     in
 238     List.flatten (List.map objs_of_buri (buris @ buris_to_remove))
 239   in
 240   objects_to_remove
 241
 242 let clean_baseuris ?(verbose=true) buris =
 243   Hashtbl.clear cache_of_processed_baseuri;
 244   let buris = List.map Http_getter_misc.strip_trailing_slash buris in
 245   debug_prerr "clean_baseuris called on:";
 246   if debug then
 247     List.iter debug_prerr buris;
 248   let l =
 249     if Helm_registry.get_bool "db.nodb" then
 250       close_nodb buris
 251     else
 252       close_db [] buris
 253   in
 254   let l = HExtlib.list_uniq (List.fast_sort Pervasives.compare l) in
 255   let l = List.map UriManager.uri_of_string l in
 256   debug_prerr "clean_baseuri will remove:";
 257   if debug then
 258     List.iter (fun u -> debug_prerr (UriManager.string_of_uri u)) l;
 259   List.iter
 260    (fun baseuri ->
 261      try
 262       let obj_file =
 263        LibraryMisc.obj_file_of_baseuri ~must_exist:false ~writable:true ~baseuri
 264       in
 265        HExtlib.safe_remove obj_file ;
 266        HExtlib.safe_remove
 267          (LibraryMisc.metadata_file_of_baseuri
 268            ~must_exist:false ~writable:true ~baseuri) ;
 269        HExtlib.safe_remove
 270          (LibraryMisc.lexicon_file_of_baseuri
 271            ~must_exist:false ~writable:true ~baseuri) ;
 272        HExtlib.rmdir_descend (Filename.chop_extension obj_file)
 273      with Http_getter_types.Key_not_found _ -> ())
 274    (HExtlib.list_uniq (List.fast_sort Pervasives.compare
 275      (List.map (UriManager.buri_of_uri) l @ buris)));
 276   List.iter
 277    (let last_baseuri = ref "" in
 278     fun uri ->
 279      let buri = UriManager.buri_of_uri uri in
 280      if buri <> !last_baseuri then
 281       begin
 282         if Helm_registry.get_bool "matita.bench" then
 283             (print_endline ("matitaclean " ^ buri ^ "/");flush stdout)
 284           else
 285             HLog.message ("Removing: " ^ buri ^ "/*");
 286        last_baseuri := buri
 287       end;
 288      LibrarySync.remove_obj uri
 289    ) l;
 290   if HSql.isMysql then
 291    begin
 292    cleaned_no := !cleaned_no + List.length l;
 293    if !cleaned_no > 30 then
 294     begin
 295      cleaned_no := 0;
 296      List.iter
 297       (function table ->
 298         ignore (HSql.exec (LibraryDb.instance ()) ("OPTIMIZE TABLE " ^ table)))
 299       [MetadataTypes.name_tbl (); MetadataTypes.rel_tbl ();
 300        MetadataTypes.sort_tbl (); MetadataTypes.obj_tbl();
 301        MetadataTypes.count_tbl()]
 302     end
 303    end