matita/components/ng_library/nCicLibrary.ml

   1 (*
   2     ||M||  This file is part of HELM, an Hypertextual, Electronic
   3     ||A||  Library of Mathematics, developed at the Computer Science
   4     ||T||  Department, University of Bologna, Italy.
   5     ||I||
   6     ||T||  HELM is free software; you can redistribute it and/or
   7     ||A||  modify it under the terms of the GNU General Public License
   8     \   /  version 2 or (at your option) any later version.
   9      \ /   This software is distributed as is, NO WARRANTY.
  10       V_______________________________________________________________ *)
  11
  12 (* $Id$ *)
  13
  14 exception LibraryOutOfSync of string Lazy.t
  15 exception IncludedFileNotCompiled of string * string
  16
  17 let magic = 2;;
  18
  19 let refresh_uri uri = NUri.uri_of_string (NUri.string_of_uri uri);;
  20
  21 let refresh_uri_in_universe =
  22  List.map (fun (x,u) -> x, refresh_uri u)
  23 ;;
  24
  25 let refresh_uri_in_reference (NReference.Ref (uri,spec)) =
  26  NReference.reference_of_spec (refresh_uri uri) spec
  27
  28 let rec refresh_uri_in_term =
  29  function
  30   | NCic.Meta (i,(n,NCic.Ctx l)) ->
  31      NCic.Meta (i,(n,NCic.Ctx (List.map refresh_uri_in_term l)))
  32   | NCic.Meta _ as t -> t
  33   | NCic.Const ref -> NCic.Const (refresh_uri_in_reference ref)
  34   | NCic.Sort (NCic.Type l) -> NCic.Sort (NCic.Type (refresh_uri_in_universe l))
  35   | NCic.Match (NReference.Ref (uri,spec),outtype,term,pl) ->
  36      let r = NReference.reference_of_spec (refresh_uri uri) spec in
  37      let outtype = refresh_uri_in_term outtype in
  38      let term = refresh_uri_in_term term in
  39      let pl = List.map refresh_uri_in_term pl in
  40       NCic.Match (r,outtype,term,pl)
  41   | t -> NCicUtils.map (fun _ _ -> ()) () (fun _ -> refresh_uri_in_term) t
  42 ;;
  43
  44 let refresh_uri_in_obj (uri,height,metasenv,subst,obj_kind) =
  45  assert (metasenv = []);
  46  assert (subst = []);
  47  refresh_uri uri,height,metasenv,subst,
  48   NCicUntrusted.map_obj_kind refresh_uri_in_term obj_kind
  49 ;;
  50
  51 let ng_path_of_baseuri ?(no_suffix=false) baseuri =
  52  let uri = NUri.string_of_uri baseuri in
  53  let path = String.sub uri 4 (String.length uri - 4) in
  54  let path = Helm_registry.get "matita.basedir" ^ path in
  55  let dirname = Filename.dirname path in
  56   HExtlib.mkdir dirname;
  57   if no_suffix then
  58    path
  59   else
  60    path ^ ".ng"
  61 ;;
  62
  63 let require_path path =
  64  let ch = open_in path in
  65  let mmagic,dump = Marshal.from_channel ch in
  66   close_in ch;
  67   if mmagic <> magic then
  68    raise (LibraryOutOfSync (lazy "The library is out of sync with the implementation. Please recompile the library."))
  69   else
  70    dump
  71 ;;
  72
  73 let require0 ~baseuri = require_path (ng_path_of_baseuri baseuri)
  74
  75 let db_path () = Helm_registry.get "matita.basedir" ^ "/ng_db.ng";;
  76
  77 type timestamp =
  78  [ `Obj of NUri.uri * NCic.obj
  79  | `Constr of NCic.universe * NCic.universe] list *
  80  (NUri.uri * string * NReference.reference) list *
  81  NCic.obj NUri.UriMap.t *
  82  NUri.uri list
  83 ;;
  84
  85 let time0 = [],[],NUri.UriMap.empty,[];;
  86 let storage = ref [];;
  87 let local_aliases = ref [];;
  88 let cache = ref NUri.UriMap.empty;;
  89 let includes = ref [];;
  90
  91 let get_already_included () = !includes;;
  92
  93 let load_db,set_global_aliases,get_global_aliases,add_deps,get_deps,remove_deps=
  94  let global_aliases = ref [] in
  95  let rev_includes_map = ref NUri.UriMap.empty in
  96  let store_db () =
  97   let ch = open_out (db_path ()) in
  98   Marshal.to_channel ch (magic,(!global_aliases,!rev_includes_map)) [];
  99   close_out ch in
 100  let load_db () =
 101   HExtlib.mkdir (Helm_registry.get "matita.basedir");
 102   try
 103    let ga,im = require_path (db_path ()) in
 104    let ga =
 105     List.map
 106      (fun (uri,name,NReference.Ref (uri2,spec)) ->
 107        refresh_uri uri,name,NReference.reference_of_spec (refresh_uri uri2) spec
 108      ) ga in
 109    let im =
 110     NUri.UriMap.fold
 111      (fun u l im -> NUri.UriMap.add (refresh_uri u) (List.map refresh_uri l) im
 112      ) im NUri.UriMap.empty
 113    in
 114     global_aliases := ga;
 115     rev_includes_map := im
 116   with
 117    Sys_error _ -> () in
 118  let get_deps u =
 119   let get_deps_one_step u =
 120     try NUri.UriMap.find u !rev_includes_map with Not_found -> [] in
 121   let rec aux res =
 122    function
 123       [] -> res
 124     | he::tl ->
 125        if List.mem he res then
 126         aux res tl
 127        else
 128         aux (he::res) (get_deps_one_step he @ tl)
 129   in
 130    aux [] [u] in
 131  let remove_deps u =
 132   rev_includes_map := NUri.UriMap.remove u !rev_includes_map;
 133   rev_includes_map :=
 134    NUri.UriMap.map
 135     (fun l -> List.filter (fun uri -> not (NUri.eq u uri)) l) !rev_includes_map;
 136   store_db ()
 137  in
 138   load_db,
 139   (fun ga -> global_aliases := ga; store_db ()),
 140   (fun () -> !global_aliases),
 141   (fun u l ->
 142     rev_includes_map := NUri.UriMap.add u (l @ get_deps u) !rev_includes_map;
 143     store_db ()),
 144   get_deps,
 145   remove_deps
 146 ;;
 147
 148 let init = load_db;;
 149
 150 class status =
 151  object
 152   val timestamp = (time0 : timestamp)
 153   method timestamp = timestamp
 154   method set_timestamp v = {< timestamp = v >}
 155  end
 156
 157 let time_travel status =
 158  let sto,ali,cac,inc = status#timestamp in
 159   let diff_len = List.length !storage - List.length sto in
 160   let to_be_deleted,_ = HExtlib.split_nth diff_len !storage in
 161    if List.length to_be_deleted > 0 then
 162      NCicEnvironment.invalidate_item (HExtlib.list_last to_be_deleted);
 163    storage := sto; local_aliases := ali; cache := cac; includes := inc
 164 ;;
 165
 166 let serialize ~baseuri ~dependencies dump =
 167  let ch = open_out (ng_path_of_baseuri baseuri) in
 168  Marshal.to_channel ch (magic,(dependencies,dump)) [];
 169  close_out ch;
 170  List.iter
 171   (function
 172    | `Obj (uri,obj) ->
 173        let ch = open_out (ng_path_of_baseuri uri) in
 174        Marshal.to_channel ch (magic,obj) [];
 175        close_out ch
 176    | `Constr _ -> ()
 177   ) !storage;
 178  set_global_aliases (!local_aliases @ get_global_aliases ());
 179  List.iter (fun u -> add_deps u [baseuri]) !includes;
 180  time_travel (new status)
 181 ;;
 182
 183 type obj = string * Obj.t
 184
 185 class dumpable_status =
 186  object
 187   val dump = ([] : obj list)
 188   method dump = dump
 189   method set_dump v = {< dump = v >}
 190  end
 191
 192 module type SerializerType =
 193  sig
 194   type dumpable_status
 195
 196   type 'a register_type =
 197    'a ->
 198     refresh_uri_in_universe:(NCic.universe -> NCic.universe) ->
 199     refresh_uri_in_term:(NCic.term -> NCic.term) ->
 200     refresh_uri_in_reference:(NReference.reference -> NReference.reference) ->
 201      dumpable_status -> dumpable_status
 202
 203   val register: < run: 'a.  string -> 'a register_type -> ('a -> obj) >
 204   val serialize: baseuri:NUri.uri -> dependencies:string list -> obj list -> unit
 205    (* the obj is the "include" command to be added to the dump list *)
 206   val require: baseuri:NUri.uri -> dumpable_status -> dumpable_status * obj
 207   val dependencies_of: baseuri:NUri.uri -> string list
 208  end
 209
 210 module Serializer(D: sig type dumpable_status end) =
 211  struct
 212   type dumpable_status = D.dumpable_status
 213   type 'a register_type =
 214    'a ->
 215     refresh_uri_in_universe:(NCic.universe -> NCic.universe) ->
 216     refresh_uri_in_term:(NCic.term -> NCic.term) ->
 217     refresh_uri_in_reference:(NReference.reference -> NReference.reference) ->
 218      dumpable_status -> dumpable_status
 219
 220   let require1 = ref (fun _ -> assert false) (* unknown data*)
 221   let already_registered = ref []
 222
 223   let register =
 224    object
 225     method run : 'a.  string -> 'a register_type -> ('a -> obj)
 226     = fun tag require ->
 227      assert (not (List.mem tag !already_registered));
 228      already_registered := tag :: !already_registered;
 229      let old_require1 = !require1 in
 230      require1 :=
 231       (fun ((tag',data) as x) ->
 232         if tag=tag' then
 233          require (Obj.magic data) ~refresh_uri_in_universe ~refresh_uri_in_term
 234           ~refresh_uri_in_reference
 235         else
 236          old_require1 x);
 237      (fun x -> tag,Obj.repr x)
 238    end
 239
 240   let serialize = serialize
 241
 242   let require2 ~baseuri status =
 243    try
 244     includes := baseuri::!includes;
 245     let _dependencies,dump = require0 ~baseuri in
 246      List.fold_right !require1 dump status
 247    with
 248     Sys_error _ ->
 249      raise (IncludedFileNotCompiled(ng_path_of_baseuri baseuri,NUri.string_of_uri baseuri))
 250
 251   let dependencies_of ~baseuri = fst (require0 ~baseuri)
 252
 253   let record_include =
 254    let aux baseuri ~refresh_uri_in_universe ~refresh_uri_in_term
 255    ~refresh_uri_in_reference =
 256      (* memorizzo baseuri in una tabella; *)
 257      require2 ~baseuri
 258    in
 259     register#run "include" aux
 260
 261   let require ~baseuri status =
 262    let status = require2 ~baseuri status in
 263     status,record_include baseuri
 264 end
 265
 266
 267 let decompile ~baseuri =
 268  let baseuris = get_deps baseuri in
 269  List.iter (fun baseuri ->
 270   remove_deps baseuri;
 271   HExtlib.safe_remove (ng_path_of_baseuri baseuri);
 272   let basepath = ng_path_of_baseuri ~no_suffix:true baseuri in
 273   try
 274    let od = Unix.opendir basepath in
 275    let rec aux names =
 276     try
 277      let name = Unix.readdir od in
 278       if name <> "." && name <> ".." then aux (name::names) else aux names
 279     with
 280      End_of_file -> names in
 281    let names = List.map (fun name -> basepath ^ "/" ^ name) (aux []) in
 282     Unix.closedir od;
 283     List.iter Unix.unlink names;
 284     HExtlib.rmdir_descend basepath;
 285     set_global_aliases
 286      (List.filter
 287       (fun (_,_,NReference.Ref (nuri,_)) ->
 288         Filename.dirname (NUri.string_of_uri nuri) <> NUri.string_of_uri baseuri
 289       ) (get_global_aliases ()))
 290   with
 291    Unix.Unix_error _ -> () (* raised by Unix.opendir, we hope :-) *)
 292  ) baseuris
 293 ;;
 294
 295 LibraryClean.set_decompile_cb
 296  (fun ~baseuri -> decompile ~baseuri:(NUri.uri_of_string baseuri));;
 297
 298 let fetch_obj uri =
 299  let obj = require0 ~baseuri:uri in
 300   refresh_uri_in_obj obj
 301 ;;
 302
 303 let resolve name =
 304  try
 305   HExtlib.filter_map
 306    (fun (_,name',nref) -> if name'=name then Some nref else None)
 307    (!local_aliases @ get_global_aliases ())
 308  with
 309   Not_found -> raise (NCicEnvironment.ObjectNotFound (lazy name))
 310 ;;
 311
 312 let aliases_of uri =
 313   HExtlib.filter_map
 314    (fun (uri',_,nref) ->
 315      if NUri.eq uri' uri then Some nref else None) !local_aliases
 316 ;;
 317
 318 let add_obj status ((u,_,_,_,_) as obj) =
 319  NCicEnvironment.check_and_add_obj obj;
 320  storage := (`Obj (u,obj))::!storage;
 321   let _,height,_,_,obj = obj in
 322   let references =
 323    match obj with
 324       NCic.Constant (_,name,None,_,_) ->
 325        [u,name,NReference.reference_of_spec u NReference.Decl]
 326     | NCic.Constant (_,name,Some _,_,_) ->
 327        [u,name,NReference.reference_of_spec u (NReference.Def height)]
 328     | NCic.Fixpoint (is_ind,fl,_) ->
 329        HExtlib.list_mapi
 330         (fun (_,name,recno,_,_) i ->
 331           if is_ind then
 332            u,name,NReference.reference_of_spec u(NReference.Fix(i,recno,height))
 333           else
 334            u,name,NReference.reference_of_spec u (NReference.CoFix i)) fl
 335     | NCic.Inductive (inductive,leftno,il,_) ->
 336        List.flatten
 337         (HExtlib.list_mapi
 338          (fun (_,iname,_,cl) i ->
 339            HExtlib.list_mapi
 340             (fun (_,cname,_) j->
 341               u,cname,
 342                NReference.reference_of_spec u (NReference.Con (i,j+1,leftno))
 343             ) cl @
 344            [u,iname,
 345              NReference.reference_of_spec u
 346               (NReference.Ind (inductive,i,leftno))]
 347          ) il)
 348   in
 349   local_aliases := references @ !local_aliases;
 350   status#set_timestamp (!storage,!local_aliases,!cache,!includes)
 351 ;;
 352
 353 let add_constraint status u1 u2 =
 354   NCicEnvironment.add_lt_constraint u1 u2;
 355   storage := (`Constr (u1,u2)) :: !storage;
 356   status#set_timestamp (!storage,!local_aliases,!cache,!includes)
 357 ;;
 358
 359 let get_obj u =
 360  try
 361   List.assq u
 362    (HExtlib.filter_map
 363     (function `Obj (u,o) -> Some (u,o) | _ -> None )
 364     !storage)
 365  with Not_found ->
 366   try fetch_obj u
 367   with Sys_error _ ->
 368    try NUri.UriMap.find u !cache
 369    with Not_found ->
 370     raise (NCicEnvironment.ObjectNotFound
 371              (lazy (NUri.string_of_uri u)))
 372 ;;
 373
 374 let clear_cache () = cache := NUri.UriMap.empty;;
 375
 376 NCicEnvironment.set_get_obj get_obj;;
 377 NCicPp.set_get_obj get_obj;;