matitaB/matita/matitaFilesystem.ml

   1 (* Copyright (C) 2004-2011, HELM Team.
   2  *
   3  * This file is part of HELM, an Hypertextual, Electronic
   4  * Library of Mathematics, developed at the Computer Science
   5  * Department, University of Bologna, Italy.
   6  *
   7  * HELM is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation; either version 2
  10  * of the License, or (at your option) any later version.
  11  *
  12  * HELM is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with HELM; if not, write to the Free Software
  19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  20  * MA  02111-1307, USA.
  21  *
  22  * For details, see the HELM World-Wide-Web page,
  23  * http://helm.cs.unibo.it/
  24  *)
  25
  26 exception SvnError of string;;
  27
  28 let mutex = Mutex.create ();;
  29
  30 let to_be_committed = ref [];;
  31
  32 let exec_process cmd =
  33   let (stdout, stdin, stderr) as chs = Unix.open_process_full cmd [||] in
  34   let outlines = ref [] in
  35   let errlines = ref [] in
  36   (try
  37      while true do
  38        outlines := input_line stdout :: !outlines;
  39      done;
  40      assert false
  41    with End_of_file ->
  42    (try
  43      while true do
  44        errlines := input_line stderr :: !errlines;
  45      done;
  46      assert false
  47     with End_of_file ->
  48      match (Unix.close_process_full chs) with
  49      | Unix.WEXITED errno -> errno, !outlines, !errlines
  50      | _ -> assert false))
  51
  52 let string_of_output outlines errlines =
  53   let output = "std out =\n" ^ String.concat "\n" (List.rev outlines) in
  54   let errors = "std err =\n" ^ String.concat "\n" (List.rev errlines) in
  55   output ^ "\n\n" ^ errors
  56
  57 type svn_flag =
  58 | Add
  59 | Conflict
  60 | Modified
  61 | NotAdded
  62 | Delete
  63 | Update
  64 | Merge
  65
  66 type matita_flag =
  67 | MUnversioned
  68 | MSynchronized
  69 | MAdd
  70 | MModified
  71 | MConflict
  72
  73 let string_of_matita_flag = function
  74 | MUnversioned -> "unversioned"
  75 | MSynchronized -> "synchronized"
  76 | MAdd -> "new"
  77 | MModified -> "modified"
  78 | MConflict -> "conflict!"
  79
  80 exception SvnAnomaly of string
  81
  82 let stat_classify line =
  83   let rec aux n acc =
  84     match (line.[n], n) with
  85     | _, n when n = 7 -> String.sub line 8 ((String.length line) - 8), acc
  86     | ' ', _ -> aux (n+1) acc
  87     | 'A',0 -> aux (n+1) (Add::acc)
  88     | 'C',_ when n = 0 || n = 1 -> aux (n+1) (Conflict::acc)
  89 (*  | 'D',0 -> aux (n+1) (Delete::acc) *)
  90 (*  | 'I',0 -> aux (n+1) (Ignore::acc) *)
  91     | 'M',_ when n = 0 || n = 1 -> aux (n+1) (Modified::acc)
  92 (*  | 'R',0 -> aux (n+1) (Replaced::acc) *)
  93 (*  | 'X',0 -> aux (n+1) (UnversionedDir::acc) *)
  94     | '?',0 -> aux (n+1) (NotAdded::acc)
  95 (*  | '!',0 -> aux (n+1) (Missing::acc) *)
  96 (*  | '~',0 -> aux (n+1) (Obstructed::acc) *)
  97 (*  | 'L',2 -> aux (n+1) (Lock::acc) *)
  98 (*  | '+',3 -> aux (n+1) (History::acc) *)
  99 (*  | 'S',4 -> aux (n+1) (SwitchedUrl::acc) *)
 100 (*  | 'X',4 -> aux (n+1) (External::acc) *)
 101 (*  | 'K',5 -> aux (n+1) (LockToken::acc) *)
 102 (*  | 'C',6 -> aux (n+1) (TreeConflict::acc) *)
 103     | _ -> raise (SvnAnomaly line)
 104   in aux 0 []
 105
 106 let stat_user user =
 107   let rt_dir = Helm_registry.get "matita.rt_base_dir" in
 108   let repo = Helm_registry.get "matita.weblib" in
 109
 110   let errno, outlines, errlines = exec_process
 111     ("svn stat " ^ rt_dir ^ "/users/" ^ user ^ "/")
 112   in
 113   let files, anomalies =
 114     List.fold_left (fun (facc,eacc) line ->
 115       try
 116         (stat_classify line::facc), eacc
 117       with
 118       | SvnAnomaly l -> facc, l::eacc) ([],[]) outlines
 119   in
 120   if errno = 0 then files, anomalies
 121   else raise (SvnError ("Anomalies: " ^ (String.concat "\n" anomalies) ^ "\n\n" ^ (string_of_output outlines errlines)))
 122 ;;
 123
 124 (* update and checkout *)
 125 let up_classify line =
 126   let rec aux n acc =
 127     match (line.[n], n) with
 128     | _, n when n = 4 -> String.sub line 5 ((String.length line) - 5), acc
 129     | ' ', _ -> aux (n+1) acc
 130     | 'A',_ when n = 0 || n = 1 -> aux (n+1) (Add::acc)
 131     | 'C',_ when n = 0 || n = 1 -> aux (n+1) (Conflict::acc)
 132     | 'D',_ when n = 0 || n = 1 -> aux (n+1) (Delete::acc)
 133     | 'U',_ when n = 0 || n = 1 -> aux (n+1) (Update::acc)
 134     | 'G',_ when n = 0 || n = 1 -> aux (n+1) (Merge::acc)
 135 (*  | 'E',_ when n = 0 || n = 1 -> aux (n+1) (Exist::acc) *)
 136     | _ -> raise (SvnAnomaly line)
 137   in aux 0 []
 138
 139 (* this should be executed only for a freshly created user so no CS is needed *)
 140 let checkout user =
 141   let rt_dir = Helm_registry.get "matita.rt_base_dir" in
 142   let repo = Helm_registry.get "matita.weblib" in
 143
 144   let errno, outlines, errlines = exec_process
 145     ("svn co " ^ repo ^ " " ^ rt_dir ^ "/users/" ^ user ^ "/")
 146   in
 147   let files, anomalies =
 148     List.fold_left (fun (facc,eacc) line ->
 149       try
 150         (up_classify line::facc), eacc
 151       with
 152       | SvnAnomaly l -> facc, l::eacc) ([],[]) outlines
 153   in
 154   if errno = 0 then List.map (fun (f,_) -> f,MSynchronized) files
 155   else raise (SvnError (string_of_output outlines errlines))
 156
 157 (* normalize qualified file name *)
 158 let normalize_qfn p =
 159   (* trim leading "./" *)
 160   let p =
 161     try
 162       if String.sub p 0 2 <> "./" then p
 163       else String.sub p 2 (String.length p - 2)
 164     with
 165     | Invalid_argument _ -> p
 166   in
 167   (* trim trailing "/" *)
 168   try
 169     if String.sub p (String.length p - 1) 1 <> "/" then p
 170     else String.sub p 0 (String.length p - 1)
 171   with
 172   | Invalid_argument _ -> p
 173
 174 let html_of_library uid ft =
 175   let i = ref 0 in
 176   let newid () = incr i; ("node" ^ string_of_int !i) in
 177
 178   let basedir = (Helm_registry.get "matita.rt_base_dir") ^ "/users/" ^ uid in
 179
 180
 181   let branch lpath children =
 182     let id = newid () in
 183     let name = Filename.basename lpath in
 184     let name = if name <> "." then name else "cic:/matita" in
 185     let flag =
 186       try List.assoc lpath ft
 187       with Not_found -> MSynchronized in
 188     let szflag = string_of_matita_flag flag in
 189     "<span class=\"trigger\" onClick=\"showBranch('" ^ id ^ "','" ^ lpath ^ "')\">\n" ^
 190     "<img src=\"treeview/closed.gif\" id=\"I" ^ id ^ "\"/>\n" ^
 191     name ^ " " ^ szflag ^ "<br/></span>\n" ^
 192     "<span class=\"branch\" id=\"" ^ id ^ "\">\n" ^
 193     children ^ "\n</span>"
 194   in
 195   let leaf lpath =
 196     let flag =
 197       try List.assoc lpath ft
 198       with Not_found -> MSynchronized in
 199     let szflag = string_of_matita_flag flag in
 200     "<img src=\"treeview/doc.gif\"/>\n" ^
 201     "<a href=\"javascript:void(0)\" onClick=\"selectFile('" ^ lpath ^ "')\" onDblClick=\"dialogBox.callback('" ^ lpath ^ "')\">" ^
 202      (Filename.basename lpath) ^ " " ^ szflag ^ "</a><br/>"
 203   in
 204
 205   let rec aux path =
 206     let lpath filename = path ^ "/" ^ filename in
 207     let gpath filename = basedir ^ "/" ^ path ^ "/" ^ filename in
 208
 209     (* hide hidden dirs ... including svn stuff *)
 210     let dirlist =
 211       List.filter (fun x -> String.sub x 0 1 <> ".")
 212         (Array.to_list (Sys.readdir (basedir ^ "/" ^ path))) in
 213     let subdirs = List.filter (fun x -> Sys.is_directory (gpath x)) dirlist in
 214
 215     (* only .ma scripts, hidden files excluded *)
 216     let scripts =
 217       List.filter (fun x ->
 218         try
 219           let i = String.rindex x '.' in
 220           let len = String.length x - i in
 221           not (Sys.is_directory (gpath x)) &&
 222           (String.sub x 0 1 <> ".") && (String.sub x i len = ".ma")
 223         with Not_found | Invalid_argument _ -> false) dirlist in
 224     let subdirtags =
 225       String.concat "\n" (List.map (fun x -> aux (normalize_qfn (lpath x ^ "/"))) subdirs) in
 226     let scripttags =
 227       String.concat "\n"
 228        (List.map (fun x -> leaf (normalize_qfn (lpath x))) scripts)
 229     in
 230     branch path (subdirtags ^ "\n" ^ scripttags)
 231   in
 232
 233   let res = aux "." in
 234   prerr_endline "BEGIN TREE";prerr_endline res;prerr_endline "END TREE";
 235   res
 236 ;;
 237
 238 let reset_lib () =
 239   let to_be_removed = (Helm_registry.get "matita.rt_base_dir") ^ "/users/*" in
 240   ignore (Sys.command ("rm -rf " ^ to_be_removed))
 241 ;;
 242
 243 (* adds a user to the commit queue; concurrent instances possible, so we
 244  * enclose the update in a CS
 245  *)
 246 let add_user uid =
 247   Mutex.lock mutex;
 248   to_be_committed := uid::List.filter (fun x -> x <> uid) !to_be_committed;
 249   Mutex.unlock mutex;
 250 ;;
 251
 252 let update_user user =
 253   let rt_dir = Helm_registry.get "matita.rt_base_dir" in
 254   let repo = Helm_registry.get "matita.weblib" in
 255
 256   let errno, outlines, errlines = exec_process
 257     ("svn up " ^ rt_dir ^ "/users/" ^ user ^ "/")
 258   in
 259   let files, anomalies =
 260     List.fold_left (fun (facc,eacc) line ->
 261       try
 262         (up_classify line::facc), eacc
 263       with
 264       | SvnAnomaly l -> facc, l::eacc) ([],[]) outlines
 265   in
 266   if errno = 0 then files, anomalies
 267   else raise (SvnError (string_of_output outlines errlines))
 268 ;;
 269
 270 (* this function and the next one should only be called by the server itself (or
 271  * the admin) at a scheduled time, so no concurrent instances and no CS needed
 272  * also, svn should already be safe as far as concurrency is concerned *)
 273 let commit user =
 274   let rt_dir = Helm_registry.get "matita.rt_base_dir" in
 275   let repo = Helm_registry.get "matita.weblib" in
 276
 277   let errno, outlines, errlines = exec_process
 278     ("svn ci --message \"commit by user " ^ user ^ "\" " ^ rt_dir ^ "/users/" ^ user ^ "/")
 279   in
 280   if errno = 0 then ()
 281   else raise (SvnError (string_of_output outlines errlines))
 282 ;;
 283
 284 let do_global_commit () =
 285   prerr_endline ("to be committed: " ^ String.concat " " !to_be_committed);
 286   List.fold_left
 287     (fun acc u ->
 288        try
 289          commit u;
 290          acc
 291        with
 292        | SvnError outstr ->
 293            prerr_endline outstr;
 294            u::acc)
 295   [] (List.rev !to_be_committed)
 296 ;;