matitaB/matita/matitaFilesystem.ml

   1 (* Copyright (C) 2004-2011, HELM Team.
   2  *
   3  * This file is part of HELM, an Hypertextual, Electronic
   4  * Library of Mathematics, developed at the Computer Science
   5  * Department, University of Bologna, Italy.
   6  *
   7  * HELM is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation; either version 2
  10  * of the License, or (at your option) any later version.
  11  *
  12  * HELM is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with HELM; if not, write to the Free Software
  19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  20  * MA  02111-1307, USA.
  21  *
  22  * For details, see the HELM World-Wide-Web page,
  23  * http://helm.cs.unibo.it/
  24  *)
  25
  26 exception SvnError of string;;
  27
  28 let mutex = Mutex.create ();;
  29
  30 let to_be_committed = ref [];;
  31
  32 let exec_process cmd =
  33   let (stdout, stdin, stderr) as chs = Unix.open_process_full cmd [||] in
  34   let outlines = ref [] in
  35   let errlines = ref [] in
  36   (try
  37      while true do
  38        outlines := input_line stdout :: !outlines;
  39      done;
  40      assert false
  41    with End_of_file ->
  42    (try
  43      while true do
  44        errlines := input_line stderr :: !errlines;
  45      done;
  46      assert false
  47     with End_of_file ->
  48      match (Unix.close_process_full chs) with
  49      | Unix.WEXITED errno -> errno, !outlines, !errlines
  50      | _ -> assert false))
  51
  52 let string_of_output outlines errlines =
  53   let output = "std out =\n" ^ String.concat "\n" (List.rev outlines) in
  54   let errors = "std err =\n" ^ String.concat "\n" (List.rev errlines) in
  55   output ^ "\n\n" ^ errors
  56
  57 type svn_flag =
  58 | Add
  59 | Conflict
  60 | Modified
  61 | NotAdded
  62 | Delete
  63 | Update
  64 | Merge
  65
  66 type matita_flag =
  67 | MUnversioned
  68 | MSynchronized
  69 | MAdd
  70 | MModified
  71 | MConflict
  72
  73 let string_of_matita_flag = function
  74 | MUnversioned -> "unversioned"
  75 | MSynchronized -> "synchronized"
  76 | MAdd -> "new"
  77 | MModified -> "modified"
  78 | MConflict -> "conflict!"
  79
  80 exception SvnAnomaly of string
  81
  82 let stat_classify line =
  83   let rec aux n acc =
  84     match (line.[n], n) with
  85     | _, n when n = 7 -> String.sub line 8 ((String.length line) - 8), acc
  86     | ' ', _ -> aux (n+1) acc
  87     | 'A',0 -> aux (n+1) (Add::acc)
  88     | 'C',_ when n = 0 || n = 1 -> aux (n+1) (Conflict::acc)
  89 (*  | 'D',0 -> aux (n+1) (Delete::acc) *)
  90 (*  | 'I',0 -> aux (n+1) (Ignore::acc) *)
  91     | 'M',_ when n = 0 || n = 1 -> aux (n+1) (Modified::acc)
  92 (*  | 'R',0 -> aux (n+1) (Replaced::acc) *)
  93 (*  | 'X',0 -> aux (n+1) (UnversionedDir::acc) *)
  94     | '?',0 -> aux (n+1) (NotAdded::acc)
  95 (*  | '!',0 -> aux (n+1) (Missing::acc) *)
  96 (*  | '~',0 -> aux (n+1) (Obstructed::acc) *)
  97 (*  | 'L',2 -> aux (n+1) (Lock::acc) *)
  98 (*  | '+',3 -> aux (n+1) (History::acc) *)
  99 (*  | 'S',4 -> aux (n+1) (SwitchedUrl::acc) *)
 100 (*  | 'X',4 -> aux (n+1) (External::acc) *)
 101 (*  | 'K',5 -> aux (n+1) (LockToken::acc) *)
 102 (*  | 'C',6 -> aux (n+1) (TreeConflict::acc) *)
 103     | _ -> raise (SvnAnomaly line)
 104   in aux 0 []
 105
 106 let stat_user user =
 107   let rt_dir = Helm_registry.get "matita.rt_base_dir" in
 108   let repo = Helm_registry.get "matita.weblib" in
 109
 110   let errno, outlines, errlines = exec_process
 111     ("svn stat " ^ rt_dir ^ "/users/" ^ user ^ "/")
 112   in
 113   let files, anomalies =
 114     List.fold_left (fun (facc,eacc) line ->
 115       try
 116         (stat_classify line::facc), eacc
 117       with
 118       | SvnAnomaly l -> facc, l::eacc) ([],[]) outlines
 119   in
 120   if errno = 0 then files, anomalies
 121   else raise (SvnError ("Anomalies: " ^ (String.concat "\n" anomalies) ^ "\n\n" ^ (string_of_output outlines errlines)))
 122 ;;
 123
 124 (* update and checkout *)
 125 let up_classify line =
 126   let rec aux n acc =
 127     match (line.[n], n) with
 128     | _, n when n = 4 -> String.sub line 5 ((String.length line) - 5), acc
 129     | ' ', _ -> aux (n+1) acc
 130     | 'A',_ when n = 0 || n = 1 -> aux (n+1) (Add::acc)
 131     | 'C',_ when n = 0 || n = 1 -> aux (n+1) (Conflict::acc)
 132     | 'D',_ when n = 0 || n = 1 -> aux (n+1) (Delete::acc)
 133     | 'U',_ when n = 0 || n = 1 -> aux (n+1) (Update::acc)
 134     | 'G',_ when n = 0 || n = 1 -> aux (n+1) (Merge::acc)
 135 (*  | 'E',_ when n = 0 || n = 1 -> aux (n+1) (Exist::acc) *)
 136     | _ -> raise (SvnAnomaly line)
 137   in aux 0 []
 138
 139 (* this should be executed only for a freshly created user so no CS is needed *)
 140 let checkout user =
 141   let rt_dir = Helm_registry.get "matita.rt_base_dir" in
 142   let repo = Helm_registry.get "matita.weblib" in
 143
 144   let errno, outlines, errlines = exec_process
 145     ("svn co " ^ repo ^ " " ^ rt_dir ^ "/users/" ^ user ^ "/")
 146   in
 147   let files, anomalies =
 148     List.fold_left (fun (facc,eacc) line ->
 149       try
 150         (up_classify line::facc), eacc
 151       with
 152       | SvnAnomaly l -> facc, l::eacc) ([],[]) outlines
 153   in
 154   if errno = 0 then List.map (fun (f,_) -> f,MSynchronized) files
 155   else raise (SvnError (string_of_output outlines errlines))
 156
 157 let html_of_library uid ft =
 158   let i = ref 0 in
 159   let newid () = incr i; ("node" ^ string_of_int !i) in
 160
 161   let basedir = (Helm_registry.get "matita.rt_base_dir") ^ "/users/" ^ uid in
 162
 163   let branch lpath children =
 164     let id = newid () in
 165     let name = Filename.basename lpath in
 166     let name = if name <> "." then name else "cic:/matita" in
 167     let lpath =
 168       try
 169         if String.sub lpath 0 2 <> "./" then lpath
 170         else String.sub lpath 2 (String.length lpath - 2)
 171       with Invalid_argument _ -> lpath
 172     in
 173     let flag =
 174       try List.assoc lpath ft
 175       with Not_found -> MSynchronized in
 176     let szflag = string_of_matita_flag flag in
 177     "<span class=\"trigger\" onClick=\"showBranch('" ^ id ^ "','" ^ lpath ^ "/')\">\n" ^
 178     "<img src=\"treeview/closed.gif\" id=\"I" ^ id ^ "\"/>\n" ^
 179     name ^ " " ^ szflag ^ "<br/></span>\n" ^
 180     "<span class=\"branch\" id=\"" ^ id ^ "\">\n" ^
 181     children ^ "\n</span>"
 182   in
 183   let leaf lpath =
 184     "<img src=\"treeview/doc.gif\"/>\n" ^
 185     "<a href=\"javascript:void(0)\" onClick=\"selectFile('" ^ lpath ^ "')\" onDblClick=\"dialogBox.callback('" ^ lpath ^ "')\">" ^
 186      (Filename.basename lpath) ^ "</a><br/>"
 187   in
 188
 189   let rec aux path =
 190     let lpath filename = path ^ "/" ^ filename in
 191     let gpath filename = basedir ^ "/" ^ path ^ "/" ^ filename in
 192     let dirlist =
 193       List.filter (fun x -> String.sub x 0 1 <> ".")
 194         (Array.to_list (Sys.readdir (basedir ^ "/" ^ path))) in
 195     let subdirs = List.filter (fun x -> Sys.is_directory (gpath x)) dirlist in
 196     let scripts =
 197       List.filter (fun x ->
 198         try
 199           let i = String.rindex x '.' in
 200           let len = String.length x - i in
 201           not (Sys.is_directory (gpath x)) &&
 202           (String.sub x 0 1 <> ".") && (String.sub x i len = ".ma")
 203         with Not_found | Invalid_argument _ -> false) dirlist in
 204     let subdirtags =
 205       String.concat "\n" (List.map (fun x -> aux (lpath x)) subdirs) in
 206     let scripttags =
 207       String.concat "\n"
 208        (List.map (fun x -> leaf (lpath x)) scripts)
 209     in
 210     branch path (subdirtags ^ "\n" ^ scripttags)
 211   in
 212
 213   let res = aux "." in
 214   prerr_endline "BEGIN TREE";prerr_endline res;prerr_endline "END TREE";
 215   res
 216 ;;
 217
 218 let reset_lib () =
 219   let to_be_removed = (Helm_registry.get "matita.rt_base_dir") ^ "/users/*" in
 220   ignore (Sys.command ("rm -rf " ^ to_be_removed))
 221 ;;
 222
 223 (* adds a user to the commit queue; concurrent instances possible, so we
 224  * enclose the update in a CS
 225  *)
 226 let add_user uid =
 227   Mutex.lock mutex;
 228   to_be_committed := uid::List.filter (fun x -> x <> uid) !to_be_committed;
 229   Mutex.unlock mutex;
 230 ;;
 231
 232 let update_user user =
 233   let rt_dir = Helm_registry.get "matita.rt_base_dir" in
 234   let repo = Helm_registry.get "matita.weblib" in
 235
 236   let errno, outlines, errlines = exec_process
 237     ("svn up " ^ rt_dir ^ "/users/" ^ user ^ "/")
 238   in
 239   let files, anomalies =
 240     List.fold_left (fun (facc,eacc) line ->
 241       try
 242         (up_classify line::facc), eacc
 243       with
 244       | SvnAnomaly l -> facc, l::eacc) ([],[]) outlines
 245   in
 246   if errno = 0 then files, anomalies
 247   else raise (SvnError (string_of_output outlines errlines))
 248 ;;
 249
 250 (* this function and the next one should only be called by the server itself (or
 251  * the admin) at a scheduled time, so no concurrent instances and no CS needed
 252  * also, svn should already be safe as far as concurrency is concerned *)
 253 let commit user =
 254   let rt_dir = Helm_registry.get "matita.rt_base_dir" in
 255   let repo = Helm_registry.get "matita.weblib" in
 256
 257   let errno, outlines, errlines = exec_process
 258     ("svn ci --message \"commit by user " ^ user ^ "\" " ^ rt_dir ^ "/users/" ^ user ^ "/")
 259   in
 260   if errno = 0 then ()
 261   else raise (SvnError (string_of_output outlines errlines))
 262 ;;
 263
 264 let do_global_commit () =
 265   prerr_endline ("to be committed: " ^ String.concat " " !to_be_committed);
 266   List.fold_left
 267     (fun acc u ->
 268        try
 269          commit u;
 270          acc
 271        with
 272        | SvnError outstr ->
 273            prerr_endline outstr;
 274            u::acc)
 275   [] (List.rev !to_be_committed)
 276 ;;