]> matita.cs.unibo.it Git - helm.git/blobdiff - helm/ocaml/getter/http_getter_misc.ml
rebuilt against ocaml 3.08.3
[helm.git] / helm / ocaml / getter / http_getter_misc.ml
index 6db793369acfd10f747fe9728a5f02d3565821d4..b25a425805ad9c6a29cda92c83cd87aff2af496d 100644 (file)
 
 open Printf
 
-open Http_getter_debugger
+let file_scheme_prefix = "file://"
 
 let trailing_dot_gz_RE = Pcre.regexp "\\.gz$"   (* for g{,un}zip *)
 let url_RE = Pcre.regexp "^([\\w.-]+)(:(\\d+))?(/.*)?$"
 let http_scheme_RE = Pcre.regexp ~flags:[`CASELESS] "^http://"
-let file_scheme_RE = Pcre.regexp ~flags:[`CASELESS] "^file://"
+let file_scheme_RE = Pcre.regexp ~flags:[`CASELESS] ("^" ^ file_scheme_prefix)
 let dir_sep_RE = Pcre.regexp "/"
 let heading_slash_RE = Pcre.regexp "^/"
 
+let local_url =
+  let rex = Pcre.regexp ("^(" ^ file_scheme_prefix ^ ")(.*)(.gz)$") in
+  fun s ->
+    try
+      Some ((Pcre.extract ~rex s).(2))
+    with Not_found -> None
+
 let bufsiz = 16384  (* for file system I/O *)
 let tcp_bufsiz = 4096 (* for TCP I/O *)
 
@@ -64,21 +71,40 @@ let hashtbl_sorted_iter f tbl =
   let sorted_keys =
     List.sort compare (Hashtbl.fold (fun key _ keys -> key::keys) tbl [])
   in
-  List.iter (fun k -> f k (Hashtbl.find tbl k)) sorted_keys
+    List.iter (fun k -> f k (Hashtbl.find tbl k)) sorted_keys
 
 let cp src dst =
-  let (ic, oc) = (open_in src, open_out dst) in
-  let buf = String.create bufsiz in
-  (try
-    while true do
-      let bytes = input ic buf 0 bufsiz in
-      if bytes = 0 then raise End_of_file else output oc buf 0 bytes
-    done
-  with End_of_file -> ());
-  close_in ic; close_out oc
+  try 
+    let ic = open_in src in
+      try
+       let oc = open_out dst in
+       let buf = String.create bufsiz in
+         (try
+            while true do
+              let bytes = input ic buf 0 bufsiz in
+                if bytes = 0 then raise End_of_file else output oc buf 0 bytes
+            done
+          with 
+              End_of_file -> ()
+         );
+         close_in ic; close_out oc
+      with 
+         Sys_error s -> 
+           Http_getter_logger.log s;
+           close_in ic
+       | e -> 
+           Http_getter_logger.log (Printexc.to_string e);
+           close_in ic;
+           raise e
+  with 
+      Sys_error s -> 
+       Http_getter_logger.log s
+    | e -> 
+       Http_getter_logger.log (Printexc.to_string e);
+       raise e
 
 let wget ?output url =
-  debug_print
+  Http_getter_logger.log
     (sprintf "wgetting %s (output: %s)" url
       (match output with None -> "default" | Some f -> f));
   match url with
@@ -96,14 +122,15 @@ let wget ?output url =
       (let oc = 
         open_out (match output with Some f -> f | None -> Filename.basename url)
       in
-      Http_client.http_get_iter (fun data -> output_string oc data) url;
+      Http_user_agent.get_iter (fun data -> output_string oc data) url;
       close_out oc)
   | scheme -> (* unsupported scheme *)
       failwith ("Http_getter_misc.wget: unsupported scheme: " ^ scheme)
 
 let gzip ?(keep = false) ?output fname =
   let output = match output with None -> fname ^ ".gz" | Some fname -> fname in
-  debug_print (sprintf "gzipping %s (keep: %b, output: %s)" fname keep output);
+  Http_getter_logger.log ~level:3
+    (sprintf "gzipping %s (keep: %b, output: %s)" fname keep output);
   let (ic, oc) = (open_in fname, Gzip.open_out output) in
   let buf = String.create bufsiz in
   (try
@@ -128,17 +155,27 @@ let gunzip ?(keep = false) ?output fname =
             "Http_getter_misc.gunzip: unable to determine output file name"
     | Some fname -> fname
   in
-  debug_print (sprintf "gunzipping %s (keep: %b, output: %s)"
-    fname keep output);
-  let (ic, oc) = (Gzip.open_in fname, open_out output) in
-  let buf = String.create bufsiz in
-  (try
-    while true do
-      let bytes = Gzip.input ic buf 0 bufsiz in
-      if bytes = 0 then raise End_of_file else Pervasives.output oc buf 0 bytes
-    done
-  with End_of_file -> ());
-  Gzip.close_in ic; close_out oc;
+  Http_getter_logger.log ~level:3
+    (sprintf "gunzipping %s (keep: %b, output: %s)" fname keep output);
+  (* Open the zipped file manually since Gzip.open_in may
+   * leak the descriptor if it raises an exception *)
+  let zic = open_in fname in
+  begin
+    try
+      let ic = Gzip.open_in_chan zic in
+      let oc = open_out output in
+      let buf = String.create bufsiz in
+      (try
+        while true do
+          let bytes = Gzip.input ic buf 0 bufsiz in
+          if bytes = 0 then raise End_of_file else Pervasives.output oc buf 0 bytes
+        done
+      with End_of_file -> ());
+       close_out oc;
+       Gzip.close_in ic
+    with
+      e -> close_in zic ; raise e
+  end ;
   if not keep then Sys.remove fname
 ;;
 
@@ -190,16 +227,16 @@ let http_get url =
       let size = (Unix.stat fname).Unix.st_size in
       let buf = String.create size in
       let ic = open_in fname in
-      really_input ic buf 0 size;
+      really_input ic buf 0 size ;
       close_in ic;
       Some buf
     with Unix.Unix_error (Unix.ENOENT, "stat", _) -> None
-  end else  (* other URL, pass it to Http_client *)
+  end else  (* other URL, pass it to Http_user_agent *)
     try
-      Some (Http_client.http_get url)
+      Some (Http_user_agent.get url)
     with e ->
-      debug_print (sprintf
-        "Warning: Http_client failed on url %s with exception: %s"
+      Http_getter_logger.log (sprintf
+        "Warning: Http_user_agent failed on url %s with exception: %s"
         url (Printexc.to_string e));
       None