]> matita.cs.unibo.it Git - helm.git/blobdiff - helm/http_getter/http_getter_common.ml
added http_getter OCaml implementation
[helm.git] / helm / http_getter / http_getter_common.ml
diff --git a/helm/http_getter/http_getter_common.ml b/helm/http_getter/http_getter_common.ml
new file mode 100644 (file)
index 0000000..67d72f4
--- /dev/null
@@ -0,0 +1,158 @@
+(*
+ *  Copyright (C) 2000, HELM Team.
+ *
+ *  This file is part of HELM, an Hypertextual, Electronic
+ *  Library of Mathematics, developed at the Computer Science
+ *  Department, University of Bologna, Italy.
+ *
+ *  HELM is free software; you can redistribute it and/or
+ *  modify it under the terms of the GNU General Public License
+ *  as published by the Free Software Foundation; either version 2
+ *  of the License, or (at your option) any later version.
+ *
+ *  HELM is distributed in the hope that it will be useful,
+ *  but WITHOUT ANY WARRANTY; without even the implied warranty of
+ *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+ *  GNU General Public License for more details.
+ *
+ *  You should have received a copy of the GNU General Public License
+ *  along with HELM; if not, write to the Free Software
+ *  Foundation, Inc., 59 Temple Place - Suite 330, Boston,
+ *  MA  02111-1307, USA.
+ *
+ *  For details, see the HELM World-Wide-Web page,
+ *  http://cs.unibo.it/helm/.
+ *)
+
+open Http_getter_types;;
+open Printf;;
+
+let string_of_ls_flag = function No -> "NO" | Yes -> "YES" | Ann -> "ANN"
+let string_of_encoding = function
+  | Enc_normal -> "Normal"
+  | Enc_gzipped -> "GZipped"
+
+let is_cic_uri uri = Pcre.pmatch ~pat:"^cic:" uri
+let is_theory_uri uri = Pcre.pmatch ~pat:"^theory:" uri
+let is_xml_uri uri = is_cic_uri uri || is_theory_uri uri
+let is_rdf_uri uri = Pcre.pmatch ~pat:"^helm:rdf(.*):(.*)//(.*)" uri
+let is_xsl_uri uri = Pcre.pmatch ~pat:"^\\w+\\.xsl" uri
+
+let rec http_getter_uri_of_string = function
+  | uri when is_rdf_uri uri ->
+      (match Pcre.split ~pat:"//" uri with
+      | [ prefix; uri ] ->
+          let rest =
+            match http_getter_uri_of_string uri with
+            | Xml_uri xmluri -> xmluri
+            | _ -> raise (Http_getter_invalid_URI uri)
+          in
+          Rdf_uri (prefix, rest)
+      | _ -> raise (Http_getter_invalid_URI uri))
+  | uri when is_cic_uri uri -> Xml_uri (Cic (Pcre.replace ~pat:"^cic:" uri))
+  | uri when is_theory_uri uri ->
+      Xml_uri (Theory (Pcre.replace ~pat:"^theory:" uri))
+  | uri -> raise (Http_getter_invalid_URI uri)
+
+let patch_xml line =
+  Pcre.replace
+    ~pat:(sprintf "DOCTYPE (.*) SYSTEM\\s+\"%s/" Http_getter_env.dtd_base_url)
+    ~templ:(
+      sprintf "DOCTYPE $1 SYSTEM \"%s/getdtd?uri=" Http_getter_env.my_own_url)
+    line
+let patch_xsl =
+  let mk_patch_fun tag line =
+    Pcre.replace
+      ~pat:(sprintf "%s\\s+href=\"" tag)
+      ~templ:(
+        sprintf "%s href=\"%s/getxslt?uri=" Http_getter_env.my_own_url tag)
+      line
+  in
+  let (patch_import, patch_include) =
+    (mk_patch_fun "xsl:import", mk_patch_fun "xsl:include")
+  in
+  fun line -> patch_include (patch_import line)
+let patch_dtd line =
+  Pcre.replace
+    ~pat:"ENTITY (.*) SYSTEM\\s+\""
+    ~templ:(
+      sprintf "ENTITY $1 SYSTEM \"%s/getdtd?uri=" Http_getter_env.my_own_url)
+    line
+
+let pp_error =
+  sprintf "<html><body><h1>Http Getter error: %s</h1></body></html>"
+let pp_internal_error =
+  sprintf "<html><body><h1>Http Getter Internal error: %s</h1></body></html>"
+let pp_msg = sprintf "<html><body><h1>%s</h1></body></html>"
+
+let mk_return_fun pp_fun contype msg outchan =
+  Http_daemon.respond
+    ~body:(pp_fun msg)
+    ~headers:["Content-Type", contype]
+    outchan
+
+let return_html_error = mk_return_fun pp_error "text/html"
+let return_html_internal_error = mk_return_fun pp_internal_error "text/html"
+let return_html_msg = mk_return_fun pp_msg "text/html"
+let return_xml_msg = mk_return_fun pp_msg "text/xml"
+  (**
+  @param fname name of the file to be sent
+  @param contype Content-Type header value
+  @param contenc Content-Enconding header value
+  @param patch_fun function used to patch file contents
+  @param outchan output channel over which sent file fname *)
+let return_file ~fname ?contype ?contenc ?(patch_fun = fun x -> x) outchan =
+  let headers =
+    match (contype, contenc) with
+    | (Some t, Some e) -> [ "Content-Type", t; "Content-Enconding", e ]
+    | (Some t, None) -> [ "Content-Type" , t ]
+    | (None, Some e) -> [ "Content-Enconding", e ]
+    | (None, None) -> []
+  in
+  Http_daemon.send_basic_headers outchan;
+  Http_daemon.send_headers headers outchan;
+  Http_daemon.send_CRLF outchan;
+  Http_getter_misc.iter_file
+    (fun line -> output_string outchan (patch_fun line ^ "\n"))
+    fname
+ (* return a bad request http response *)
+let return_400 body outchan = Http_daemon.respond_error ~code:400 ~body outchan
+
+let wget ?output url =
+  let flags =
+    (match output with Some file -> ["-O " ^ file] | None -> []) @ [url]
+  in
+  Shell.call
+    ~stdout:Shell.to_dev_null ~stderr:Shell.to_dev_null [Shell.cmd "wget" flags]
+
+  (* TODO gzip and gunzip create executables file, but umask seems to be
+  correctly inherited from the shell .... boh *)
+
+  (* stderr shown as usual *)
+let gzip ?(keep = false) fname =
+  if keep then  (* keep original file *)
+    Shell.call
+      ~stdout:(Shell.to_file (fname ^ ".gz"))
+      [Shell.cmd "gzip" ["-f"; "-c"; fname]]
+  else  (* don't keep original file *)
+    Shell.call [Shell.cmd "gzip" ["-f"; fname]]
+
+  (* stderr shown as usual *)
+let gunzip ?(keep = false) fname =
+  if not (Pcre.pmatch ~pat:"\\.gz$" fname) then
+    failwith "gunzip: source file doesn't end with '.gz'";
+  let basename = Pcre.replace ~pat:"\\.gz$" fname in
+  if keep then  (* keep original file *)
+    Shell.call
+      ~stdout:(Shell.to_file basename)
+      [Shell.cmd "gunzip" ["-f"; "-c"; fname]]
+  else  (* don't keep original file *)
+    Shell.call [Shell.cmd "gunzip" ["-f"; fname]]
+
+let tempfile () =
+  let buf = Buffer.create 28 in (* strlen("/tmp/fileSzb3Mw_http_getter") *)
+  Shell.call
+    ~stdout:(Shell.to_buffer buf)
+    [Shell.cmd "tempfile" ["--suffix=_http_getter"]];
+  Pcre.replace ~pat:"\n" (Buffer.contents buf)
+