helm/ocaml/getter/http_getter_env.ml

   1 (*
   2  * Copyright (C) 2003-2004:
   3  *    Stefano Zacchiroli <zack@cs.unibo.it>
   4  *    for the HELM Team http://helm.cs.unibo.it/
   5  *
   6  *  This file is part of HELM, an Hypertextual, Electronic
   7  *  Library of Mathematics, developed at the Computer Science
   8  *  Department, University of Bologna, Italy.
   9  *
  10  *  HELM is free software; you can redistribute it and/or
  11  *  modify it under the terms of the GNU General Public License
  12  *  as published by the Free Software Foundation; either version 2
  13  *  of the License, or (at your option) any later version.
  14  *
  15  *  HELM is distributed in the hope that it will be useful,
  16  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  *  GNU General Public License for more details.
  19  *
  20  *  You should have received a copy of the GNU General Public License
  21  *  along with HELM; if not, write to the Free Software
  22  *  Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  23  *  MA  02111-1307, USA.
  24  *
  25  *  For details, see the HELM World-Wide-Web page,
  26  *  http://helm.cs.unibo.it/
  27  *)
  28
  29 open Printf
  30 open Pxp_document
  31 open Pxp_types
  32 open Pxp_yacc
  33
  34 open Http_getter_types
  35
  36 let version = Http_getter_const.version
  37
  38 let servers_file    = lazy (
  39   Helm_registry.get_opt Helm_registry.get "getter.servers_file")
  40 let cic_dbm         = lazy (Helm_registry.get "getter.maps_dir" ^ "/cic_db")
  41 let nuprl_dbm       = lazy (Helm_registry.get "getter.maps_dir" ^ "/nuprl_db")
  42 let rdf_dbm         = lazy (Helm_registry.get "getter.maps_dir" ^ "/rdf_db")
  43 let xsl_dbm         = lazy (Helm_registry.get "getter.maps_dir" ^ "/xsl_db")
  44 let xml_index       = lazy (
  45   Helm_registry.get_opt_default Helm_registry.get "index.txt"
  46     "getter.xml_indexname")
  47 let rdf_index       = lazy (
  48   Helm_registry.get_opt_default Helm_registry.get "rdf_index.txt"
  49     "getter.rdf_indexname")
  50 let xsl_index       = lazy (
  51   Helm_registry.get_opt_default Helm_registry.get "xslt_index.txt"
  52     "getter.xsl_indexname")
  53 let cic_dir         = lazy (Helm_registry.get "getter.cache_dir" ^ "/cic")
  54 let nuprl_dir       = lazy (Helm_registry.get "getter.cache_dir" ^ "/nuprl")
  55 let rdf_dir         = lazy (Helm_registry.get "getter.cache_dir" ^ "/rdf")
  56 let dtd_dir         = lazy (Helm_registry.get "getter.dtd_dir")
  57 let dtd_base_urls   = lazy (
  58   let rex = Pcre.regexp "/*$" in
  59   let raw_urls =
  60     Helm_registry.get_opt_default Helm_registry.get_string_list
  61       ["http://helm.cs.unibo.it/dtd"; "http://mowgli.cs.unibo.it/dtd"]
  62       "getter.dtd_base_urls"
  63   in
  64   List.map (Pcre.replace ~rex) raw_urls)
  65 let port            = lazy (
  66   Helm_registry.get_opt_default Helm_registry.get_int 58081 "getter.port")
  67
  68 let _servers = ref None
  69
  70 let servers =
  71  function () ->
  72     (match !_servers with
  73     | None -> failwith "Getter not yet initialized: servers not available"
  74     | Some servers -> servers)
  75
  76 let load_servers () =
  77   let pos = ref ~-1 in
  78   match Lazy.force servers_file with
  79   | None ->
  80       List.map (fun s -> incr pos; (!pos, s))
  81         (Helm_registry.get_string_list "getter.servers")
  82   | Some servers_file ->
  83       List.rev (Http_getter_misc.fold_file
  84         (fun line servers ->
  85           if Http_getter_misc.is_blank_line line then
  86             servers
  87           else
  88             (incr pos; (!pos, line) :: servers))
  89         []
  90         servers_file)
  91
  92 let reload_servers () = _servers := Some (load_servers ())
  93
  94 let save_servers () =
  95   match Lazy.force servers_file with
  96   | None -> ()
  97   | Some servers_file ->
  98       let oc = open_out servers_file in
  99       List.iter (fun (_,server) -> output_string oc (server ^ "\n"))
 100         (servers ());
 101   close_out oc
 102
 103 let host =
 104   lazy
 105     (let buf = Buffer.create 20 in
 106     Shell.call ~stdout:(Shell.to_buffer buf) [Shell.cmd "hostname" ["-f"]];
 107     Pcre.replace ~pat:"\n+$" (Buffer.contents buf))
 108
 109 let my_own_url =
 110   lazy
 111     (let (host, port) = (Lazy.force host, Lazy.force port) in
 112     sprintf "http://%s%s" (* without trailing '/' *)
 113     host (if port = 80 then "" else (sprintf ":%d" port)))
 114
 115 let cache_mode =
 116   lazy
 117     (let mode_string =
 118       Helm_registry.get_opt_default Helm_registry.get "gz" "getter.cache_mode"
 119     in
 120     match String.lowercase mode_string with
 121     | "normal" -> `Normal
 122     | "gz" -> `Gzipped
 123     | mode -> failwith ("Invalid cache mode: " ^ mode))
 124
 125 let reload () = reload_servers ()
 126
 127 let env_to_string () =
 128   sprintf
 129 "HTTP Getter %s (the OCaml one!)
 130
 131 cic_dbm:\t%s
 132 nuprl_dbm:\t%s
 133 rdf_dbm:\t%s
 134 xsl_dbm:\t%s
 135 xml_index:\t%s
 136 rdf_index:\t%s
 137 xsl_index:\t%s
 138 cic_dir:\t%s
 139 nuprl_dir:\t%s
 140 rdf_dir:\t%s
 141 dtd_dir:\t%s
 142 servers_file:\t%s
 143 host:\t\t%s
 144 port:\t\t%d
 145 my_own_url:\t%s
 146 dtd_base_urls:\t%s
 147 cache_mode:\t%s
 148 servers:
 149 \t%s
 150 log_file:\t%s
 151 log_level:\t%d
 152 "
 153     version (Lazy.force cic_dbm) (Lazy.force nuprl_dbm) (Lazy.force rdf_dbm)
 154     (Lazy.force xsl_dbm) (Lazy.force xml_index)
 155     (Lazy.force rdf_index) (Lazy.force xsl_index) (Lazy.force cic_dir)
 156     (Lazy.force nuprl_dir) (Lazy.force rdf_dir)
 157     (Lazy.force dtd_dir)
 158     (match Lazy.force servers_file with
 159     | None -> "no servers file"
 160     | Some servers_file -> servers_file)
 161     (Lazy.force host)
 162     (Lazy.force port) (Lazy.force my_own_url)
 163     (String.concat " " (Lazy.force dtd_base_urls))
 164     (match Lazy.force cache_mode with
 165     | `Normal -> "Normal"
 166     | `Gzipped -> "GZipped")
 167     (String.concat "\n\t" (* (position * server) list *)
 168       (List.map (fun (pos, server) -> sprintf "%3d: %s" pos server)
 169         (servers ())))
 170     (match Http_getter_logger.get_log_file () with None -> "None" | Some f -> f)
 171     (Http_getter_logger.get_log_level ())
 172
 173 let add_server ?position url =
 174   let new_servers =
 175     let servers = servers () in
 176     match position with
 177     | None -> servers @ [-1, url];
 178     | Some p when p > 0 ->
 179         let rec add_after pos = function
 180           | [] -> [-1, url]
 181           | hd :: tl when p = 1 -> hd :: (-1, url) :: tl
 182           | hd :: tl (* when p > 1 *) -> hd :: (add_after (pos - 1) tl)
 183         in
 184         add_after p servers
 185     | Some 0 -> (-1, url)::servers
 186     | Some _ -> assert false
 187   in
 188   _servers := Some new_servers;
 189   save_servers ();
 190   reload_servers ()
 191
 192 let remove_server position =
 193   _servers := Some (List.remove_assoc position (servers ()));
 194   save_servers ();
 195   reload_servers ()
 196