helm/ocaml/getter/http_getter_env.ml

   1 (*
   2  * Copyright (C) 2003-2004:
   3  *    Stefano Zacchiroli <zack@cs.unibo.it>
   4  *    for the HELM Team http://helm.cs.unibo.it/
   5  *
   6  *  This file is part of HELM, an Hypertextual, Electronic
   7  *  Library of Mathematics, developed at the Computer Science
   8  *  Department, University of Bologna, Italy.
   9  *
  10  *  HELM is free software; you can redistribute it and/or
  11  *  modify it under the terms of the GNU General Public License
  12  *  as published by the Free Software Foundation; either version 2
  13  *  of the License, or (at your option) any later version.
  14  *
  15  *  HELM is distributed in the hope that it will be useful,
  16  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  *  GNU General Public License for more details.
  19  *
  20  *  You should have received a copy of the GNU General Public License
  21  *  along with HELM; if not, write to the Free Software
  22  *  Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  23  *  MA  02111-1307, USA.
  24  *
  25  *  For details, see the HELM World-Wide-Web page,
  26  *  http://helm.cs.unibo.it/
  27  *)
  28
  29 open Printf
  30 open Pxp_document
  31 open Pxp_types
  32 open Pxp_yacc
  33
  34 open Http_getter_types
  35
  36 let version = Http_getter_const.version
  37
  38 let servers_file    = lazy (
  39   Helm_registry.get_opt Helm_registry.get "getter.servers_file")
  40 let cic_dbm         = lazy (Helm_registry.get "getter.maps_dir" ^ "/cic_db")
  41 let cic_dbm_real    = lazy (Helm_registry.get "getter.maps_dir" ^ "/cic_db.pag")
  42 let nuprl_dbm       = lazy (Helm_registry.get "getter.maps_dir" ^ "/nuprl_db")
  43 let rdf_dbm         = lazy (Helm_registry.get "getter.maps_dir" ^ "/rdf_db")
  44 let xsl_dbm         = lazy (Helm_registry.get "getter.maps_dir" ^ "/xsl_db")
  45 let dump_file       = lazy (Helm_registry.get "getter.maps_dir" ^
  46                               "/cic_db_tree.dump")
  47 let prefetch        = lazy (Helm_registry.get_bool "getter.prefetch")
  48 let xml_index       = lazy (
  49   Helm_registry.get_opt_default Helm_registry.get "index.txt"
  50     "getter.xml_indexname")
  51 let rdf_index       = lazy (
  52   Helm_registry.get_opt_default Helm_registry.get "rdf_index.txt"
  53     "getter.rdf_indexname")
  54 let xsl_index       = lazy (
  55   Helm_registry.get_opt_default Helm_registry.get "xslt_index.txt"
  56     "getter.xsl_indexname")
  57 let cic_dir         = lazy (Helm_registry.get "getter.cache_dir" ^ "/cic")
  58 let nuprl_dir       = lazy (Helm_registry.get "getter.cache_dir" ^ "/nuprl")
  59 let rdf_dir         = lazy (Helm_registry.get "getter.cache_dir" ^ "/rdf")
  60 let dtd_dir         = lazy (Helm_registry.get "getter.dtd_dir")
  61 let dtd_base_urls   = lazy (
  62   let rex = Pcre.regexp "/*$" in
  63   let raw_urls =
  64     Helm_registry.get_opt_default Helm_registry.get_string_list
  65       ["http://helm.cs.unibo.it/dtd"; "http://mowgli.cs.unibo.it/dtd"]
  66       "getter.dtd_base_urls"
  67   in
  68   List.map (Pcre.replace ~rex) raw_urls)
  69 let port            = lazy (
  70   Helm_registry.get_opt_default Helm_registry.get_int 58081 "getter.port")
  71
  72 let _servers = ref None
  73
  74 let servers =
  75  function () ->
  76     (match !_servers with
  77     | None -> failwith "Getter not yet initialized: servers not available"
  78     | Some servers -> servers)
  79
  80 let load_servers () =
  81   let pos = ref ~-1 in
  82   match Lazy.force servers_file with
  83   | None ->
  84       List.map (fun s -> incr pos; (!pos, s))
  85         (Helm_registry.get_string_list "getter.servers")
  86   | Some servers_file ->
  87       List.rev (Http_getter_misc.fold_file
  88         (fun line servers ->
  89           if Http_getter_misc.is_blank_line line then
  90             servers
  91           else
  92             (incr pos; (!pos, line) :: servers))
  93         []
  94         servers_file)
  95
  96 let reload_servers () = _servers := Some (load_servers ())
  97
  98 let save_servers () =
  99   match Lazy.force servers_file with
 100   | None -> ()
 101   | Some servers_file ->
 102       let oc = open_out servers_file in
 103       List.iter (fun (_,server) -> output_string oc (server ^ "\n"))
 104         (servers ());
 105   close_out oc
 106
 107 let host =
 108   lazy
 109     (let buf = Buffer.create 20 in
 110     Shell.call ~stdout:(Shell.to_buffer buf) [Shell.cmd "hostname" ["-f"]];
 111     Pcre.replace ~pat:"\n+$" (Buffer.contents buf))
 112
 113 let my_own_url =
 114   lazy
 115     (let (host, port) = (Lazy.force host, Lazy.force port) in
 116     sprintf "http://%s%s" (* without trailing '/' *)
 117     host (if port = 80 then "" else (sprintf ":%d" port)))
 118
 119 let cache_mode =
 120   lazy
 121     (let mode_string =
 122       Helm_registry.get_opt_default Helm_registry.get "gz" "getter.cache_mode"
 123     in
 124     match String.lowercase mode_string with
 125     | "normal" -> `Normal
 126     | "gz" -> `Gzipped
 127     | mode -> failwith ("Invalid cache mode: " ^ mode))
 128
 129 let reload () = reload_servers ()
 130
 131 let env_to_string () =
 132   sprintf
 133 "HTTP Getter %s (the OCaml one!)
 134
 135 cic_dbm:\t%s
 136 nuprl_dbm:\t%s
 137 rdf_dbm:\t%s
 138 xsl_dbm:\t%s
 139 xml_index:\t%s
 140 rdf_index:\t%s
 141 xsl_index:\t%s
 142 cic_dir:\t%s
 143 nuprl_dir:\t%s
 144 rdf_dir:\t%s
 145 dtd_dir:\t%s
 146 dump_file:\t%s
 147 prefetch:\t%b
 148 servers_file:\t%s
 149 host:\t\t%s
 150 port:\t\t%d
 151 my_own_url:\t%s
 152 dtd_base_urls:\t%s
 153 cache_mode:\t%s
 154 servers:
 155 \t%s
 156 log_file:\t%s
 157 log_level:\t%d
 158 "
 159     version (Lazy.force cic_dbm) (Lazy.force nuprl_dbm) (Lazy.force rdf_dbm)
 160     (Lazy.force xsl_dbm) (Lazy.force xml_index)
 161     (Lazy.force rdf_index) (Lazy.force xsl_index) (Lazy.force cic_dir)
 162     (Lazy.force nuprl_dir) (Lazy.force rdf_dir)
 163     (Lazy.force dtd_dir) (Lazy.force dump_file) (Lazy.force prefetch)
 164     (match Lazy.force servers_file with
 165     | None -> "no servers file"
 166     | Some servers_file -> servers_file)
 167     (Lazy.force host)
 168     (Lazy.force port) (Lazy.force my_own_url)
 169     (String.concat " " (Lazy.force dtd_base_urls))
 170     (match Lazy.force cache_mode with
 171     | `Normal -> "Normal"
 172     | `Gzipped -> "GZipped")
 173     (String.concat "\n\t" (* (position * server) list *)
 174       (List.map (fun (pos, server) -> sprintf "%3d: %s" pos server)
 175         (servers ())))
 176     (match Http_getter_logger.get_log_file () with None -> "None" | Some f -> f)
 177     (Http_getter_logger.get_log_level ())
 178
 179 let add_server ?position url =
 180   let new_servers =
 181     let servers = servers () in
 182     match position with
 183     | None -> servers @ [-1, url];
 184     | Some p when p > 0 ->
 185         let rec add_after pos = function
 186           | [] -> [-1, url]
 187           | hd :: tl when p = 1 -> hd :: (-1, url) :: tl
 188           | hd :: tl (* when p > 1 *) -> hd :: (add_after (pos - 1) tl)
 189         in
 190         add_after p servers
 191     | Some 0 -> (-1, url)::servers
 192     | Some _ -> assert false
 193   in
 194   _servers := Some new_servers;
 195   save_servers ();
 196   reload_servers ()
 197
 198 let remove_server position =
 199   _servers := Some (List.remove_assoc position (servers ()));
 200   save_servers ();
 201   reload_servers ()
 202