]> matita.cs.unibo.it Git - helm.git/blobdiff - helm/searchEngine/searchEngine.ml
generate HTML templates using XSLT starting from a bunch of .src files
[helm.git] / helm / searchEngine / searchEngine.ml
index 758d57e0a12199b98e59b98e0335c9404d0820b4..9fa4caa26f8b2f96d7f408c38b0a17ec21ec6ef8 100644 (file)
@@ -1,4 +1,4 @@
-(* Copyright (C) 2002-2004, HELM Team.
+(* Copyright (C) 2002-2005, HELM Team.
  * 
  * This file is part of HELM, an Hypertextual, Electronic
  * Library of Mathematics, developed at the Computer Science
@@ -25,8 +25,6 @@
 
 open Printf
 
-module DB = Dbi_mysql
-
 let debug = true
 let debug_print s = if debug then prerr_endline s
 let _ = Http_common.debug := false
@@ -36,26 +34,26 @@ exception Unbound_identifier of string
 exception Invalid_action of string  (* invalid action for "/search" method *)
 
 let daemon_name = "Moogle"
-let configuration_file = "/projects/helm/etc/moogle.conf.xml" 
+let configuration_file =
+  "/projects/helm/daemons/searchEngine.debug/moogle.conf.xml"
+
+let placeholders = [
+  "ACTION"; "ADVANCED"; "ADVANCED_CHECKED"; "CHOICES"; "CURRENT_CHOICES";
+  "EXPRESSION"; "ID"; "IDEN"; "ID_TO_URIS"; "INTERPRETATIONS";
+  "INTERPRETATIONS_LABELS"; "MSG"; "NEW_ALIASES"; "NEXT_LINK"; "NO_CHOICES";
+  "PAGE"; "PAGES"; "PREV_LINK"; "QUERY_KIND"; "QUERY_SUMMARY"; "RESULTS";
+  "SEARCH_ENGINE_URL"; "SIMPLE_CHECKED"; "TITLE";
+]
 
-let expression_tag_RE = Pcre.regexp "@EXPRESSION@"
-let action_tag_RE = Pcre.regexp "@ACTION@"
-let advanced_tag_RE = Pcre.regexp "@ADVANCED@"
-let advanced_checked_RE = Pcre.regexp "@ADVANCED_CHECKED@"
-let simple_checked_RE = Pcre.regexp "@SIMPLE_CHECKED@"
-let title_tag_RE = Pcre.regexp "@TITLE@"
-let no_choices_tag_RE = Pcre.regexp "@NO_CHOICES@"
-let current_choices_tag_RE = Pcre.regexp "@CURRENT_CHOICES@"
-let choices_tag_RE = Pcre.regexp "@CHOICES@"
-let msg_tag_RE = Pcre.regexp "@MSG@"
-let id_to_uris_RE = Pcre.regexp "@ID_TO_URIS@"
-let id_RE = Pcre.regexp "@ID@"
-let iden_tag_RE = Pcre.regexp "@IDEN@"
-let interpretations_RE = Pcre.regexp "@INTERPRETATIONS@"
-let interpretations_labels_RE = Pcre.regexp "@INTERPRETATIONS_LABELS@"
-let results_RE = Pcre.regexp "@RESULTS@"
-let new_aliases_RE = Pcre.regexp "@NEW_ALIASES@"
-let search_engine_url_RE = Pcre.regexp "@SEARCH_ENGINE_URL@"
+let tag =
+  let regexps = Hashtbl.create 25 in
+  List.iter
+    (fun tag -> Hashtbl.add regexps tag (Pcre.regexp (sprintf "@%s@" tag)))
+    placeholders;
+  fun name ->
+    try
+      Hashtbl.find regexps name
+    with Not_found -> assert false
 
   (* First of all we load the configuration *)
 let _ = Helm_registry.load_from configuration_file
@@ -70,6 +68,7 @@ let my_own_url =
  let hostname = input_line ic in
  ignore (Unix.close_process_in ic);
  sprintf "http://%s:%d" hostname port
+let _ = Helm_registry.set "search_engine.my_own_url" my_own_url
 
 let bad_request body outchan =
   Http_daemon.respond_error ~code:(`Status (`Client_error `Bad_request)) ~body
@@ -102,6 +101,10 @@ let javascript_quote s =
 let string_tail s =
   let len = String.length s in
   String.sub s 1 (len-1)
+let nonvar s =
+  let len = String.length s in
+  let suffix = String.sub s (len-4) 4 in
+  not (suffix  = ".var")
 
 let add_param_substs params =
   List.map
@@ -112,30 +115,88 @@ let add_param_substs params =
       (fun ((key,_) as p) -> Pcre.pmatch ~pat:"^param\\." key)
       params)
 
+let page_RE = Pcre.regexp "&param\\.page=\\d+"
+
+let query_kind_of_req (req: Http_types.request) =
+  match req#path with
+  | "/match" -> "Match"
+  | "/hint" -> "Hint"
+  | "/locate" -> "Locate"
+  | "/elim" -> "Elim"
+  | _ -> assert false
+
 let send_results results
   ?(id_to_uris = CicTextualParser2.EnvironmentP3.of_string "") 
    (req: Http_types.request) outchan
   =
+  let query_kind = query_kind_of_req req in
+  let page_link anchor page =
+    try
+      let this = req#param "this" in
+      let target =
+        if Pcre.pmatch ~rex:page_RE this then
+          Pcre.replace ~rex:page_RE ~templ:(sprintf "&param.page=%d" page)
+            this
+        else
+          sprintf "%s&param.page=%d" this page
+      in
+      let target = Pcre.replace ~pat:"&" ~templ:"&" target in
+      sprintf "<a href=\"%s\">%s</a>" target anchor
+    with Http_types.Param_not_found _ -> ""
+  in
   Http_daemon.send_basic_headers ~code:(`Code 200) outchan ;
   Http_daemon.send_header "Content-Type" "text/xml" outchan;
   Http_daemon.send_CRLF outchan ;
-  let results_string =
+  let subst =
     match results with
-    | `Results r -> MooglePp.theory_of_result req r
-    | `Error msg -> msg
+    | `Results results ->
+        let page = try int_of_string (req#param "page") with _ -> 1 in
+        let results_no = List.length results in
+        let results_per_page =
+          Helm_registry.get_int "search_engine.results_per_page"
+        in
+        let pages =
+          if results_no mod results_per_page = 0 then
+            results_no / results_per_page
+          else
+            results_no / results_per_page + 1
+        in
+        let pages = if pages = 0 then 1 else pages in
+        let (summary, results) = MooglePp.theory_of_result page results in
+        [ tag "PAGE", string_of_int page;
+          tag "PAGES", string_of_int pages;
+          tag "PREV_LINK", (if page > 1 then page_link "Prev" (page-1) else "");
+          tag "NEXT_LINK",
+            (if page < pages then page_link "Next" (page+1) else "");
+          tag "QUERY_KIND", query_kind;
+          tag "QUERY_SUMMARY", summary;
+          tag "RESULTS", results ]
+    | `Error msg ->
+        [ tag "PAGE", "1";
+          tag "PAGES", "1";
+          tag "PREV_LINK", "";
+          tag "NEXT_LINK", "";
+          tag "QUERY_KIND", query_kind;
+          tag "QUERY_SUMMARY", "error";
+          tag "RESULTS", msg ]
+  in
+  let advanced =
+    try
+      req#param "advanced"
+    with Http_types.Param_not_found _ -> "no"
   in
   let subst =
-    (search_engine_url_RE, my_own_url) ::
-    (results_RE, results_string) ::
-    (advanced_tag_RE, req#param "advanced") ::
-    (expression_tag_RE, req#param "expression") ::
+    (tag "SEARCH_ENGINE_URL", my_own_url) ::
+    (tag "ADVANCED", advanced) ::
+    (tag "EXPRESSION", req#param "expression") ::
     add_param_substs req#params @
-    (if req#param "advanced" = "no" then
-      [ simple_checked_RE, "checked='true'";
-        advanced_checked_RE, "" ]
+    (if advanced = "no" then
+      [ tag "SIMPLE_CHECKED", "checked='true'";
+        tag "ADVANCED_CHECKED", "" ]
     else
-      [ simple_checked_RE, "";
-        advanced_checked_RE, "checked='true'" ])
+      [ tag "SIMPLE_CHECKED", "";
+        tag "ADVANCED_CHECKED", "checked='true'" ]) @
+    subst
   in
   iter_file
     (fun line ->
@@ -145,13 +206,14 @@ let send_results results
       let processed_line =
         apply_substs
           (* CSC: Bug here: this is a string, not an array! *)
-          ((new_aliases_RE, "'" ^ javascript_quote new_aliases ^ "'")::subst) 
+          ((tag "NEW_ALIASES", "'" ^ javascript_quote new_aliases ^ "'") ::
+            subst) 
           line
       in
       output_string outchan (processed_line ^ "\n"))
     moogle_TPL
 
-let exec_action dbh (req: Http_types.request) outchan =
+let exec_action dbd (req: Http_types.request) outchan =
   let term_str = req#param "expression" in
   let (context, metasenv) = ([], []) in
   let id_to_uris_raw = 
@@ -162,19 +224,19 @@ let exec_action dbh (req: Http_types.request) outchan =
     List.map int_of_string (Pcre.split ~pat:" " choices) in
   let parse_choices choices_raw =
     let choices = Pcre.split ~pat:";" choices_raw in
-      List.fold_left
-        (fun f x ->
-           match Pcre.split ~pat:"\\s" x with
-             | ""::id::tail
-             | id::tail when id<>"" ->
-                 (fun id' ->
-                    if id = id' then
-                      Some (List.map (fun u -> Netencoding.Url.decode u) tail)
-                    else
-                      f id')
-             | _ -> failwith "Can't parse choices")
-        (fun _ -> None)
-        choices
+    List.fold_left
+      (fun f x ->
+         match Pcre.split ~pat:"\\s" x with
+           | ""::id::tail
+           | id::tail when id<>"" ->
+               (fun id' ->
+                  if id = id' then
+                    Some (List.map (fun u -> Netencoding.Url.decode u) tail)
+                  else
+                    f id')
+           | _ -> failwith "Can't parse choices")
+      (fun _ -> None)
+      choices
   in
   let id_to_uris = CicTextualParser2.EnvironmentP3.of_string id_to_uris_raw in
   let id_to_choices =
@@ -197,7 +259,7 @@ let exec_action dbh (req: Http_types.request) outchan =
       =
         match id_to_choices id with
         | Some choices -> choices
-        | None -> assert false
+        | None -> List.filter nonvar choices
 
       let interactive_interpretation_choice interpretations =
         match interpretation_choices with
@@ -208,15 +270,20 @@ let exec_action dbh (req: Http_types.request) outchan =
             in
             Http_daemon.send_basic_headers ~code:(`Code 200) outchan ;
             Http_daemon.send_CRLF outchan ;
+            let advanced =
+              try
+                req#param "advanced"
+              with Http_types.Param_not_found _ -> "no"
+            in
             iter_file
               (fun line ->
                  let processed_line =
                    apply_substs
-                     [advanced_tag_RE, req#param "advanced";
-                      interpretations_RE, html_interpretations;
-                      current_choices_tag_RE, req#param "choices";
-                      expression_tag_RE, req#param "expression";
-                      action_tag_RE, string_tail req#path ]
+                     [tag "ADVANCED", advanced;
+                      tag "INTERPRETATIONS", html_interpretations;
+                      tag "CURRENT_CHOICES", req#param "choices";
+                      tag "EXPRESSION", req#param "expression";
+                      tag "ACTION", string_tail req#path ]
                       line
                  in
                  output_string outchan (processed_line ^ "\n"))
@@ -233,14 +300,14 @@ let exec_action dbh (req: Http_types.request) outchan =
   let ast = CicTextualParser2.parse_term (Stream.of_string term_str) in
   let (id_to_uris, metasenv, term) =
     match
-      Disambiguate'.disambiguate_term dbh context metasenv ast id_to_uris
+      Disambiguate'.disambiguate_term dbd context metasenv ast id_to_uris
     with
-    | [id_to_uris,metasenv,term] -> id_to_uris,metasenv,term
+    | [id_to_uris,metasenv,term,_] -> id_to_uris,metasenv,term
     | _ -> assert false
   in
   let uris =
     match req#path with
-    | "/match" -> MetadataQuery.match_term ~dbh term
+    | "/match" -> MetadataQuery.match_term ~dbd term
     | "/hint" ->
         let status = ProofEngineTypes.initial_status term metasenv in
         let intros = PrimitiveTactics.intros_tac () in
@@ -248,7 +315,7 @@ let exec_action dbh (req: Http_types.request) outchan =
         (match subgoals with
         | proof, [goal] ->
             let (uri,metasenv,bo,ty) = proof in
-            List.map fst (MetadataQuery.hint ~dbh (proof, goal))
+            List.map fst (MetadataQuery.hint ~dbd (proof, goal))
         | _ -> assert false)
     | "/elim" ->
         let uri =
@@ -257,20 +324,19 @@ let exec_action dbh (req: Http_types.request) outchan =
               UriManager.string_of_uriref (uri, [typeno])
           | _ -> assert false
         in
-        MetadataQuery.elim ~dbh uri
+        MetadataQuery.elim ~dbd uri
     | _ -> assert false
   in
   send_results ~id_to_uris (`Results uris) req outchan
 
-let callback dbh (req: Http_types.request) outchan =
+let callback dbd (req: Http_types.request) outchan =
   try
     debug_print (sprintf "Received request: %s" req#path);
     (match req#path with
     | "/getpage" ->
           (* TODO implement "is_permitted" *)
         (let is_permitted _ = true in
-        let remove_fragment uri = Pcre.replace ~pat:"#.*" uri in
-        let page = remove_fragment (req#param "url") in
+        let page = req#param "url" in
         let preprocess =
           (try
             bool_of_string (req#param "preprocess")
@@ -278,7 +344,7 @@ let callback dbh (req: Http_types.request) outchan =
         in
         (match page with
         | page when is_permitted page ->
-            (let fname = sprintf "%s/%s" pages_dir (remove_fragment page) in
+            (let fname = sprintf "%s/%s" pages_dir page in
             Http_daemon.send_basic_headers ~code:(`Code 200) outchan;
             Http_daemon.send_header "Content-Type" "text/html" outchan;
             Http_daemon.send_CRLF outchan;
@@ -287,9 +353,9 @@ let callback dbh (req: Http_types.request) outchan =
                 (fun line ->
                   output_string outchan
                     ((apply_substs
-                       ((search_engine_url_RE, my_own_url) ::
-                        (advanced_tag_RE, "no") ::
-                        (results_RE, "") ::
+                       ((tag "SEARCH_ENGINE_URL", my_own_url) ::
+                        (tag "ADVANCED", "no") ::
+                        (tag "RESULTS", "") ::
                         add_param_substs req#params)
                        line) ^
                     "\n"))
@@ -308,12 +374,13 @@ let callback dbh (req: Http_types.request) outchan =
         in
         if expression = "" then
           send_results (`Results []) req outchan
-        else
-          let results = MetadataQuery.locate ~dbh expression in
+        else begin
+          let results = MetadataQuery.locate ~dbd expression in
           send_results (`Results results) req outchan
+        end
     | "/hint"
     | "/elim"
-    | "/match" -> exec_action dbh req outchan
+    | "/match" -> exec_action dbd req outchan
     | invalid_request ->
         Http_daemon.respond_error ~code:(`Status (`Client_error `Bad_request))
           outchan);
@@ -322,7 +389,7 @@ let callback dbh (req: Http_types.request) outchan =
   | Chat_unfinished -> ()
   | Http_types.Param_not_found attr_name ->
       bad_request (sprintf "Parameter '%s' is missing" attr_name) outchan
-  | CicTextualParser2.Parse_error msg ->
+  | CicTextualParser2.Parse_error (_, msg) ->
       send_results (`Error (MooglePp.pp_error "Parse_error" msg)) req outchan
   | Unbound_identifier id ->
       send_results (`Error (MooglePp.pp_error "Unbound identifier" id)) req
@@ -339,10 +406,13 @@ let _ =
   printf "HTML directory is %s\n" pages_dir;
   flush stdout;
   Unix.putenv "http_proxy" "";
-  let dbh =
-    new DB.connection ~host:(Helm_registry.get "db.host")
-      ~user:(Helm_registry.get "db.user") (Helm_registry.get "db.database")
+  let dbd =
+    Mysql.quick_connect
+      ~host:(Helm_registry.get "db.host")
+      ~database:(Helm_registry.get "db.database")
+      ~user:(Helm_registry.get "db.user")
+      ()
   in
-  Http_daemon.start' ~port (callback dbh);
+  Http_daemon.start' ~port (callback dbd);
   printf "%s is terminating, bye!\n" daemon_name