helm/gTopLevel/regtest.ml

   1 (* Copyright (C) 2004, HELM Team.
   2  *
   3  * This file is part of HELM, an Hypertextual, Electronic
   4  * Library of Mathematics, developed at the Computer Science
   5  * Department, University of Bologna, Italy.
   6  *
   7  * HELM is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation; either version 2
  10  * of the License, or (at your option) any later version.
  11  *
  12  * HELM is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with HELM; if not, write to the Free Software
  19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  20  * MA  02111-1307, USA.
  21  *
  22  * For details, see the HELM World-Wide-Web page,
  23  * http://helm.cs.unibo.it/
  24  *)
  25
  26 open Printf
  27
  28 let argc = Array.length Sys.argv
  29
  30 let rawsep = "###"
  31 let sep = Pcre.regexp (sprintf "^%s" rawsep)
  32 let sep2 = Pcre.regexp (sprintf "^%s%s" rawsep rawsep)
  33 let print s = print_string s; flush stdout
  34 let print_endline s = print_endline s
  35 let print_endline_to_channel ch s = output_string ch (s ^ "\n")
  36
  37 type state = Term | EEnv | EMetasenv | ETerm | EType | EReduced
  38
  39 (* regtest file format
  40  *    < cic term in concrete syntax >
  41  *    separatorseparator INTERPRETATION NUMBER <n> separatorseparator
  42  *    separator (* see sep above *)
  43  *    < expected disambiguating environment (EnvironmentP3.to_string)  >
  44  *    separator (* see sep above *)
  45  *    < expected metasenv after disambiguation (CicMetaSubst.ppmetasenv)  >
  46  *    separator (* see sep above *)
  47  *    < expected cic term after disambiguation (CicPp.ppterm) >
  48  *    separator (* see sep above *)
  49  *    < expected cic type as per type_of (CicPp.ppterm) >
  50  *    separator (* see sep above *)
  51  *    < expected reduced cic term as (CicPp.ppterm) >
  52  *    ... (* repeat from ... INTERPRETATION NUMBER ... *)
  53  *)
  54
  55 type regtest = {
  56   term: string; (* raw cic term *)
  57   eenv : string; (* disambiguating parsing environment *)
  58   emetasenv : string; (* expected metasenv *)
  59   eterm: string;  (* expected term *)
  60   etype: string;  (* expected type *)
  61   ereduced: string; (* expected reduced term *)
  62 }
  63
  64 let print_test tests fname =
  65   let oc = open_out fname in
  66   output_string oc (List.hd tests).term;
  67   let i = ref 0 in
  68   List.iter
  69    (function test ->
  70      incr i ;
  71      output_string oc
  72        (String.concat ""
  73          [ sprintf "%s%s INTERPRETATION NUMBER %d %s%s\n" rawsep rawsep !i rawsep rawsep ;
  74            sprintf "%s (* disambiguation environment  *)\n" rawsep;
  75            test.eenv;
  76            sprintf "%s (* METASENV after disambiguation  *)\n" rawsep;
  77            test.emetasenv;
  78            sprintf "%s (* TERM after disambiguation      *)\n" rawsep;
  79            test.eterm;
  80            sprintf "%s (* TYPE_OF the disambiguated term *)\n" rawsep;
  81            test.etype;
  82            sprintf "%s (* REDUCED disambiguated term     *)\n" rawsep;
  83            test.ereduced ])
  84    ) tests;
  85   close_out oc
  86
  87 let parse_regtest =
  88   let term = Buffer.create 1024 in  (* raw term *)
  89   let eenv = Buffer.create 1024 in  (* disambiguating parser environment *)
  90   let emetasenv = Buffer.create 1024 in  (* expected metasenv *)
  91   let eterm = Buffer.create 1024 in (* raw expected term *)
  92   let etype = Buffer.create 1024 in (* raw expected type *)
  93   let ereduced = Buffer.create 1024 in (* raw expected reducted term *)
  94   let state = ref Term in
  95   let bump_state () =
  96     match !state with
  97     | Term -> state := EEnv
  98     | EEnv -> state := EMetasenv
  99     | EMetasenv -> state := ETerm
 100     | ETerm -> state := EType
 101     | EType -> state := EReduced
 102     | EReduced -> assert false
 103   in
 104   let buffer_of_state = function
 105     | Term ->  term | EEnv -> eenv | EMetasenv -> emetasenv | ETerm -> eterm | EType -> etype
 106     | EReduced -> ereduced
 107   in
 108   let clear_buffers () =
 109     List.iter Buffer.clear [ eenv; emetasenv; eterm; etype; ereduced ]
 110   in
 111   fun fname ->
 112     state := Term;
 113     let first = ref true in
 114     let res = ref [] in
 115     let push_res () =
 116      res :=
 117       {term = Buffer.contents term;
 118        eenv = Buffer.contents eenv;
 119        emetasenv = Buffer.contents emetasenv;
 120        eterm = Buffer.contents eterm;
 121        etype = Buffer.contents etype;
 122        ereduced = Buffer.contents ereduced } :: !res ;
 123     in
 124     Buffer.clear term;
 125     let ic = open_in fname in
 126     (try
 127       while true do
 128         let line = input_line ic in
 129         match line with
 130         | l when Pcre.pmatch ~rex:sep2 l ->
 131             if !first then first := false else push_res () ;
 132             clear_buffers ();
 133             state := Term
 134         | l when Pcre.pmatch ~rex:sep l -> bump_state ()
 135         | l -> Buffer.add_string (buffer_of_state !state) (line ^ "\n")
 136       done
 137     with End_of_file -> ());
 138     push_res () ;
 139     List.rev !res
 140
 141 let as_expected_one och expected found = (* ignores "term" field *)
 142   let eterm_ok = expected.eterm = found.eterm in
 143   let eenv_ok = expected.eenv = found.eenv in
 144   let emetasenv_ok = expected.emetasenv = found.emetasenv in
 145   let etype_ok = expected.etype = found.etype in
 146   let ereduced_ok = expected.ereduced = found.ereduced in
 147   let outcome =
 148    eterm_ok && eenv_ok && emetasenv_ok && etype_ok && ereduced_ok
 149   in
 150    begin
 151     let print_endline s = print_endline_to_channel (Lazy.force och) s in
 152     if not eterm_ok then begin
 153       print_endline "### Term mismatch ###";
 154       print_endline "# expected:";
 155       print_endline ("  " ^ expected.eterm);
 156       print_endline "# found:";
 157       print_endline ("  " ^ found.eterm);
 158     end;
 159     if not eenv_ok then begin
 160       print_endline "### Disambiguation environment mismatch ###";
 161       print_endline "# expected:";
 162       print_endline ("  " ^ expected.eenv);
 163       print_endline "# found:";
 164       print_endline ("  " ^ found.eenv);
 165     end;
 166     if not emetasenv_ok then begin
 167       print_endline "### Metasenv mismatch ###";
 168       print_endline "# expected:";
 169       print_endline ("  " ^ expected.emetasenv);
 170       print_endline "# found:";
 171       print_endline ("  " ^ found.emetasenv);
 172     end;
 173     if not etype_ok then begin
 174       print_endline "### Type mismatch ###";
 175       print_endline "# expected:";
 176       print_endline ("  " ^ expected.etype);
 177       print_endline "# found:";
 178       print_endline ("  " ^ found.etype);
 179     end;
 180     if expected.ereduced <> found.ereduced then begin
 181       print_endline "### Reduced term mismatch ###";
 182       print_endline "# expected:";
 183       print_endline ("  " ^ expected.ereduced);
 184       print_endline "# found:";
 185       print_endline ("  " ^ found.ereduced);
 186     end;
 187    end;
 188   outcome
 189
 190 let as_expected report_fname expected found =
 191  (if Sys.file_exists report_fname then Sys.remove report_fname) ;
 192  let och = lazy (open_out report_fname) in
 193  let print_endline s = print_endline_to_channel (Lazy.force och) s in
 194   let print_interpretation test =
 195     print_endline "## Interpretation dump ##";
 196     print_endline "# Disambiguation environment:";
 197     print_endline test.eenv;
 198     print_endline "# Metasenv:";
 199     print_endline test.emetasenv;
 200     print_endline "# Term:";
 201     print_endline test.eterm;
 202     print_endline "# Type:";
 203     print_endline test.etype;
 204     print_endline "# Reduced term:";
 205     print_endline test.ereduced;
 206   in
 207   let rec aux =
 208    function
 209       [],[] -> true
 210     | ex::extl, fo::fotl ->
 211         let outcome1 = as_expected_one och ex fo in
 212         let outcome2 = aux (extl,fotl) in
 213         outcome1 && outcome2
 214     | [],found ->
 215        print_endline "### Too many interpretations found:" ;
 216        List.iter print_interpretation found;
 217        false
 218     | expected,[] ->
 219        print_endline "### Too few interpretations found:" ;
 220        List.iter print_interpretation expected;
 221        false
 222   in
 223    let outcome = aux (expected,found) in
 224     (if Lazy.lazy_is_val och then close_out (Lazy.force och)) ;
 225     outcome
 226
 227 let test_this mqi_handle uri_pred raw_term =
 228   let empty_context = [] in
 229   List.map
 230    (function (env, metasenv, cic_term,ugraph ) ->
 231      let etype =
 232       try
 233         let ty, _ =
 234           (CicTypeChecker.type_of_aux' metasenv empty_context cic_term ugraph)
 235         in
 236           CicPp.ppterm ty
 237       with _ -> "MALFORMED"
 238      in
 239      let ereduced =
 240       try
 241        CicPp.ppterm (CicReduction.whd empty_context cic_term)
 242       with _ -> "MALFORMED"
 243      in
 244      { term = raw_term;  (* useless *)
 245        eenv = DisambiguatingParser.EnvironmentP3.to_string env ^ "\n";
 246        emetasenv = CicMetaSubst.ppmetasenv metasenv [] ^ "\n";
 247        eterm = CicPp.ppterm cic_term ^ "\n";
 248        etype = etype ^ "\n";
 249        ereduced = ereduced ^ "\n";
 250      }
 251    ) (BatchParser.parse mqi_handle ~uri_pred raw_term CicUniv.empty_ugraph)
 252
 253 let dump_environment filename =
 254   try
 255     let oc = open_out filename in
 256     CicEnvironment.dump_to_channel oc;
 257     close_out oc
 258   with exc ->
 259     prerr_endline
 260      ("DUMP_ENVIRONMENT FAILURE, uncaught excecption " ^
 261        Printexc.to_string exc) ;
 262     raise exc
 263
 264 let restore_environment filename =
 265   if Sys.file_exists filename then
 266    begin
 267     try
 268       let ic = open_in filename in
 269       CicEnvironment.restore_from_channel ic;
 270       close_in ic
 271     with exc ->
 272       prerr_endline
 273        ("RESTORE_ENVIRONMENT FAILURE, uncaught excecption " ^
 274          Printexc.to_string exc) ;
 275       raise exc
 276    end
 277   else
 278    CicEnvironment.empty ()
 279
 280 let main mqi_handle generate  dump fnames tryvars prefix varsprefix =
 281  let uri_pred = BatchParser.uri_pred_of_conf tryvars ~prefix ~varsprefix in
 282  if generate then
 283   begin
 284    (* gen mode *)
 285    print_endline "[ Gen mode ]";
 286    List.iter
 287     (function fname ->
 288       let test_fname = fname ^ ".test" in
 289       let env_fname = fname ^ ".env" in
 290       print_endline (sprintf "Generating regtest %s -> %s\n ..."
 291         fname test_fname);
 292       let raw_term = (List.hd (parse_regtest fname)).term in
 293       let results = test_this mqi_handle uri_pred raw_term in
 294       print_test results test_fname ;
 295       if dump then dump_environment env_fname ;
 296     ) fnames
 297   end else
 298    begin
 299     (* regtest mode *)
 300     print_endline "[ Regtest mode ]";
 301     let (ok, nok) = (ref 0, ref []) in
 302     List.iter
 303      (function fname ->
 304        let env_fname = fname ^ ".env" in
 305        let test_fname = fname ^ ".test" in
 306        let report_fname = fname ^ ".report" in
 307        restore_environment env_fname ;
 308        let time = Unix.gettimeofday () in
 309        print ("Processing " ^ fname ^":\t") ;
 310        let is_ok =
 311         try
 312           let expected = parse_regtest test_fname in
 313           let actual = test_this mqi_handle uri_pred (List.hd expected).term in
 314           if dump then dump_environment env_fname ;
 315           if as_expected report_fname expected actual then
 316            (incr ok ; true)
 317           else
 318            (nok := fname :: !nok ; false)
 319         with e -> (nok := fname :: !nok ; false)
 320        in
 321         let timediff = Unix.gettimeofday () -. time in
 322          print (sprintf "done in %f seconds\t" timediff) ;
 323          print_endline
 324           (if is_ok then
 325             "\e[01;32m[   OK   ]\e[00m"
 326           else
 327             "\e[01;31m[ FAILED ]\e[00m")
 328      ) fnames ;
 329     print_endline "*** Summary ***";
 330     print_endline (sprintf "Succeeded: %d" !ok);
 331     print_endline (sprintf "Failed: %d" (List.length !nok));
 332     List.iter (fun fname -> print_endline (sprintf "  %s failed :-(" fname))
 333       (List.rev !nok)
 334   end
 335
 336 let _ =
 337
 338  Helm_registry.load_from "gTopLevel.conf.xml";
 339  HelmLogger.register_log_callback
 340   (fun ?(append_NL = true) msg ->
 341     (if append_NL then prerr_endline else prerr_string)
 342       (HelmLogger.string_of_html_msg msg));
 343  Helm_registry.load_from "gTopLevel.conf.xml";
 344  let dbd =
 345   Mysql.quick_connect
 346     ~host:(Helm_registry.get "db.host")
 347     ~user:(Helm_registry.get "db.user")
 348     ~database:(Helm_registry.get "db.database")
 349     ()
 350  in
 351  let fnames = ref [] in
 352  let gen = ref false in
 353  let tryvars = ref false in
 354  let dump = ref false in
 355  let nodump = ref false in
 356  let prefix = ref "" in
 357  let varsprefix = ref "###" in
 358  let usage = "regtest [OPTION] ... test1 ..." in
 359  let spec =
 360    ["-gen", Arg.Set gen,
 361       "generate the tests; implies -dump (unless -nodump is specified)" ;
 362     "--gen", Arg.Set gen,
 363       "generate the tests; implies -dump (unless -nodump is specified)" ;
 364     "-dump", Arg.Set dump, "dump the final environment" ;
 365     "--dump", Arg.Set dump, "dump the final environment" ;
 366     "-nodump", Arg.Set nodump, "do not dump the final environment" ;
 367     "--nodump", Arg.Set nodump, "do not dump the final environment" ;
 368     "-vars", Arg.Set tryvars, "try also variables" ;
 369     "-novars", Arg.Clear tryvars, "do not try variables (default)" ;
 370     "-prefix", Arg.Set_string prefix,
 371       "limit object choices to URIs beginning with prefix" ;
 372     "--prefix", Arg.Set_string prefix,
 373       "limit object choices to URIs beginning with prefix" ;
 374     "-varsprefix", Arg.Set_string varsprefix,
 375       "limit variable choices to URIs beginning with prefix; overrides -prefix" ;
 376     "--varsprefix", Arg.Set_string varsprefix,
 377       "limit variable choices to URIs beginning with prefix; overrides -prefix"
 378    ]
 379  in
 380   Arg.parse spec (fun filename -> fnames := filename::!fnames ) usage ;
 381   if !fnames = [] then
 382    Arg.usage spec (Sys.argv.(0) ^ ": missing argument test. You must provide at least one test file.\n" ^ usage) ;
 383   if !varsprefix = "###" then varsprefix := !prefix ;
 384   main dbd !gen ((!gen || !dump) && (not !nodump)) !fnames !tryvars !prefix !varsprefix;
 385   Mysql.disconnect dbd