]> matita.cs.unibo.it Git - helm.git/blobdiff - matitaB/components/ng_tactics/nnAuto.ml
non-facts local candidates must be applied too in presence of
[helm.git] / matitaB / components / ng_tactics / nnAuto.ml
index 387e644b0d61a574fac76c2b220a64fd465b7ebd..697355db296cd2dc74a5c247b3dcd743b2ffe955 100644 (file)
@@ -12,7 +12,7 @@
 open Printf
 
 let print ?(depth=0) s = 
-  prerr_endline (String.make depth '\t'^Lazy.force s) 
+  prerr_endline (String.make (2*depth) ' '^Lazy.force s) 
 let noprint ?(depth=0) _ = () 
 let debug_print = noprint
 
@@ -146,9 +146,11 @@ let is_a_fact_ast status subst metasenv ctx cand =
  let ty = NCicTypeChecker.typeof status subst metasenv ctx t in
    is_a_fact status (mk_cic_term ctx ty)
 
-let current_goal status = 
+let current_goal ?(single_goal=true) status = 
   let open_goals = head_goals status#stack in
-  assert (List.length open_goals  = 1);
+  if single_goal 
+     then assert (List.length open_goals  = 1)
+     else assert (List.length open_goals >= 1);
   let open_goal = List.hd open_goals in
   let gty = get_goalty status open_goal in
   let ctx = ctx_of gty in
@@ -215,7 +217,7 @@ let height_of_goals status =
     (fun open_goal ->
        h := max !h (height_of_goal open_goal status))
      open_goals;
-  debug_print (lazy ("altezza sequente: " ^ string_of_int !h));
+  noprint (lazy ("altezza sequente: " ^ string_of_int !h));
   !h
 ;;
 
@@ -231,21 +233,21 @@ let solve f status eq_cache goal =
   let gty = NCicUntrusted.apply_subst status subst ctx gty in
   let build_status (pt, _, metasenv, subst) =
     try
-      debug_print (lazy ("refining: "^(status#ppterm ctx subst metasenv pt)));
+      noprint (lazy ("refining: "^(status#ppterm ctx subst metasenv pt)));
       let stamp = Unix.gettimeofday () in 
       let metasenv, subst, pt, pty =
        (* NCicRefiner.typeof status
           (* (status#set_coerc_db NCicCoercion.empty_db) *)
           metasenv subst ctx pt None in
-          print (lazy ("refined: "^(status#ppterm ctx subst metasenv pt)));
-          debug_print (lazy ("synt: "^(status#ppterm ctx subst metasenv pty)));
+          debug_print (lazy ("refined: "^(status#ppterm ctx subst metasenv pt)));
+          noprint (lazy ("synt: "^(status#ppterm ctx subst metasenv pty)));
           let metasenv, subst =
             NCicUnification.unify status metasenv subst ctx gty pty *)
         NCicRefiner.typeof 
           (status#set_coerc_db NCicCoercion.empty_db) 
           metasenv subst ctx pt (Some gty) 
         in 
-          debug_print (lazy (Printf.sprintf "Refined in %fs"
+          noprint (lazy (Printf.sprintf "Refined in %fs"
                      (Unix.gettimeofday() -. stamp))); 
           let status = status#set_obj (n,h,metasenv,subst,o) in
           let metasenv = List.filter (fun j,_ -> j <> goal) metasenv in
@@ -288,7 +290,7 @@ let auto_eq_check eq_cache status =
 ;;
 
 let index_local_equations eq_cache status =
-  debug_print (lazy "indexing equations");
+  noprint (lazy "indexing equations");
   let open_goals = head_goals status#stack in
   let open_goal = List.hd open_goals in
   let ngty = get_goalty status open_goal in
@@ -301,10 +303,10 @@ let index_local_equations eq_cache status =
          try
            let ty = NCicTypeChecker.typeof status [] [] ctx t in
            if is_a_fact status (mk_cic_term ctx ty) then
-             (debug_print(lazy("eq indexing " ^ (status#ppterm ctx [] [] ty)));
+             (noprint(lazy("eq indexing " ^ (status#ppterm ctx [] [] ty)));
               NCicParamod.forward_infer_step status [] [] ctx eq_cache t ty)
            else 
-             (debug_print (lazy ("not a fact: " ^ (status#ppterm ctx [] [] ty)));
+             (noprint (lazy ("not a fact: " ^ (status#ppterm ctx [] [] ty)));
               eq_cache)
          with 
            | NCicTypeChecker.TypeCheckerFailure _
@@ -447,7 +449,7 @@ let ground_instances status gl =
     List.iter
       (fun i -> 
          let (_, ctx, t, _) = List.assoc i subst in
-           debug_print (lazy (status#ppterm ctx [] [] t));
+           noprint (lazy (status#ppterm ctx [] [] t));
            List.iter 
              (fun (uri,_,_,_,_) as obj -> 
                 NCicEnvironment.invalidate_item status (`Obj (uri, obj))) 
@@ -505,15 +507,15 @@ let close status g =
   let elems = IntSet.elements subset in 
   let _, ctx, ty = NCicUtils.lookup_meta g metasenv in
   let ty = NCicUntrusted.apply_subst status subst ctx ty in
-  debug_print (lazy ("metas in " ^ (status#ppterm ctx [] metasenv ty)));
-  debug_print (lazy (String.concat ", " (List.map string_of_int elems)));
+  noprint (lazy ("metas in " ^ (status#ppterm ctx [] metasenv ty)));
+  noprint (lazy (String.concat ", " (List.map string_of_int elems)));
   let submenv = List.filter (fun (x,_) -> IntSet.mem x subset) metasenv in
   let submenv = List.rev (NCicUntrusted.sort_metasenv status subst submenv) in 
 (*  
     let submenv = metasenv in
 *)
   let ty = close_wrt_metasenv status subst ty submenv in
-    debug_print (lazy (status#ppterm ctx [] [] ty));
+    noprint (lazy (status#ppterm ctx [] [] ty));
     ctx,ty
 ;;
 
@@ -575,19 +577,49 @@ let smart_apply t unit_eq status g =
       let _,_,metasenv,subst,_ = status#obj in
       let _,ctx,jty = List.assoc j metasenv in
       let jty = NCicUntrusted.apply_subst status subst ctx jty in
-        debug_print(lazy("goal " ^ (status#ppterm ctx [] [] jty)));
+        noprint(lazy("goal " ^ (status#ppterm ctx [] [] jty)));
         fast_eq_check unit_eq status j
     with
       | NCicEnvironment.ObjectNotFound s as e ->
           raise (Error (lazy "eq_coerc non yet defined",Some e))
       | Error _ as e -> debug_print (lazy "error"); raise e
 
+let compare_statuses ~past ~present =
+ let _,_,past,_,_ = past#obj in 
+ let _,_,present,_,_ = present#obj in 
+ List.map fst (List.filter (fun (i,_) -> not(List.mem_assoc i past)) present),
+ List.map fst (List.filter (fun (i,_) -> not (List.mem_assoc i present)) past)
+;;
+
+(* paramodulation has only an implicit knoweledge of the symmetry of equality;
+   hence it is in trouble in proving (a = b) = (b = a) *) 
+let try_sym tac status g =
+  (* put the right uri *)
+  let sym_eq = Ast.Appl [Ast.Ident("sym_eq",`Ambiguous); Ast.Implicit `Vector] in
+  let _,_,metasenv,subst,_ = status#obj in
+  let _, context, gty = List.assoc g metasenv in
+  let is_eq = 
+    NCicParamod.is_equation status metasenv subst context gty 
+  in
+  if is_eq then
+    try tac status g
+    with Error _ ->
+      let new_status = instantiate_with_ast status g ("",0,sym_eq) in 
+      let go, _ = compare_statuses ~past:status ~present:new_status in
+      assert (List.length go  = 1);
+      let ng = List.hd go in
+      tac new_status ng
+   else tac status g
+;;
+
 let smart_apply_tac t s =
   let unit_eq = index_local_equations s#eq_cache s in   
-  NTactics.distribute_tac (smart_apply t unit_eq) s
+  NTactics.distribute_tac (try_sym (smart_apply t unit_eq)) s 
+  (* NTactics.distribute_tac (smart_apply t unit_eq) s *)
 
 let smart_apply_auto t eq_cache =
-  NTactics.distribute_tac (smart_apply t eq_cache)
+  NTactics.distribute_tac (try_sym (smart_apply t eq_cache)) 
+  (* NTactics.distribute_tac (smart_apply t eq_cache) *)
 
 
 (****************** types **************)
@@ -712,8 +744,8 @@ let mk_th_cache status gl =
     (fun (status, acc) g ->
        let gty = get_goalty status g in
        let ctx = ctx_of gty in
-       debug_print(lazy("th cache for: "^ppterm status gty));
-       debug_print(lazy("th cache in: "^ppcontext status ctx));
+       noprint(lazy("th cache for: "^ppterm status gty));
+       noprint(lazy("th cache in: "^ppcontext status ctx));
        if List.mem_assq ctx acc then status, acc else
          let idx = InvRelDiscriminationTree.empty in
          let status,_,idx = 
@@ -721,7 +753,7 @@ let mk_th_cache status gl =
              (fun (status, i, idx) _ -> 
                 let t = mk_cic_term ctx (NCic.Rel i) in
                 let status, keys = keys_of_term status t in
-                debug_print(lazy("indexing: "^ppterm status t ^ ": " ^ string_of_int (List.length keys)));
+                noprint(lazy("indexing: "^ppterm status t ^ ": " ^ string_of_int (List.length keys)));
                 let idx =
                   List.fold_left (fun idx k -> 
                     InvRelDiscriminationTree.index idx k t) idx keys
@@ -733,6 +765,14 @@ let mk_th_cache status gl =
     (status,[]) gl
 ;;
 
+let all_elements ctx cache =
+  let dummy = mk_cic_term ctx (NCic.Meta (0,(0, (NCic.Irl 0)))) in
+    try
+      let idx = List.assq ctx cache in
+      Ncic_termSet.elements 
+        (InvRelDiscriminationTree.retrieve_unifiables idx dummy)
+    with Not_found -> []
+
 let add_to_th t c ty = 
   let key_c = ctx_of t in
   if not (List.mem_assq key_c c) then
@@ -764,7 +804,7 @@ let rm_from_th t c ty =
 let pp_idx status idx =
    InvRelDiscriminationTree.iter idx
       (fun k set ->
-         debug_print(lazy("K: " ^ NCicInverseRelIndexable.string_of_path k));
+         noprint(lazy("K: " ^ NCicInverseRelIndexable.string_of_path k));
          Ncic_termSet.iter 
            (fun t -> debug_print(lazy("\t"^ppterm status t))) 
            set)
@@ -773,9 +813,9 @@ let pp_idx status idx =
 let pp_th (status: #NTacStatus.pstatus) = 
   List.iter 
     (fun ctx, idx ->
-       debug_print(lazy( "-----------------------------------------------"));
-       debug_print(lazy( (status#ppcontext ~metasenv:[] ~subst:[] ctx)));
-       debug_print(lazy( "||====>  "));
+       noprint(lazy( "-----------------------------------------------"));
+       noprint(lazy( (status#ppcontext ~metasenv:[] ~subst:[] ctx)));
+       noprint(lazy( "||====>  "));
        pp_idx status idx)
 ;;
 
@@ -808,6 +848,7 @@ type flags = {
 type cache =
     {facts : th_cache; (* positive results *)
      under_inspection : cic_term list * th_cache; (* to prune looping *)
+     failures : th_cache; (* to avoid repetitions *)
      unit_eq : NCicParamod.state;
      trace: Ast.term list
     }
@@ -815,7 +856,7 @@ type cache =
 let add_to_trace status ~depth cache t =
   match t with
     | Ast.NRef _ -> 
-       debug_print ~depth (lazy ("Adding to trace: " ^ NotationPp.pp_term status t));
+       print ~depth (lazy ("Adding to trace: " ^ NotationPp.pp_term status t));
        {cache with trace = t::cache.trace}
     | Ast.NCic _  (* local candidate *)
     | _  -> (*not an application *) cache 
@@ -838,8 +879,7 @@ type goal = int * sort (* goal, depth, sort *)
 type fail = goal * cic_term
 type candidate = int * Ast.term (* unique candidate number, candidate *)
 
-exception Gaveup of IntSet.t (* a sublist of unprovable conjunctive
-                                atoms of the input goals *)
+exception Gaveup of th_cache (* failure cache *)
 exception Proved of NTacStatus.tac_status * Ast.term list
 
 (* let close_failures _ c = c;; *)
@@ -849,11 +889,13 @@ exception Proved of NTacStatus.tac_status * Ast.term list
 (* let add_to_cache_and_del_from_orlist_if_green_cut _ _ c _ _ o f _ = c, o, f, false ;; *)
 (* let cache_add_underinspection c _ _ = c;; *)
 
-let init_cache ?(facts=[]) ?(under_inspection=[],[]) 
+let init_cache ?(facts=[]) ?(under_inspection=[],[])
+    ?(failures=[])
     ?(unit_eq=NCicParamod.empty_state) 
     ?(trace=[]) 
     _ = 
     {facts = facts;
+     failures = failures;
      under_inspection = under_inspection;
      unit_eq = unit_eq;
      trace = trace}
@@ -867,10 +909,10 @@ let only signature _context candidate = true
   let height = fast_height_of_term status candidate_ty in
   let rc = signature >= height in
   if rc = false then
-    debug_print (lazy ("Filtro: " ^ status#ppterm ~context:[] ~subst:[]
+    noprint (lazy ("Filtro: " ^ status#ppterm ~context:[] ~subst:[]
           ~metasenv:[] candidate ^ ": " ^ string_of_int height))
   else 
-    debug_print (lazy ("Tengo: " ^ status#ppterm ~context:[] ~subst:[]
+    noprint (lazy ("Tengo: " ^ status#ppterm ~context:[] ~subst:[]
           ~metasenv:[] candidate ^ ": " ^ string_of_int height));
 
   rc *)
@@ -887,7 +929,7 @@ let sort_candidates status ctx candidates =
     let status,t = term_of_cic_term status ct ctx in
     let ty = NCicTypeChecker.typeof status subst metasenv ctx t in
     let res = branch status (mk_cic_term ctx ty) in
-    debug_print (lazy ("branch factor for: " ^ (ppterm status ct) ^ " = " 
+    noprint (lazy ("branch factor for: " ^ (ppterm status ct) ^ " = " 
                      ^ (string_of_int res)));
       res
   in 
@@ -895,15 +937,31 @@ let sort_candidates status ctx candidates =
   let candidates = 
      List.sort (fun (a,_) (b,_) -> a - b) candidates in 
   let candidates = List.map snd candidates in
-    debug_print (lazy ("candidates =\n" ^ (String.concat "\n" 
+    noprint (lazy ("candidates =\n" ^ (String.concat "\n" 
        (List.map (NotationPp.pp_term status) candidates))));
     candidates
 
 let sort_new_elems l =
   List.sort (fun (_,s1) (_,s2) -> openg_no s1 - openg_no s2) l
 
+let rec stack_goals level gs = 
+  if level = 0 then []
+  else match gs with 
+    | [] -> assert false
+    | (g,_,_,_)::s -> 
+        let is_open = function
+          | (_,Continuationals.Stack.Open i) -> Some i
+          | (_,Continuationals.Stack.Closed _) -> None
+        in
+         HExtlib.filter_map is_open g @ stack_goals (level-1) s
+;;
+
+let open_goals level status = stack_goals level status#stack
+;;
+
 let try_candidate ?(smart=0) flags depth status eq_cache ctx t =
  try
+  let old_og_no = List.length (open_goals (depth+1) status) in
   debug_print ~depth (lazy ("try " ^ (NotationPp.pp_term status) t));
   let status = 
     if smart= 0 then NTactics.apply_tac ("",0,t) status 
@@ -913,25 +971,27 @@ let try_candidate ?(smart=0) flags depth status eq_cache ctx t =
       with Error _ -> 
         smart_apply_auto ("",0,t) eq_cache status 
   in
-(*
-  let og_no = openg_no status in 
-    if (* og_no > flags.maxwidth || *)
-      ((depth + 1) = flags.maxdepth && og_no <> 0) then
-        (debug_print ~depth (lazy "pruned immediately"); None)
-    else *)
-      (* useless 
-      let status, cict = disambiguate status ctx ("",0,t) None in
-      let status,ct = term_of_cic_term status cict ctx in
-      let _,_,metasenv,subst,_ = status#obj in
-      let ty = NCicTypeChecker.typeof subst metasenv ctx ct in
-      let res = branch status (mk_cic_term ctx ty) in
-      if smart=1 && og_no > res then 
-       (print (lazy ("branch factor for: " ^ (ppterm status cict) ^ " = " 
+    (* we compare the expected branching with the actual one and
+       prune the candidate when the latter is larger. The optimization
+       is meant to rule out stange applications of flexible terms,
+       such as the application of eq_f that always succeeds.  
+       There is some gain but less than expected *)
+  let og_no = List.length (open_goals (depth+1) status) in
+  let status, cict = disambiguate status ctx ("",0,t) None in
+  let status,ct = term_of_cic_term status cict ctx in
+  let _,_,metasenv,subst,_ = status#obj in
+  let ty = NCicTypeChecker.typeof status subst metasenv ctx ct in
+  let res = branch status (mk_cic_term ctx ty) in
+  let diff = og_no - old_og_no in
+  debug_print (lazy ("expected branching: " ^ (string_of_int res)));
+  debug_print (lazy ("actual: branching" ^ (string_of_int diff))); 
+  (* some flexibility *)
+  if og_no - old_og_no > res then 
+    (debug_print (lazy ("branch factor for: " ^ (ppterm status cict) ^ " = " 
                    ^ (string_of_int res) ^ " vs. " ^ (string_of_int og_no)));
-        print ~depth (lazy "strange application"); None)
-      else *)
-       (incr candidate_no;
-        Some ((!candidate_no,t),status))
+     debug_print ~depth (lazy "strange application"); None)
+  else 
+    (incr candidate_no; Some ((!candidate_no,t),status))
  with Error (msg,exn) -> debug_print ~depth (lazy "failed"); None
 ;;
 
@@ -971,42 +1031,53 @@ let get_cands retrieve_for diff empty gty weak_gty =
 ;;
 
 let get_candidates ?(smart=true) depth flags status cache signature gty =
-  let maxd = ((depth + 1) = flags.maxdepth) in 
   let universe = status#auto_cache in
   let _,_,metasenv,subst,_ = status#obj in
   let context = ctx_of gty in
   let _, raw_gty = term_of_cic_term status gty context in
+  let is_prod, is_eq =   
+  let status, t = term_of_cic_term status gty context  in 
+  let t = NCicReduction.whd status subst context t in
+    match t with
+      | NCic.Prod _ -> true, false
+      | _ -> false, NCicParamod.is_equation status metasenv subst context t 
+  in
+  debug_print ~depth (lazy ("gty:" ^ NTacStatus.ppterm status gty));
+  let is_eq = 
+    NCicParamod.is_equation status metasenv subst context raw_gty 
+  in
   let raw_weak_gty, weak_gty  =
     if smart then
       match raw_gty with
        | NCic.Appl _ 
        | NCic.Const _ 
        | NCic.Rel _ -> 
-            let weak = perforate_small status subst metasenv context raw_gty in
-              Some weak, Some (mk_cic_term context weak)
+            let raw_weak = 
+              perforate_small status subst metasenv context raw_gty in
+            let weak = mk_cic_term context raw_weak in
+            debug_print ~depth (lazy ("weak_gty:" ^ NTacStatus.ppterm status weak));
+              Some raw_weak, Some (weak)
        | _ -> None,None
     else None,None
   in
+  (* we now compute global candidates *)
   let global_cands, smart_global_cands =
-    match flags.candidates with
-      | Some l when (not maxd) -> l,[]
-      | Some _ 
-      | None -> 
-         let mapf s = 
-           let to_ast = function 
-             | NCic.Const r when true (*is_relevant statistics r*) -> Some (Ast.NRef r)
-             | NCic.Const _ -> None 
-             | _ -> assert false in
-             HExtlib.filter_map 
-               to_ast (NDiscriminationTree.TermSet.elements s) in
-         let g,l = 
-           get_cands
-             (NDiscriminationTree.DiscriminationTree.retrieve_unifiables 
-                universe)
-             NDiscriminationTree.TermSet.diff 
-             NDiscriminationTree.TermSet.empty
-             raw_gty raw_weak_gty in
-           mapf g, mapf l in
+    let mapf s = 
+      let to_ast = function 
+        | NCic.Const r when true 
+             (*is_relevant statistics r*) -> Some (Ast.NRef r)
+     (* | NCic.Const _ -> None  *)
+       | _ -> assert false in
+         HExtlib.filter_map 
+           to_ast (NDiscriminationTree.TermSet.elements s) in
+      let g,l = 
+       get_cands
+         (NDiscriminationTree.DiscriminationTree.retrieve_unifiables universe)
+         NDiscriminationTree.TermSet.diff 
+         NDiscriminationTree.TermSet.empty
+         raw_gty raw_weak_gty in
+      mapf g, mapf l in
+  (* we now compute local candidates *)
   let local_cands,smart_local_cands = 
     let mapf s = 
       let to_ast t =
@@ -1018,88 +1089,47 @@ let get_candidates ?(smart=true) depth flags status cache signature gty =
        (fun ty -> search_in_th ty cache)
        Ncic_termSet.diff  Ncic_termSet.empty gty weak_gty in
       mapf g, mapf l in
-    sort_candidates status context (global_cands@local_cands),
-    sort_candidates status context (smart_global_cands@smart_local_cands)
-;;
-
-(* old version
-let get_candidates ?(smart=true) status cache signature gty =
-  let universe = status#auto_cache in
-  let _,_,metasenv,subst,_ = status#obj in
-  let context = ctx_of gty in
-  let t_ast t = 
-     let _status, t = term_of_cic_term status t context 
-     in Ast.NCic t in
-  let c_ast = function 
-    | NCic.Const r -> Ast.NRef r | _ -> assert false in
-  let _, raw_gty = term_of_cic_term status gty context in
-  let keys = all_keys_of_cic_term metasenv subst context raw_gty in
-  (* we only keep those keys that do not require any intros for now *)
-  let no_intros_keys = snd (List.hd keys) in
-  let cands =
-   NDiscriminationTree.TermSet.fold
-    (fun ty acc ->
-      NDiscriminationTree.TermSet.union acc
-       (NDiscriminationTree.DiscriminationTree.retrieve_unifiables 
-         universe ty)
-    ) no_intros_keys NDiscriminationTree.TermSet.empty in
-(* old code:
-  let cands = NDiscriminationTree.DiscriminationTree.retrieve_unifiables 
-        universe raw_gty in 
-*)
-  let local_cands =
-   NDiscriminationTree.TermSet.fold
-    (fun ty acc ->
-      Ncic_termSet.union acc (search_in_th (mk_cic_term context ty) cache)
-    ) no_intros_keys Ncic_termSet.empty in
-(* old code:
-  let local_cands = search_in_th gty cache in
-*)
-  debug_print (lazy ("candidates for" ^ NTacStatus.ppterm status gty));
-  debug_print (lazy ("local cands = " ^ (string_of_int (List.length (Ncic_termSet.elements local_cands)))));
-  let together global local = 
-    List.map c_ast 
-      (List.filter (only signature context) 
-        (NDiscriminationTree.TermSet.elements global)) @
-      List.map t_ast (Ncic_termSet.elements local) in
-  let candidates = together cands local_cands in 
-  let candidates = sort_candidates status context candidates in
-  let smart_candidates = 
-    if smart then
-      match raw_gty with
-        | NCic.Appl _ 
-        | NCic.Const _ 
-        | NCic.Rel _ -> 
-            let weak_gty = perforate_small status subst metasenv context raw_gty in
-             (*
-              NCic.Appl (hd:: HExtlib.mk_list(NCic.Meta (0,(0,NCic.Irl 0))) 
-                           (List.length tl)) in *)
-            let more_cands = 
-             NDiscriminationTree.DiscriminationTree.retrieve_unifiables 
-               universe weak_gty 
-           in
-            let smart_cands = 
-              NDiscriminationTree.TermSet.diff more_cands cands in
-            let cic_weak_gty = mk_cic_term context weak_gty in
-            let more_local_cands = search_in_th cic_weak_gty cache in
-            let smart_local_cands = 
-              Ncic_termSet.diff more_local_cands local_cands in
-              together smart_cands smart_local_cands 
-              (* together more_cands more_local_cands *) 
-        | _ -> []
-    else [] 
+  (* we now splits candidates in facts or not facts *)
+  let test = is_a_fact_ast status subst metasenv context in
+  let by,given_candidates =
+    match flags.candidates with
+    | Some l -> true, l
+    | None -> false, [] in
+  (* we compute candidates to be applied in normal mode, splitted in
+     facts and not facts *)
+  let candidates_facts,candidates_other =
+    let gl1,gl2 = List.partition test global_cands in
+    let ll1,ll2 = List.partition test local_cands in
+    (* if the goal is an equation we avoid to apply unit equalities,
+     since superposition should take care of them; refl is an
+     exception since it prompts for convertibility *)
+    let l1 = if is_eq then [Ast.Ident("refl",`Ambiguous)] else gl1@ll1 in 
+    let l2 = 
+      (* if smart given candidates are applied in smart mode *)
+      if by && smart then ll2
+      else if by then given_candidates@ll2 
+      else gl2@ll2
+    in l1,l2
   in
-  let smart_candidates = sort_candidates status context smart_candidates in
-  (* if smart then smart_candidates, []
-     else candidates, [] *)
-  candidates, smart_candidates
-;; 
-
-let get_candidates ?(smart=true) flags status cache signature gty =
-  match flags.candidates with
-    | None -> get_candidates ~smart status cache signature gty
-    | Some l -> l,[]
-;; *)
+  (* we now compute candidates to be applied in smart mode, splitted in
+     facts and not facts *) 
+  let smart_candidates_facts, smart_candidates_other =
+    if is_prod || not(smart) then [],[] 
+    else 
+    let sgl1,sgl2 = List.partition test smart_global_cands in
+    let sll1,sll2 = List.partition test smart_local_cands in
+    let l1 = if is_eq then [] else sgl1@sll1 in
+    let l2 = 
+      if by && smart then given_candidates@sll2 
+      else if by then sll2
+      else sgl2@sll2
+    in l1,l2
+  in
+  candidates_facts,
+  smart_candidates_facts,
+  sort_candidates status context (candidates_other),
+  sort_candidates status context (smart_candidates_other)
+;;
 
 let applicative_case depth signature status flags gty cache =
   app_counter:= !app_counter+1; 
@@ -1113,99 +1143,87 @@ let applicative_case depth signature status flags gty cache =
        | NCic.Prod _ -> true, false
        | _ -> false, NCicParamod.is_equation status metasenv subst context t 
   in
-  debug_print~depth (lazy (string_of_bool is_eq)); 
-  (* old 
-  let candidates, smart_candidates = 
-    get_candidates ~smart:(not is_eq) depth 
-      flags status tcache signature gty in 
-    (* if the goal is an equation we avoid to apply unit equalities,
-       since superposition should take care of them; refl is an
-       exception since it prompts for convertibility *)
-  let candidates = 
-    let test x = not (is_a_fact_ast status subst metasenv context x) in
-    if is_eq then 
-      Ast.Ident("refl",None) ::List.filter test candidates 
-    else candidates in *)
+  debug_print ~depth (lazy (string_of_bool is_eq)); 
   (* new *)
-  let candidates, smart_candidates = 
+  let candidates_facts, smart_candidates_facts, 
+      candidates_other, smart_candidates_other = 
     get_candidates ~smart:true depth 
-      flags status tcache signature gty in 
-    (* if the goal is an equation we avoid to apply unit equalities,
-       since superposition should take care of them; refl is an
-       exception since it prompts for convertibility *)
-  let candidates,smart_candidates = 
-    let test x = not (is_a_fact_ast status subst metasenv context x) in
-    if is_eq then 
-      Ast.Ident("refl",`Ambiguous) ::List.filter test candidates,
-      List.filter test smart_candidates
-    else candidates,smart_candidates in 
-  debug_print ~depth
-    (lazy ("candidates: " ^ string_of_int (List.length candidates)));
-  debug_print ~depth
-    (lazy ("smart candidates: " ^ 
-             string_of_int (List.length smart_candidates)));
- (*
-  let sm = 0 in 
-  let smart_candidates = [] in *)
-  let sm = if is_eq then 0 else 2 in
-  let maxd = ((depth + 1) = flags.maxdepth) in 
-  let only_one = flags.last && maxd in
-  debug_print (lazy ("only_one: " ^ (string_of_bool only_one))); 
-  debug_print (lazy ("maxd: " ^ (string_of_bool maxd)));
-  let elems =  
+      flags status tcache signature gty 
+  in
+  let sm = if is_eq || is_prod then 0 else 2 in
+  let sm1 = if flags.last then 2 else 0 in 
+  let maxd = (depth + 1 = flags.maxdepth) in 
+  let try_candidates only_one sm acc candidates =
     List.fold_left 
       (fun elems cand ->
          if (only_one && (elems <> [])) then elems 
-         else 
-           if (maxd && not(is_prod) & 
-                not(is_a_fact_ast status subst metasenv context cand)) 
-           then (debug_print (lazy "pruned: not a fact"); elems)
          else
            match try_candidate (~smart:sm) 
              flags depth status cache.unit_eq context cand with
                | None -> elems
                | Some x -> x::elems)
-      [] candidates
-  in
-  let more_elems = 
-    if only_one && elems <> [] then elems 
-    else
-      List.fold_left 
-        (fun elems cand ->
-         if (only_one && (elems <> [])) then elems 
-         else 
-           if (maxd && not(is_prod) &&
-                not(is_a_fact_ast status subst metasenv context cand)) 
-           then (debug_print (lazy "pruned: not a fact"); elems)
-         else
-           match try_candidate (~smart:1) 
-             flags depth status cache.unit_eq context cand with
-               | None -> elems
-               | Some x -> x::elems)
-        [] smart_candidates
-  in
-  elems@more_elems
+      acc candidates
+  in 
+  (* if the goal is the last one we stop at the first fact *)
+  let elems = try_candidates flags.last sm [] candidates_facts in
+  (* now we add smart_facts *)
+  let elems = try_candidates flags.last sm elems smart_candidates_facts in
+  (* if we are at maxdepth and the goal is not a product we are done 
+     similarly, if the goal is the last one and we already found a
+     solution *)
+  if (maxd && not(is_prod)) || (flags.last && elems<>[]) then elems
+  else
+    let elems = try_candidates false 2 elems candidates_other in
+    debug_print ~depth (lazy ("not facts: try smart application"));
+    try_candidates false 2 elems smart_candidates_other
 ;;
 
 exception Found
-;;
+;; 
 
 (* gty is supposed to be meta-closed *)
-let is_subsumed depth status gty cache =
+let is_subsumed depth filter_depth status gty cache =
   if cache=[] then false else (
   debug_print ~depth (lazy("Subsuming " ^ (ppterm status gty))); 
   let n,h,metasenv,subst,obj = status#obj in
   let ctx = ctx_of gty in
-  let _ , target = term_of_cic_term status gty ctx in
-  let target = NCicSubstitution.lift status 1 target in 
+  let _ , raw_gty = term_of_cic_term status gty ctx in
+  let target = NCicSubstitution.lift status 1 raw_gty in 
+  (* we compute candidates using the perforated type *)
+  let weak_gty  =
+    match target with
+      | NCic.Appl _ 
+      | NCic.Const _ 
+      | NCic.Rel _ -> 
+          let raw_weak = 
+            perforate_small status subst metasenv ctx raw_gty in
+          let weak = mk_cic_term ctx raw_weak in
+          debug_print ~depth (lazy ("weak_gty:" ^ NTacStatus.ppterm status weak));
+          Some (weak)
+      | _ -> None
+  in
   (* candidates must only be searched w.r.t the given context *)
   let candidates = 
     try
     let idx = List.assq ctx cache in
-      Ncic_termSet.elements 
-        (InvRelDiscriminationTree.retrieve_generalizations idx gty)
+    match weak_gty with
+      | Some weak ->
+          Ncic_termSet.elements 
+            (InvRelDiscriminationTree.retrieve_unifiables idx weak)
+      |None -> []
     with Not_found -> []
   in
+  (* this is a dirty trick: the first argument of an application is used
+     to remember at which depth a goal failed *)
+  let filter t = 
+    let ctx = ctx_of t in 
+    let _, src = term_of_cic_term status t ctx in 
+    match src with 
+     | NCic.Appl [NCic.Implicit (`Typeof d); t] 
+       when d <= depth -> Some (mk_cic_term ctx t)
+     | _ -> None in
+  let candidates = 
+    if filter_depth then HExtlib.filter_map filter candidates else candidates in  
   debug_print ~depth
     (lazy ("failure candidates: " ^ string_of_int (List.length candidates)));
     try
@@ -1329,7 +1347,7 @@ let do_something signature flags status g depth gty cache =
   if l0 <> [] then l0, cache
   else
   (* whd *)
-  let l = (*reduce ~whd:true ~depth status g @*) reduce ~whd:true ~depth status g in
+  let l = reduce ~whd:true ~depth status g in
   (* if l <> [] then l,cache else *)
   (* backward aplications *)
   let l1 = 
@@ -1349,8 +1367,8 @@ let do_something signature flags status g depth gty cache =
   (* states in l1 have have an empty set of subgoals: no point to sort them *)
   debug_print ~depth 
     (lazy ("alternatives = " ^ (string_of_int (List.length (l1@l@l2)))));
-    (* l1 @ (sort_new_elems (l @ l2)), cache *)
-    l1 @ (List.rev l2) @ l, cache 
+    (* we order alternatives w.r.t the number of subgoals they open *)
+    l1 @ (sort_new_elems l2) @ l, cache 
 ;;
 
 let pp_goal = function
@@ -1385,9 +1403,9 @@ let sort_tac status =
         let g = head_goals status#stack in
         let sortedg = 
           (List.rev (MS.topological_sort g (deps status))) in
-          debug_print (lazy ("old g = " ^ 
+          noprint (lazy ("old g = " ^ 
             String.concat "," (List.map string_of_int g)));
-          debug_print (lazy ("sorted goals = " ^ 
+          noprint (lazy ("sorted goals = " ^ 
             String.concat "," (List.map string_of_int sortedg)));
           let is_it i = function
             | (_,Continuationals.Stack.Open j ) 
@@ -1454,21 +1472,6 @@ let deep_focus_tac level focus status =
    status#set_stack gstatus
 ;;
 
-let rec stack_goals level gs = 
-  if level = 0 then []
-  else match gs with 
-    | [] -> assert false
-    | (g,_,_,_)::s -> 
-        let is_open = function
-          | (_,Continuationals.Stack.Open i) -> Some i
-          | (_,Continuationals.Stack.Closed _) -> None
-        in
-         HExtlib.filter_map is_open g @ stack_goals (level-1) s
-;;
-
-let open_goals level status = stack_goals level status#stack
-;;
-
 let move_to_side level status =
 match status#stack with
   | [] -> assert false
@@ -1481,6 +1484,12 @@ match status#stack with
       List.for_all (fun i -> IntSet.mem i others) 
        (HExtlib.filter_map is_open g)
 
+let top_cache ~depth top status cache =
+  if top then
+    let unit_eq = index_local_equations status#eq_cache status in 
+    {cache with unit_eq = unit_eq}
+  else cache
+
 let rec auto_clusters ?(top=false)  
     flags signature cache depth status : unit =
   debug_print ~depth (lazy ("entering auto clusters at depth " ^
@@ -1493,51 +1502,58 @@ let rec auto_clusters ?(top=false)
     if depth = 0 then raise (Proved (status, cache.trace))
     else 
       let status = NTactics.merge_tac status in
-       let cache =
-       let l,tree = cache.under_inspection in
-         match l with 
+        let cache =
+        let l,tree = cache.under_inspection in
+         match l with 
            | [] -> cache (* possible because of intros that cleans the cache *)
            | a::tl -> let tree = rm_from_th a tree a in
-              {cache with under_inspection = tl,tree} 
-       in 
-        auto_clusters flags signature cache (depth-1) status
+             {cache with under_inspection = tl,tree} 
+        in 
+         auto_clusters flags signature cache (depth-1) status
   else if List.length goals < 2 then
+    let cache = top_cache ~depth top status cache in
     auto_main flags signature cache depth status
   else
     let all_goals = open_goals (depth+1) status in
     debug_print ~depth (lazy ("goals = " ^ 
       String.concat "," (List.map string_of_int all_goals)));
     let classes = HExtlib.clusters (deps status) all_goals in
-    List.iter 
-       (fun gl ->
-          if List.length gl > flags.maxwidth then 
-            (debug_print ~depth (lazy "FAIL GLOBAL WIDTH"); 
-             raise (Gaveup IntSet.empty))
-          else ()) classes;
+    (* if any of the classes exceed maxwidth we fail *)
+    List.iter
+      (fun gl ->
+         if List.length gl > flags.maxwidth then 
+           begin
+            debug_print ~depth (lazy "FAIL GLOBAL WIDTH"); 
+            HLog.warn (sprintf "global width (%u) exceeded: %u"
+              flags.maxwidth (List.length gl));
+            raise (Gaveup cache.failures)
+          end else ()) classes;
     if List.length classes = 1 then
       let flags = 
         {flags with last = (List.length all_goals = 1)} in 
        (* no need to cluster *)
-      auto_main flags signature cache depth status 
+      let cache = top_cache ~depth top status cache in
+        auto_main flags signature cache depth status 
     else
-    let classes = if top then List.rev classes else classes in
+      let classes = if top then List.rev classes else classes in
       debug_print ~depth
         (lazy 
            (String.concat "\n" 
            (List.map
-              (fun l -> 
-                 ("cluster:" ^ String.concat "," (List.map string_of_int l)))
+             (fun l -> 
+               ("cluster:" ^ String.concat "," (List.map string_of_int l)))
            classes)));
-      let status,trace,b = 
+      (* we now process each cluster *)
+      let status,cache,b = 
         List.fold_left
-          (fun (status,trace,b) gl ->
-            let cache = {cache with trace = trace} in
+          (fun (status,cache,b) gl ->
              let flags = 
                {flags with last = (List.length gl = 1)} in 
              let lold = List.length status#stack in 
              debug_print ~depth (lazy ("stack length = " ^ 
                        (string_of_int lold)));
              let fstatus = deep_focus_tac (depth+1) gl status in
+             let cache = top_cache ~depth top fstatus cache in
              try 
                debug_print ~depth (lazy ("focusing on" ^ 
                               String.concat "," (List.map string_of_int gl)));
@@ -1545,17 +1561,20 @@ let rec auto_clusters ?(top=false)
              with 
                | Proved(status,trace) -> 
                   let status = NTactics.merge_tac status in
+                  let cache = {cache with trace = trace} in
                   let lnew = List.length status#stack in 
                     assert (lold = lnew);
-                  (status,trace,true)
-               | Gaveup _ when top -> (status,trace,b)
+                  (status,cache,true)
+               | Gaveup failures when top ->
+                   let cache = {cache with failures = failures} in
+                   (status,cache,b)
           )
-          (status,cache.trace,false) classes
+          (status,cache,false) classes
       in
       let rec final_merge n s =
        if n = 0 then s else final_merge (n-1) (NTactics.merge_tac s)
       in let status = final_merge depth status 
-      in if b then raise (Proved(status,trace)) else raise (Gaveup IntSet.empty)
+      in if b then raise (Proved(status,cache.trace)) else raise (Gaveup cache.failures)
 
 and
         
@@ -1595,33 +1614,57 @@ auto_main flags signature cache depth status: unit =
        else
         let ng = List.length goals in
         (* moved inside auto_clusters *)
-        if ng > flags.maxwidth then 
-          (print ~depth (lazy "FAIL LOCAL WIDTH"); raise (Gaveup IntSet.empty))
-        else if depth = flags.maxdepth then 
-         raise (Gaveup IntSet.empty)
+        if ng > flags.maxwidth then begin 
+          debug_print ~depth (lazy "FAIL LOCAL WIDTH");
+         HLog.warn (sprintf "local width (%u) exceeded: %u"
+            flags.maxwidth ng);
+         raise (Gaveup cache.failures)
+        end else if depth = flags.maxdepth then
+         raise (Gaveup cache.failures)
         else 
         let status = NTactics.branch_tac ~force:true status in
         let g,gctx, gty = current_goal status in
         let ctx,ty = close status g in
         let closegty = mk_cic_term ctx ty in
         let status, gty = apply_subst status gctx gty in
-        debug_print ~depth (lazy("Attacking goal " ^ (string_of_int g) ^" : "^ppterm status gty)); 
-        if is_subsumed depth status closegty (snd cache.under_inspection) then 
+        debug_print ~depth (lazy("Attacking goal " ^ 
+          string_of_int g ^ " : "^ppterm status gty));
+        debug_print ~depth (lazy ("current failures: " ^ 
+          string_of_int (List.length (all_elements ctx cache.failures))));
+        let is_eq =
+           let _,_,metasenv,subst,_ = status#obj in
+           NCicParamod.is_equation status metasenv subst ctx ty in
+        (* if the goal is an equality we artificially raise its depth up to
+           flags.maxdepth - 1 *)
+        if (not flags.last && is_eq && (depth < (flags.maxdepth -1))) then
+        (* for efficiency reasons, in this case we severely cripple the
+           search depth *)
+          (debug_print ~depth (lazy ("RAISING DEPTH TO " ^ string_of_int (depth+1)));
+           auto_main flags signature cache (depth+1) status)
+        (* check for loops *)
+        else if is_subsumed depth false status closegty (snd cache.under_inspection) then 
           (debug_print ~depth (lazy "SUBSUMED");
-           raise (Gaveup IntSet.add g IntSet.empty))
+           raise (Gaveup cache.failures))
+        (* check for failures *)
+        else if is_subsumed depth true status closegty cache.failures then 
+          (debug_print ~depth (lazy "ALREADY MET");
+           raise (Gaveup cache.failures))
         else
        let new_sig = height_of_goal g status in
         if new_sig < signature then 
-         (debug_print (lazy ("news = " ^ (string_of_int new_sig)));
-          debug_print (lazy ("olds = " ^ (string_of_int signature)))); 
+         (debug_print  ~depth (lazy ("news = " ^ (string_of_int new_sig)));
+          debug_print  ~depth (lazy ("olds = " ^ (string_of_int signature)))); 
         let alternatives, cache = 
           do_something signature flags status g depth gty cache in
         let loop_cache =
-         let l,tree = cache.under_inspection in
-         let l,tree = closegty::l, add_to_th closegty tree closegty in
-          {cache with under_inspection = l,tree} in 
-        List.iter 
-          (fun ((_,t),status) ->
+          if flags.last then
+           let l,tree = cache.under_inspection in
+           let l,tree = closegty::l, add_to_th closegty tree closegty in
+            {cache with under_inspection = l,tree}
+          else cache in 
+        let failures =
+          List.fold_left  
+          (fun allfailures ((_,t),status) ->
              debug_print ~depth 
               (lazy ("(re)considering goal " ^ 
                       (string_of_int g) ^" : "^ppterm status gty)); 
@@ -1633,13 +1676,25 @@ auto_main flags signature cache depth status: unit =
                then depth, cache 
               else depth+1,loop_cache in 
             let cache = add_to_trace status ~depth cache t in
+             let cache = {cache with failures = allfailures} in
             try
-              auto_clusters flags signature cache depth status
-            with Gaveup _ ->
+              auto_clusters flags signature cache depth status;
+               assert false;
+            with Gaveup fail ->
               debug_print ~depth (lazy "Failed");
-              ())
-         alternatives;
-       raise (debug_print(lazy "no more candidates"); Gaveup IntSet.empty)
+              fail)
+         cache.failures alternatives in
+        let failures =
+          if flags.last then 
+            let newfail =
+              let dty = NCic.Appl [NCic.Implicit (`Typeof depth); ty] in
+              mk_cic_term ctx dty 
+            in 
+            prerr_endline ("FAILURE : " ^ ppterm status gty);
+            add_to_th newfail failures closegty
+          else failures in
+        debug_print ~depth (lazy "no more candidates");
+       raise (Gaveup failures)
 ;;
 
 let int name l def = 
@@ -1669,8 +1724,8 @@ let auto_tac ~params:(univ,flags) ?(trace_ref=ref []) status =
   let status = (status:> NTacStatus.tac_status) in
   let goals = head_goals status#stack in
   let status, facts = mk_th_cache status goals in
-  let unit_eq = index_local_equations status#eq_cache status in 
-  let cache = init_cache ~facts ~unit_eq () in 
+(* let unit_eq = index_local_equations status#eq_cache status in *) 
+  let cache = init_cache ~facts () in 
 (*   pp_th status facts; *)
 (*
   NDiscriminationTree.DiscriminationTree.iter status#auto_cache (fun p t -> 
@@ -1681,16 +1736,23 @@ let auto_tac ~params:(univ,flags) ?(trace_ref=ref []) status =
         (NDiscriminationTree.TermSet.elements t))
       )));
 *)
-  let candidates = 
+  (* To allow using Rels in the user-specified candidates, we need a context
+   * but in the case where multiple goals are open, there is no single context
+   * to type the Rels. At this time, we require that Rels be typed in the
+   * context of the first selected goal *)
+  let _,ctx,_ = current_goal ~single_goal:false status in
+  let status, candidates = 
     match univ with
-      | None -> None 
+      | None -> status, None 
       | Some l -> 
-         let to_Ast t =
-           let status, res = disambiguate status [] t None in 
-           let _,res = term_of_cic_term status res (ctx_of res) 
-           in Ast.NCic res 
-          in Some (List.map to_Ast l) 
-  in
+         let to_Ast (st,l) t =
+           let st, res = disambiguate st ctx t None in 
+           let st, res = term_of_cic_term st res (ctx_of res) 
+           in (st, Ast.NCic res::l)
+          in 
+          let status, l' = List.fold_left to_Ast (status,[]) l in
+          status, Some l'
+  in 
   let depth = int "depth" flags 3 in 
   let size  = int "size" flags 10 in 
   let width = int "width" flags 4 (* (3+List.length goals)*) in 
@@ -1710,7 +1772,7 @@ let auto_tac ~params:(univ,flags) ?(trace_ref=ref []) status =
   app_counter:= 0;
   let rec up_to x y =
     if x > y then
-      (print(lazy
+      (debug_print(lazy
         ("TIME ELAPSED:"^string_of_float(Unix.gettimeofday()-.initial_time)));
        debug_print(lazy
         ("Applicative nodes:"^string_of_int !app_counter)); 
@@ -1728,6 +1790,7 @@ let auto_tac ~params:(univ,flags) ?(trace_ref=ref []) status =
           | Proved (s,trace) -> 
               debug_print (lazy ("proved at depth " ^ string_of_int x));
              List.iter (toref incr_uses statistics) trace;
+             let _ = debug_print (pptrace status trace) in
               let trace = cleanup_trace s trace in
              let _ = debug_print (pptrace status trace) in
               let stack = 
@@ -1757,3 +1820,23 @@ let auto_tac ~params:(_,flags as params) ?trace_ref =
     fast_eq_check_tac ~params  
   else auto_tac ~params ?trace_ref
 ;;
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+