]> matita.cs.unibo.it Git - helm.git/blob - helm/papers/whelp/main.tex
absolute path and factorization for matita.basedir
[helm.git] / helm / papers / whelp / main.tex
1 \documentclass[runningheads,a4paper]{article}
2 \pagestyle{headings}
3 \usepackage{graphicx}
4 \usepackage{amssymb}
5 \usepackage{hyperref}
6
7 \newcommand{\andreaEmail}{asperti@cs.unibo.it}
8 \newcommand{\zackEmail}{zacchiro@cs.unibo.it}
9 \newcommand{\moogle}{Moogle}
10 \newcommand{\IR}{\ensuremath{\mathcal{R}}}
11
12 \title{Searching mathematics on the Web:\\
13 state of the art and future developments}
14
15 \author{
16 \begin{tabular}{c@{\hspace{2em}}c}
17  Andrea Asperti & Stefano Zacchiroli \\
18  \href{mailto:\andreaEmail}{\texttt{\andreaEmail}} &
19   \href{mailto:\zackEmail}{\texttt{\zackEmail}}
20 \end{tabular}\\[2em]
21 Department of Computer Science, University of Bologna\\
22 Mura Anteo Zamboni, 7 -- 40127 Bologna, ITALY}
23
24 \begin{document}
25 \maketitle
26
27 \begin{abstract}
28  A huge amount of mathematical knowledge is nowadays available on the World Wide
29  Web. Many different solutions and technologies for searching that knowledge
30  have been developed as well. We present the state of the art of searching
31  mathematics on the Web, giving some insight on future developments in this
32  area.
33 \end{abstract}
34
35 \section{Introduction}
36 The World Wide Web has become one of the main resources used by mathematicians
37 in every day work. Its usefulness is not limited to browsing fellow researchers,
38 university, or research projects web pages. A full range of mathematical
39 services are available as well on the web, ranging from electronic libraries of
40 mathematics to communities of distributed agents, implemented as web services,
41 able to cooperate in order to solve a given mathematical problem.
42
43 Searching such a huge amount of mathematical sources is a particularly 
44 complex problem, given the variety of different users with completely 
45 different needs, and the heterogeneity of the mathematical information
46 and its possible encodings.
47
48 The different kind of queries may be roughly categorized in three 
49 main groups:
50 \begin{description}
51 \item[Bibliographic searches] this is the most traditional kind of query,
52 aimed at retrieving a document given its author, title, date of publication,
53 a list of keywords or similar information. A typical query could be e.g.
54 {\em give me a listing of all articles written by Karl Weierstrass on
55   the subject of analytic functions}.
56 \item[Mathematical services] in this case the user in typically interested
57 to {\em solve} a problem with the help of some mathematical tool, or a 
58 combination of them. A typical query in this context could be the request
59 for a web service able to establish the primality of a number given as input
60 by the user. 
61 \item[Content based searches] the third and probably most ambitious 
62 category of queries are those based on the mathematical content of the 
63 information (opposed to its textual representation). These queries are
64 aimed at a very fine-grained analysis of the repository, looking e.g.
65 for all documents stating something about the expression
66 $cos(z) + i~sin(z)$, where of course $z$ has to be understood as an
67 universally quantified variable whose actual name is thus irrelevant
68 (try with Google!). 
69 \end{description}
70
71 In this paper ws discuss in more detail the previous categories of queries,
72 presenting the state of the art and the main research directions.  A particular
73 attention will be devoted to {\em mathematical services} and, especially, {\em
74 content based searches} being the most innovative and peculiar kind of queries
75 for mathematical repositories.
76
77 \section{Bibliographic searches}
78 \label{sec:bibliographic}
79
80 Most part of printed human knowledge available all over the world is stocked
81 inside libraries. The problem of how to search those libraries in an efficient
82 manner has been traditionally solved by the combined use of metadata (data about
83 the documents themselves) and indexes. 
84 In this case, mathematical documents do not substantially differ from
85 other kinds of documents and standard knowledge 
86 management and indexing techniques can be profitably applied. 
87 From each document of the library a set
88 of metadata is extracted and several orthogonal indexes are created on top of
89 them referencing the physical locations of the actual documents. Searches
90 performed using that indexes are called \emph{bibliographic searches}.
91
92 Metadata could include information about document title, author, editor,
93 classification and so on. The classification field is of particular interest 
94 for
95 searches since it defines a taxonomy over human knowledge: related documents 
96 are likely to share a common classification.
97
98 Since the beginning, several classifications have been developed by librarians,
99 the most widespread being the Dewey Decimal Classification~\cite{dewey} in which
100 ``Natural sciences \& mathematics'' have been assigned decimal number 500. Since
101 Dewey's is too lax for properly classifying mathematical documents, other
102 classifications have been developed by mathematicians, the most widespread being
103 MSC 2000~\cite{msc2000} --- Mathematical Subject Classification Scheme ---
104 maintained by the American Mathematical Society. In this classification for
105 example 35E15 is a subtopic of partial differential equation (35xxx) with
106 constant coefficients (35Exx), documents with that classification will be about
107 the initial value problem (35E15).
108
109 The arrival of the web era has increased accessibility of mathematical 
110 libraries
111 and improved the expressivity of queries, but has not (yet?) radically changed
112 the way in which bibliographic searches are performed.
113
114 Zentralblatt MATH~\cite{zmath}, coordinated by FIZ Karlsruhe, is the most
115 prominent project in this area being the longest running indexing and
116 abstracting service in pure and applied mathematics available on the web. It
117 classifies more than 2,000,000 entries accordingly to MSC 2000. Searches are
118 possible via various fields, like author, title, document type, MSC
119 classification, year of publication and so on. Boolean combinations of the
120 various fields for fine grained searches are possible as well.
121
122 For each results title, abstract and all metadata information associated to the
123 document are shown and other interesting actions are possible like browsing
124 related documents (same MSC 2000 classification) and on-line ordering of the
125 printed document.
126
127 While Zentralblatt is the most relevant indexing and abstracting services, 
128 other
129 on-line databases of mathematical documents are available offering, on a smaller
130 scale, similar classification services. Just to name a few of them:
131 MathSciNet~\cite{mathscinet} by the American Mathematical Society and the
132 Electronic Research Archive for Mathematics (ERAM)~\cite{eram}.
133
134 \subsection{The European project Euler}
135 A big improvement in the accessibility of all these electronic libraries have
136 been induced by the European based Euler project~\cite{euler}. On the behalf of
137 this project a web based gateway, with searching capabilities really similar to
138 those of Zentralblatt MATH, has been developed. Using Euler the user have access
139 to the catalogues and repositories of mathematical documents of participating
140 institutions, while the latter keep control over creation and maintenance of
141 their data.
142
143 Euler is the state of the art of mathematical bibliographic searches on 
144 the web:
145 a portal offering unified access to documents from Zentralblatt, the CWI
146 database of the Dutch national research center of mathematics~\cite{cwi}, ERAM
147 and many more institutions. Once an entry is found, access to the electronic or
148 printed version of the document is mediated via the web site of the document
149 owner.
150
151 Euler is currently supported by the European Community as a take-up
152 Project (n.IST-2000-29445), based on the achievements of the successfully 
153 completed EULER project (FP4 "Telematics for Libraries" project LB-5609).
154
155 \subsection{Key phrases and information clouds}
156 To manage huge scientific archive metadata are essential, in particular key
157 phrases which should come from a large standardized (controlled) and updateable
158 list. A major problem here is that a perfectly good key phrase for a given chunk
159 of text may very well simply not occur there (or be so linguistically disguised
160 that it cannot actually be recognized). Scientists get around this by looking at
161 the surrounding text.
162
163 This is the idea of an \emph{identification cloud} which in its simplest form is
164 just a list of words (possibly with weights) that is attached to a standard key
165 phrase and that are likely to occur in texts dealing with the concepts embodied
166 by that key phrase.  The concept was introduced in the ongoing project Trial
167 Solution (IST-1999-11397)~\cite{clouds} with promising results. 
168
169
170 \section{Mathematical services}
171 \label{sec:webservices}
172
173 In the last years several research efforts have been made for the
174 standardization and the deployment of web services~\cite{webservices}. Fitting
175 properly in the semantic web~\cite{semanticweb} framework, web services are
176 software systems designed to support machine to machine interaction over a
177 network (usually the Internet), typically exposing a programming interface based
178 on exchange of XML documents~\cite{xml}.
179
180 \subsection{The W3C standardization effort}
181 The standardization activity of the World Wide Web Consortium in the
182 area of Web Services is articulated in 5 working groups: Web
183 Services Architecture Working Group, XML Protocol Working Group, Web
184 Services Description Working Group, Web Services Choreography Working
185 Group and an auxiliary Coordination Group. The most relevant ones
186 are:
187 \begin{description}
188
189  \item[Web Services Description
190   Working Group] 
191   This group\footnote{\url{http://www.w3.org/2002/ws/desc/}} is
192   chartered to design an XML based language that should be able to
193   describe a web service \emph{interface}. This task includes also the
194   design of web service \emph{messages}, \emph{message exchange
195   patterns} and \emph{protocol bindings}.
196   
197   The group has already released, among other documents, a working draft of WSDL
198   (Web Services Description Language) 2.0~\cite{wsdl} and an additional document
199   which describe bindings of this language to other existing technologies like
200   SOAP, HTTP GET and POST methods, MIME~\cite{wsdlbindings}.
201
202  \item[Web Services Choreography Working]
203   This ``young'' group\footnote{\url{http://www.w3.org/2002/ws/chor/}},
204   started since January 2003, is chartered to design a language that is
205   able to describe choreographies of web services. Intend meaning of a
206   \emph{Web Service Choreography} is some kind of interaction between
207   web services.
208
209   One possible usage of a choreographies is the creation of complex web services
210   simply composing simple web services as we compose functions in math. 
211 \end{description}
212
213 \subsection{The Monet project IST-2001-34145}
214
215 Web service technologies could be really effective in solving long standing
216 problems of interapplication communication.  Still, W3C standards provide only a
217 framework in which this problem could be solved and do not instantiate the
218 technologies to specific fields of interest.  The road of standardizing and
219 deploying web service technologies for the special needs of mathematicians has
220 been took by the European Community funded Monet project~\cite{monet1,monet2}.
221 Aim of the project, recently completed, was the development of a framework in
222 which mathematical web services can describe their capabilities in as much
223 detail as is necessary to allow a sophisticated software agent to select a
224 suitable service based on an analysis of the characteristics of a user's
225 problem.
226
227 Using standards and technologies developed by the Monet project it is possible
228 to implement what we call a mathematical \emph{functional search}, that is
229 finding on the network a web service able to resolve a given mathematical
230 \emph{problem}\footnote{Monet takes care of several other aspects of
231 mathematical web services like client-broker architecture, publishing and
232 discovery of services, planning, orchestration and so on. We will focus our
233 discussion on the discovery part of Monet}.
234
235 Characteristics of mathematical web services in Monet are described in the XML
236 based language MSDL~\cite{msdl} (Mathematical Service Description Language). An
237 MSDL document is composed of several parts: classification, implementation
238 details, service interface and binding descriptions, broker interface and
239 service metadata. All these data could be used for querying an\emph{Instance
240 Store} (IS) for available services.
241
242 From the point of view of the mathematician, the most interesting part is the
243 classification, a specification of \emph{what} the service does. Classification
244 is done on several axis: at each service several classification could be applied
245 and each of them could be used in user queries.
246
247 A first classification is done giving a description of the \emph{mathematical
248 problems} the service is able to solve. Descriptions include problem inputs,
249 output and pre/post conditions. For example, minimization of a multivariate
250 function over the real numbers could be described as follows:
251 \begin{description}
252  \item[Input] $F: \IR^n\to\IR$
253  \item[Output] 1. $x\in\IR^n$;\quad 2. $m\in\IR$
254  \item[Post-conditions] 1. $F(x)=m$;\quad 2. $\nexists y\in\IR~|~F(y)<m$
255 \end{description}
256 MSDL mandates the XML format of such problem descriptions, but not the format
257 used to describe mathematical formulae like the above one. They are usually
258 encoded in OpenMath~\cite{openmath} fragments, but they can be MathML
259 content~\cite{mathml} fragments as well. Additionally, each problem belongs to a
260 specific class of problems, for example \texttt{definite\_integration} for
261 problems related to definite integration.
262
263 Other interesting ways of classifying mathematical web services in Monet are by
264 the means of \emph{standardized taxonomies} like GAMS (Guide of Available
265 Mathematical Software)~\cite{gams} from NIST, and accordingly \emph{algorithms}
266 implemented by the service.
267
268 Once a web service has been described in a MSDL document, it can be registered
269 to one or more ISs and found by users via queries.
270
271 The simplest form of queries is just a MSDL document used as a template: user
272 fill some fields and leave others empty. For example if we are looking for any
273 service able to compute the eigenvalues of a matrix, we have simply to create a
274 fake MSDL description of a service in the GAMS class D4a (``Ordinary eigenvalue
275 problems''). Unfortunately, Monet has not yet developed any user friendly
276 interface for writing MSDL documents, and for the moment a user has to manually
277 write the XML document by hand.
278
279 One of the main contribution of Monet is a set of \emph{ontologies} which could
280 be used by the IS. One ontology is for example defined over the GAMS taxonomy so
281 that the query engine is able, using an external reasoner over ontologies, to
282 return not only services in GAMS class D4a for the above example query, but also
283 services in all subclasses, for example D4a5 (``Ordinary eigenvalue problems on
284 tridiagonal matrixes'').
285
286 However, the most useful way of querying an Instance Store is not the basic
287 template query, but rather the queries \emph{via user input}. An IS could for
288 example queried with the following input (properly encoded in OpenMath):
289 $$\int^{1.0}_{0.0}\sin(x)\,\mathrm{d}x$$
290
291 We may now see an interesting use of one of the Monet ontologies: the problem
292 ontology. In this ontology each class of mathematical problems is associated to
293 an \texttt{openmath\_head} property which reference an OpenMath symbol likely to
294 be found in problem instances. For \texttt{definite\_integration} this symbol is
295 \texttt{defint}, the definite integral symbol $\int^x_y$. Due to the tree
296 structure of OpenMath formulae the IS could easily match the above user input
297 with problems of the \texttt{definite\_integration} class and retrieve all the
298 services computing definite integral.
299
300 On user request, the IS could do even more instantiating service inputs from
301 user input and return to the user directly the result of the integral
302 computation.
303
304 Monet standards are really promising, but in order for them to be useful we
305 still have to wait for deployment and actual use of related technologies by
306 widespread mathematical software packages.
307
308 \section{Content based searches}
309 The World Wide Web is already the largest resource of mathematical 
310 knowledge, however almost all mathematical documents available on the
311 Web are marked up only for presentation, preventing any attempt
312 of automation, interoperability,  transformation or processing. 
313 The long-term goal, in this area, is to overcome these limitations 
314 passing from a machine-readable to a machine-understandable representation 
315 of the information. In its deepest semantical sense, this means moving towards
316 a real formalizations of the mathematical content, that is an essential
317 prerequisite for most kind of automatic processing.  
318
319 The interest around content (or semantic) based functionalities has
320 been growing in recent years (see e.g.~\cite{pechino,mizarsearchengine,cairns,diffeq,mizarbrowsing}).
321 For instance,~\cite{diffeq} provides a quite paradigmatic case study.
322 The problem is to achieve an automatic classification of the differential 
323 equations appearing in some mathematical document according to a given set
324 of criteria (comprising e.g. the order, whether is ordinary or partial,
325 whether it is linear, homogeneous and so on). This implies a 
326 reconstruction of the semantics of the formula, possibly its transformation
327 (e.g its normalization to some kind of normal form), and finally its 
328 analysis. 
329
330 The general problems are essentially of three different kinds:
331 \begin{enumerate}
332  \item provide tools which help to automatically reconstruct the mathematical
333   content of mathematical expressions (especially meant for legacy documents),
334   and/or help to assist a direct content-based authoring of new documents
335  \item define and maintain well documented {\em content
336   dictionaries}\footnote{We use here the terminology of the OpenMath
337   Consortium~\cite{openmath}}, fixing the ontology of relevant fragments of the
338   current mathematical notation
339  \item developing techniques, languages and tools supporting and exploiting
340   innovative content based functionalities.
341 \end{enumerate}
342
343 \subsection{The MoWGLI project IST-2001-33562}
344 The goal of exploiting content based techniques for mathematical 
345 knowledge management has been explicitly addressed by the
346 European Project IST-2001-33562 
347 MoWGLI\footnote{\url{http://mowgli.cs.unibo.it}} (ending in march 2005).
348 MoWGLI was also intentionally conceived as a major test-bench for
349 XML-technology (DOM, Stylesheets, MathML, SVG, RDF, XMLQuery, etc.)
350 whose extensive use and testing has been a major leitmotif of
351 the project.
352
353 The main technological issues dealt within MoWGLI have been
354 \emph{rendering} (in particular, rendering engines for MathML),
355 \emph{Web publishing} (mostly done on the fly from XML sources
356 via XSLT transformations), and \emph{searching} (via a rich set 
357 of metadata automatically extracted from the content description 
358 of the information).
359
360 Developing and testing these tools required the possibility of
361 having at our disposal, and as soon as possible, large collections 
362 of documents encoded with semantic markup. 
363 One strategy which has been pursued has been to develop a tool
364 (called \emph{Hermes}) supporting a latex-based authoring mode for
365 mathematical articles. 
366 A more rapid way to get meaningful repositories of fully structured
367 mathematical knowledge was by exporting them from the available 
368 libraries of Logical Frameworks and Proof Assistants. In particular
369 the library of the Coq~\cite{coq} proof assistant developed at INRIA has been
370 successfully exported into XML and is currently searchable
371 and browsable by means of MoWGLI's technology at 
372 \url{http://helm.cs.unibo.it/}.
373
374 \subsubsection{Searching via metadata}
375 One of the main achievement of Mowgli is the feasibility of performing
376 sophisticated queries via a restricted set of metadata automatically
377 extracted from the structured representation of the information. The
378 structural content is essential since it allows to consider the {\em
379 position} of items in the document as a viable metadata. Although 
380 canonical indexing techniques like tree automata,
381 discrimination trees~\cite{McCune}, 
382 substitution trees~\cite{Graf} or context trees~\cite{Ganzinger} 
383 can be profitably used in order to solve 
384 specific matching problems, the metadata approach provide a degree
385 of flexibility and modularity that goes beyond (and is orthogonal to)
386 all previous approaches. 
387
388 Even in the case of iterated searching finalized to automatic proving
389 (that is one of the most widely investigated subject in the literature)
390 the cost of retrieving and applying all matching statements is in
391 fact neglectable with respect to the exponential grow of the search space
392 along different branches. Finding good heuristics to control the 
393 branching factor and having a simple mechanism to filter out 
394 unwanted solutions is thus more relevant than implementing an
395 efficient matching algorithm. Metadata provides such a simple, effective 
396 and absolutely flexible mechanism.
397
398 In particular, Mowgli's metadata for mathematical expressions
399 have the general shape
400 \[Ref(source,target,position)\]
401 stating that {\em source} contains a reference to {\em target} at the 
402 specified {\em  position}.
403 By suitably describing such a position we may reach the same 
404 degree of granularity of a substitution tree (where each variable 
405 marks indeed a different position), thus providing a complete 
406 description of the term. However, a very minimal set of
407 ``interesting'' positions, that, essentially just discriminates
408 among hypothesis and conclusions, and root operators from inner
409 ones, turns out to be already extremely effective.
410
411 A prototype implementation of a content based search engine called 
412 \moogle{} has been
413 developed at the University of Bologna and is available on the web at 
414 \url{http://helm.cs.unibo.it}. The engine is used to search the library
415 of the Coq Proof Assistant \cite{coq}, composed of about 40000 theorems 
416 in various fields of mathematics. 
417 \moogle{} supports 4 kinds of queries (see also~\cite{metadata1,metadata2}):
418 \begin{description}
419 \item[locate] this query is used to retrieve a mathematical item (theorem,
420  definition, lemma, \ldots) from its short name
421 \item[match] match allows to retrieve a mathematical item from a
422 pattern provided by the user (possibly containing wild cards).
423 For instance, we may retrieve a proof of a statement contained in the repository
424 from the statement itself
425 \item[elim] Coq is a logical framework based on the Calculus of Inductive
426 Constructions, and induction is the main logical tool. Several induction
427 principles (traditionally called elimination principles in this context) 
428 could be associated to a given datatype. The elim query takes in input a
429 datatype and gives back the list of its elimination principles
430 \item[hint] hint is probably the most sophisticated query. It takes
431 in input a (closed) statement and gives back a list of theorems of
432 the repository which can be applied to the conclusion of the statement
433 in the attempt of proving it in a backward fashion. 
434 \end{description}
435
436 \subsubsection{Hermes}
437 The main problem of semantic-based techniques is still the 
438 actual authoring cost of semantically enriched documents. 
439
440 A second major technical achievement of MoWGLI is the development of an
441 authoring tool for scientific documents
442 (Hermes\footnote{\url{http://psyx.org/romeo/hermes/}}) supporting manual and
443 automatic generation of MathML content, and automatic generation of MathML
444 presentation, enabling an author to add and recover semantic depth and clarity
445 to \LaTeX{} written documents.
446
447 The prototype implementation of Hermes has the following components:
448 \begin{itemize}
449 \item a set of helper \LaTeX\ macros, which allows the author to disambiguate
450 the meaning of the mathematical expressions he writes, while allowing 
451 some choices for the presentation; this set is included by the author 
452  in the originally written \LaTeX\ document.
453 A \LaTeX\ run on the macro-enriched document will output a ``semantic DVI'' file
454 (a DVI file containing ``special'' annotations of various combinations of 
455 graphical and non-graphical symbols in the source).
456 \item a scanner which extracts from the resulting DVI 
457 file the semantic tokens seeded by the macro collection above and sends 
458 them to the parser below.
459 \item a parser creating the final content-oriented XML representation. 
460 \item an XSLT stylesheet, transforming the content-oriented XML document into
461 a renderable, cross-referenced, document.
462 \end{itemize}
463
464
465 \begin{thebibliography}{}
466  \bibitem{dewey} Dewey Decimal Classification, \url{http://www.oclc.org/dewey/}
467  \bibitem{msc2000} Mathematical Subject Classification, American Mathematical
468   Society, \url{http://www.ams.org/msc}
469  \bibitem{zmath} Zentralblatt MATH, \url{http://www.emis.de/ZMATH/}
470  \bibitem{mathscinet} MathSciNet, Mathematical Reviews on the Web,\newline
471   \url{http://www.ams.org/mathscinet}
472  \bibitem{eram} The Jahrbuch Project Electronic Research Archive for Mathematics
473   (ERAM), \url{http://www.emis.de/projects/JFM/}
474  \bibitem{euler} EULER - Your Portal to Mathematics Publications,\newline
475   \url{http://www.emis.de/projects/EULER/About.html}
476  \bibitem{cwi} Centrum voor Wiskunde en Informatica Library,\newline
477   \url{http://www.cwi.nl/library/}
478  \bibitem{clouds} Hazewinkel, M. Statistics of information clouds.  Discussion
479   paper in the framework of the TRIAL SOLUTION project, CWI Amsterdam, 14 Sept.
480   2001.
481  \bibitem{webservices} Web Services Activity, World Wide Web Consortium,\newline
482   \url{http://www.w3.org/2002/ws/}
483  \bibitem{semanticweb} Semantic Web, World Wide Web Consortium,\newline
484   \url{http://www.w3.org/2001/sw/}
485  \bibitem{xml} Tim Bray and Jean Paoli and C. M. {Sperberg-McQueen} and Eve
486   Maler (Eds): ``Extensible Markup Language (XML) 1.0 (2nd Edition)'', W3C
487   Recommendation (2000), \url{http://www.w3.org/TR/2000/REC-xml-20001006}
488  \bibitem{wsdl} Roberto Chinnici et al. eds., ``Web Services Description
489   Language (WSDL) Version 2.0 Part 1: Core Language'',
490   \url{http://www.w3.org/TR/wsdl20/}
491  \bibitem{wsdlbindings} Hugo Haas et al. eds., ``Web Services Description
492   Language (WSDL) Version 2.0 Part 3: Bindings'',
493   \url{http://www.w3.org/TR/wsdl20-bindings/}
494  \bibitem{monet1} O.Caprotti, M.Dewar, D.Turi.  Mathematical Service Matching
495   Using Description Logic and OWL.  In Proceeding of the Third International
496   Conference on Mathematical Knowledge Management, MKM 2004. Bialowieza, Poland.
497   LNCS 3119.
498  \bibitem{monet2} O.Caprotti, J.H. Davenport, M.Dewar, J.Padget.  Mathematics on
499   the (Semantic) NET. In Proceedings of ESWS 2004, First European  Semantic Web
500   Symposium. LNCS 3053, pp. 213--224
501  \bibitem{msdl} Mathematical Service Description Language: Final Version. The
502   MONET Consortium (IST-2001-34145). Deliverable D14,\newline
503   \url{http://monet.nag.co.uk/cocoon/monet/publicdocs/monet-msdl-final.pdf}
504  \bibitem{openmath} The OpenMath Society, The OpenMath 2.0 Standard,\newline
505   \url{http://www.openmath.org/standard/om20-2004-06-30/omstd20html-0.xml}
506  \bibitem{mathml} David Carlisle et al. eds., Mathematical Markup Language
507   (MathML) Version 2.0 (Second Edition), W3C Recommendation 21 October 2003,
508   \url{http://www.w3.org/TR/2003/REC-MathML2-20031021/}
509  \bibitem{gams} Guide to Available Mathematical Software,
510   \url{http://gams.nist.gov/}
511  \bibitem{pechino} A.Asperti, B.Wegner. An Approach to Machine-Understandable
512   Representation of the Mathematical Information in Digital Documents.  In:
513   Fengshai Bai and Bernd Wegner (eds.): Electronic Information and Communication
514   in Mathematics, LNCS vol. 2730, pp. 14--23, 2003
515  \bibitem{mizarsearchengine} G. Bancerek, P. Rudnicki. Information Retrieval in
516   MML. In Proceedings of the Second International Conference on Mathematical
517   Knowledge Management, MKM 2003. LNCS, 2594.
518  \bibitem{cairns} P.Cairns. Informalising Formal Mathemtics: Searching the Mizar
519   Library with Latent Semantics. In Proceeding of the Third International
520   Conference on Mathematical Knowledge Management, MKM 2004. Bialowieza, Poland.
521   LNCS 3119.
522  \bibitem{diffeq} D. Draheim, W. Neun, D. Suliman. Classifying Differential
523   Equations on the Web Statements. In Proceeding of the Third International
524   Conference on Mathematical Knowledge Management, MKM 2004. LNCS, 3119.
525  \bibitem{mizarbrowsing} G. Bancerek, J.Urban. Integrated Semantic Browsing of
526   the Mizar Mahemtical Repository. In Proceeding of the Third International
527   Conference on Mathematical Knowledge Management, MKM 2004. Bialowieza, Poland.
528   LNCS 3119.
529  \bibitem{coq} The Coq proof-assistant, \url{http://coq.inria.fr}
530  \bibitem{McCune} W.McCune. Experiments with discrimination tree indexing and
531   path indexing for term retrieval. Journal of Automated Reasoning,
532   9(2):147-167, October 1992.
533  \bibitem{Graf} P.Graf. Substitution Tree Indexing. Proceedings of the 6th RTA
534   Conference, Springer-Verlag LNCS 914, pp. 117-131, Kaiserlautern, Germany,
535   April 4-7, 1995.
536  \bibitem{Ganzinger} H.Ganzinger, R.Nieuwehuis, P.Nivela.  Fast Term Indexing
537   with Coded Context Trees. Journal of Automated Reasoning.  To appear.
538  \bibitem{metadata1} F. Guidi, C. Sacerdoti Coen. Querying Distributed Digital
539   Libraries of Mathematics. In Proceedings of Calculemus 2003, 11th Symposium on
540   the Integration of Symbolic Computation and Mechanized Reasoning.  Aracne
541   Editrice.
542  \bibitem{metadata2} A. Asperti, M. Selmi. Efficient Retrieval of Mathematical
543   Statements. In Proceeding of the Third International Conference on
544   Mathematical Knowledge Management, MKM 2004. Bialowieza, Poland. LNCS 3119.
545 \end{thebibliography}
546
547 \end{document}
548