helm/metadata/create/mywget.pl

   1 #!/usr/bin/perl
   2
   3 # Copyright (C) 2000, HELM Team.
   4 #
   5 # This file is part of HELM, an Hypertextual, Electronic
   6 # Library of Mathematics, developed at the Computer Science
   7 # Department, University of Bologna, Italy.
   8 #
   9 # HELM is free software; you can redistribute it and/or
  10 # modify it under the terms of the GNU General Public License
  11 # as published by the Free Software Foundation; either version 2
  12 # of the License, or (at your option) any later version.
  13 #
  14 # HELM is distributed in the hope that it will be useful,
  15 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17 # GNU General Public License for more details.
  18 #
  19 # You should have received a copy of the GNU General Public License
  20 # along with HELM; if not, write to the Free Software
  21 # Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
  22 #
  23 # For details, see the HELM World-Wide-Web page,
  24 # http://cs.unibo.it/helm/.
  25
  26 #use strict;
  27
  28 use HTTP::Daemon;
  29 use HTTP::Status;
  30 use HTTP::Request;
  31 use LWP::UserAgent;
  32 use DB_File;
  33 use Compress::Zlib;
  34 use URI::Escape;
  35
  36 foreach $i (@ARGV) {
  37  my $filename = $i;
  38  $filename =~ s/\//./g;
  39  open(FD,">output/$filename");
  40
  41 # my $url = "http://phd.cs.unibo.it:8080/helm/servlet/uwobo/apply?keys=pfi%2Creorder&xmluri=http%3A//phd.cs.unibo.it%3A8081/ls%3Fformat%3Dxml%26baseuri%3D$i&param.uri=$i&param.getterURL=http://phd.cs.unibo.it:8081/";
  42
  43 #my $url = "http://dotto.cs.unibo.it:8080/helm/servlet/uwobo/apply?keys=pfi%2Creorder&xmluri=http%3A//dotto.cs.unibo.it%3A8081/ls%3Fformat%3Dxml%26baseuri%3D$i&param.uri=$i&param.getterURL=http://dotto.cs.unibo.it:8081/";
  44
  45 my $url = "http://phd.cs.unibo.it:8080/helm/servlet/uwobo/apply?keys=occ&xmluri=http%3A//phd.cs.unibo.it%3A8081/getxml%3Furi%3D$i&param.CICURI=$i";
  46
  47  print "Now processing $i...\n";
  48  print "$url\n";
  49
  50  my $time = time();
  51  my $ua = LWP::UserAgent->new;
  52  my $request = HTTP::Request->new(GET => "$url");
  53  my $response = $ua->request($request, \&callback2);
  54  $time = time() - $time;
  55  print "Finished. Time elapsed: $time\n\n";
  56
  57  close(FD);
  58 }
  59
  60 exit;
  61
  62 sub callback2
  63 {
  64  my ($data) = @_;
  65  print FD $data;
  66 }