route cache, wcy, wwv. ann caching
[spider.git] / perl / WCY.pm
index ef1a9b21f523ed8a357ca930dabf6f8f4c68985a..504768860717204fc0f70814b6f1ca7e55c6ab8b 100644 (file)
@@ -4,7 +4,7 @@
 #
 # Copyright (c) 2000 - Dirk Koopman G1TLH
 #
-# $Id$
+#
 #
 
 package WCY;
@@ -18,9 +18,10 @@ use DXDebug;
 use Data::Dumper;
 
 use strict;
+
 use vars qw($date $sfi $k $expk $a $r $sa $gmf $au  @allowed @denied $fp $node $from 
             $dirprefix $param
-            %dup $duplth $dupage);
+            $duplth $dupage $filterdef);
 
 $fp = 0;                                               # the DXLog fcb
 $date = 0;                                             # the unix time of the WWV (notional)
@@ -33,19 +34,39 @@ $gmf = "";                                          # Geomag activity
 $au = 'no';                                            # aurora warning
 $node = "";                                            # originating node
 $from = "";                                            # who this came from
-@allowed = ();                                 # if present only these callsigns are regarded as valid WWV updators
+@allowed = qw(DK0WCY);                                 # if present only these callsigns are regarded as valid WWV updators
 @denied = ();                                  # if present ignore any wwv from these callsigns
-%dup = ();                                             # the spot duplicates hash
 $duplth = 20;                                  # the length of text to use in the deduping
 $dupage = 12*3600;                             # the length of time to hold spot dups
 
-$dirprefix = "$main::data/wcy";
+$dirprefix = "$main::local_data/wcy";
 $param = "$dirprefix/param";
 
+our $maxcache = 20;
+our @cache;
+
+
+$filterdef = bless ([
+                         # tag, sort, field, priv, special parser 
+                         ['by', 'c', 11],
+                         ['origin', 'c', 12],
+                         ['channel', 'c', 13],
+                         ['by_dxcc', 'nc', 14],
+                         ['by_itu', 'ni', 15],
+                         ['by_zone', 'nz', 16],
+                         ['origin_dxcc', 'nc', 17],
+                         ['origin_itu', 'ni', 18],
+                         ['origin_zone', 'nz', 19],
+                        ], 'Filter::Cmd');
+
 sub init
 {
        $fp = DXLog::new('wcy', 'dat', 'm');
        do "$param" if -e "$param";
+       # read in existing data
+       @cache = readfile($main::systime);
+       shift @cache while @cache > $maxcache;
+       dbg(sprintf "WCY read in last %d records into cache", scalar @cache);   
        confess $@ if $@;
 }
 
@@ -63,15 +84,19 @@ sub store
        $fh->close;
        
        # log it
-       $fp->writeunix($date, "$date^$sfi^$a^$k^$expk^$r^$sa^$gmf^$au^$from^$node");
+       my $s =  "$date^$sfi^$a^$k^$expk^$r^$sa^$gmf^$au^$from^$node";
+       $fp->writeunix($date, $s);
+       push @cache, [ split /\^/, $s ];
+       shift @cache while @cache > $maxcache; 
 }
 
-# update WWV info in one go (usually from a PC23)
+# update WCY info in one go (usually from a PC23)
 sub update
 {
        my ($mydate, $mytime, $mysfi, $mya, $myk, $myexpk, $myr, $mysa, $mygmf, $myau, $myfrom, $mynode) = @_;
-       if ((@allowed && grep {$_ eq $from} @allowed) || 
-               (@denied && !grep {$_ eq $from} @denied) ||
+       $myfrom =~ s/-\d+$//;
+       if ((@allowed && grep {$_ eq $myfrom} @allowed) || 
+               (@denied && !grep {$_ eq $myfrom} @denied) ||
                (@allowed == 0 && @denied == 0)) {
                
                #       my $trydate = cltounix($mydate, sprintf("%02d18Z", $mytime));
@@ -137,15 +162,23 @@ sub search
 {
        my $from = shift;
        my $to = shift;
-       my @date = $fp->unixtoj(shift);
+       my $t = shift;
+       my $date = $fp->unixtoj($t);
        my $pattern = shift;
        my $search;
        my @out;
        my $eval;
        my $count;
-       
-       $search = 1;
-       $eval = qq(
+       my $i;
+
+       if ($t == $main::systime && ($to <= $maxcache)) {
+               dbg("using wcy cache") if isdbg('wcy');
+               @out = reverse @cache;
+               pop @out while @out > $to;
+       } else {
+               dbg("using wwv file(s))") if isdbg('wwv');
+               $search = 1;
+               $eval = qq(
                           my \$c;
                           my \$ref;
                           for (\$c = \$#in; \$c >= 0; \$c--) {
@@ -158,23 +191,23 @@ sub search
                                        }
                                }
                          );
-       
-       $fp->close;                                     # close any open files
-       
-       my $fh = $fp->open(@date); 
-       for ($count = 0; $count < $to; ) {
-               my @in = ();
-               if ($fh) {
-                       while (<$fh>) {
-                               chomp;
-                               push @in, [ split '\^' ] if length > 2;
+               
+               $fp->close;                                     # close any open files
+               my $fh = $fp->open($date); 
+               for ($i = $count = 0; $count < $to; $i++ ) {
+                       my @in = ();
+                       if ($fh) {
+                               while (<$fh>) {
+                                       chomp;
+                                       push @in, [ split '\^' ] if length > 2;
+                               }
+                               eval $eval;                     # do the search on this file
+                               return ("Geomag search error", $@) if $@;
+                               last if $count >= $to; # stop after n
                        }
-                       eval $eval;                     # do the search on this file
-                       return ("Geomag search error", $@) if $@;
-                       last if $count >= $to; # stop after n
+                       $fh = $fp->openprev();  # get the next file
+                       last if !$fh;
                }
-               $fh = $fp->openprev();  # get the next file
-               last if !$fh;
        }
        
        return @out;
@@ -196,7 +229,7 @@ sub print_item
        my $d = cldate($r->[0]);
        my $t = (gmtime($r->[0]))[2];
 
-       return sprintf("$d   %02d %5d %3d %3d   %3d %3d %-5s %-5s     %-3s <%s>", 
+       return sprintf("$d   %02d %5d %3d %3d   %3d %3d %-5s %-5s %6s <%s>", 
                                    $t, @$r[1..9]);
 }
 
@@ -205,8 +238,8 @@ sub print_item
 #
 sub readfile
 {
-       my @date = $fp->unixtoj(shift);
-       my $fh = $fp->open(@date); 
+       my $date = $fp->unixtoj(shift);
+       my $fh = $fp->open($date); 
        my @spots = ();
        my @in;
        
@@ -222,36 +255,18 @@ sub readfile
 # enter the spot for dup checking and return true if it is already a dup
 sub dup
 {
-       my ($d, $sfi, $a, $k, $r) = @_; 
+       my ($d) = @_; 
 
        # dump if too old
        return 2 if $d < $main::systime - $dupage;
  
-#      chomp $text;
-#      $text = substr($text, 0, $duplth) if length $text > $duplth; 
-       my $dupkey = "$d|$sfi|$k|$a|$r";
-       return 1 if exists $dup{$dupkey};
-       $dup{$dupkey} = $d * 60;         # in seconds (to the nearest minute)
-       return 0; 
-}
-
-# called every hour and cleans out the dup cache
-sub process
-{
-       my $cutoff = $main::systime - $dupage;
-       while (my ($key, $val) = each %dup) {
-               delete $dup{$key} if $val < $cutoff;
-       }
+       my $dupkey = "C$d";
+       return DXDupe::check($dupkey, $main::systime+$dupage);
 }
 
 sub listdups
 {
-       my @out;
-       for (sort { $dup{$a} <=> $dup{$b} } keys %dup) {
-               my $val = $dup{$_};
-               push @out, "$_ = $val (" . cldatetime($val) . ")";
-       }
-       return @out;
+       return DXDupe::listdups('C', $dupage, @_);
 }
 1;
 __END__;