add interval processing
[spider.git] / perl / Aranea.pm
1 #
2 # The new protocol for real at last
3 #
4 # $Id$
5 #
6 # Copyright (c) 2005 Dirk Koopman G1TLH
7 #
8
9 package Aranea;
10
11 use strict;
12
13 use DXUtil;
14 use DXChannel;
15 use DXUser;
16 use DXM;
17 use DXLog;
18 use DXDebug;
19 use Filter;
20 use Time::HiRes qw(gettimeofday tv_interval);
21 use DXHash;
22 use Route;
23 use Route::Node;
24 use Script;
25 use Verify;
26 use DXDupe;
27 use Thingy;
28 use Thingy::Rt;
29 use Thingy::Hello;
30 use Thingy::Bye;
31 use RouteDB;
32 use DXProt;
33 use DXCommandmode;
34
35 use vars qw($VERSION $BRANCH);
36
37 main::mkver($VERSION = q$Revision$);
38
39 use vars qw(@ISA $ntpflag $dupeage $cf_interval $hello_interval);
40
41 @ISA = qw(DXChannel);
42
43 $ntpflag = 0;                                   # should be set in startup if NTP in use
44 $dupeage = 12*60*60;                    # duplicates stored half a day 
45 $cf_interval = 30*60;                   # interval between config broadcasts
46 $hello_interval = 3*60*60;              # interval between hello broadcasts for me and local users
47
48 my $seqno = 0;
49 my $dayno = 0;
50 my $daystart = 0;
51
52 sub init
53 {
54
55 }
56
57 sub new
58 {
59         my $self = DXChannel::alloc(@_);
60
61         # add this node to the table, the values get filled in later
62         my $pkg = shift;
63         my $call = shift;
64         $self->{'sort'} = 'W';
65         return $self;
66 }
67
68 sub start
69 {
70         my ($self, $line, $sort) = @_;
71         my $call = $self->{call};
72         my $user = $self->{user};
73
74         # log it
75         my $host = $self->{conn}->{peerhost} || "unknown";
76         Log('Aranea', "$call connected from $host");
77
78         # remember type of connection
79         $self->{consort} = $line;
80         $self->{outbound} = $sort eq 'O';
81         my $priv = $user->priv;
82         $priv = $user->priv(1) unless $priv;
83         $self->{priv} = $priv;     # other clusters can always be 'normal' users
84         $self->{lang} = $user->lang || 'en';
85         $self->{consort} = $line;       # save the connection type
86         $self->{here} = 1;
87         $self->{width} = 80;
88
89         # sort out registration
90         $self->{registered} = 1;
91
92         # get the output filters
93         $self->{spotsfilter} = Filter::read_in('spots', $call, 0) || Filter::read_in('spots', 'node_default', 0);
94         $self->{wwvfilter} = Filter::read_in('wwv', $call, 0) || Filter::read_in('wwv', 'node_default', 0);
95         $self->{wcyfilter} = Filter::read_in('wcy', $call, 0) || Filter::read_in('wcy', 'node_default', 0);
96         $self->{annfilter} = Filter::read_in('ann', $call, 0) || Filter::read_in('ann', 'node_default', 0) ;
97         $self->{routefilter} = Filter::read_in('route', $call, 0) || Filter::read_in('route', 'node_default', 0) unless $self->{isolate} ;
98
99
100         # get the INPUT filters (these only pertain to Clusters)
101         $self->{inspotsfilter} = Filter::read_in('spots', $call, 1) || Filter::read_in('spots', 'node_default', 1);
102         $self->{inwwvfilter} = Filter::read_in('wwv', $call, 1) || Filter::read_in('wwv', 'node_default', 1);
103         $self->{inwcyfilter} = Filter::read_in('wcy', $call, 1) || Filter::read_in('wcy', 'node_default', 1);
104         $self->{inannfilter} = Filter::read_in('ann', $call, 1) || Filter::read_in('ann', 'node_default', 1);
105         $self->{inroutefilter} = Filter::read_in('route', $call, 1) || Filter::read_in('route', 'node_default', 1) unless $self->{isolate};
106         
107         $self->conn->echo(0) if $self->conn->can('echo');
108         
109         # ping neighbour node stuff
110         my $ping = $user->pingint;
111         $ping = $DXProt::pingint unless defined $ping;
112         $self->{pingint} = $ping;
113         $self->{nopings} = $user->nopings || $DXProt::obscount;
114         $self->{pingtime} = [ ];
115         $self->{pingave} = 999;
116         $self->{metric} ||= 100;
117         $self->{lastping} = $main::systime;
118         
119         $self->state('normal');
120         $self->{pc50_t} = $main::systime;
121
122         # send info to all logged in thingies
123         $self->tell_login('loginn');
124
125         # broadcast our configuration to the world
126         unless ($self->{outbound}) {
127                 my $thing = Thingy::Rt->new_cf;
128                 $thing->broadcast;
129                 $self->lastcf($main::systime);
130         }
131         
132         # run a script send the output to the debug file
133         my $script = new Script(lc $call) || new Script('node_default');
134         $script->run($self) if $script;
135 }
136
137 #
138 # This is the normal despatcher
139 #
140 sub normal
141 {
142         my ($self, $line) = @_;
143         my $thing = input($line);
144         $thing->queue($self) if $thing;
145 }
146
147 #
148 # periodic processing (every second)
149 #
150
151 my $lastmin = 0;
152
153 sub process
154 {
155
156         # calc day number
157         my $d = (gmtime($main::systime))[3];
158         if ($d != $dayno) {
159                 $dayno = $d;
160                 $daystart = $main::systime - ($main::systime % 86400);
161         }
162         if ($main::systime >= $lastmin + 60) {
163                 if ($lastmin) {
164                         per_minute();
165                         $lastmin = $main::systime;
166                 }
167         }
168 }
169
170 sub per_minute
171 {
172         # send hello and cf packages periodically
173         foreach my $dxchan (DXChannel::get_all()) {
174                 next if $dxchan == $main::me;
175                 next if $dxchan->is_aranea;
176                 if ($main::systime > $dxchan->lasthello + $hello_interval) {
177                         my $thing = Thingy::Hello->new(user => $dxchan->call, h => $dxchan->here);
178                         $thing->broadcast($dxchan);
179                         $dxchan->lasthello($main::systime);
180                 }
181                 if ($dxchan->is_node) {
182                         if ($main::systime > $dxchan->lasthello + $hello_interval) {
183                                 my $call = $dxchan->call;
184                                 my $thing = Thingy::Rt->new(user => $call);
185                                 if (my $nref = Route::Node::get($call)) {
186                                         $thing->copy_pc16_data($nref);
187                                         $thing->broadcast($dxchan);
188                                         $dxchan->lastcf($main::systime);
189                                 } else {
190                                         dbg("Aranea::per_minute: Route::Node for $call disappeared");
191                                         $dxchan->disconnect;
192                                 }
193                         }
194                 }
195         }
196 }
197
198 sub disconnect
199 {
200         my $self = shift;
201         my $call = $self->call;
202
203         return if $self->{disconnecting}++;
204
205         my $thing = Thingy::Bye->new(origin=>$main::mycall, user=>$call);
206         $thing->broadcast($self);
207
208         # get rid of any PC16/17/19
209         DXProt::eph_del_regex("^PC1[679]*$call");
210
211         # do routing stuff, remove me from routing table
212         my $node = Route::Node::get($call);
213         my @rout;
214         if ($node) {
215                 @rout = $node->del($main::routeroot);
216                 
217                 # and all my ephemera as well
218                 for (@rout) {
219                         my $c = $_->call;
220                         DXProt::eph_del_regex("^PC1[679].*$c");
221                 }
222         }
223
224         RouteDB::delete_interface($call);
225         
226         # unbusy and stop and outgoing mail
227         my $mref = DXMsg::get_busy($call);
228         $mref->stop_msg($call) if $mref;
229         
230         # broadcast to all other nodes that all the nodes connected to via me are gone
231         DXProt::route_pc21($self, $main::mycall, undef, @rout) if @rout;
232
233         # remove outstanding pings
234 #       delete $pings{$call};
235         
236         # I was the last node visited
237     $self->user->node($main::mycall);
238
239         # send info to all logged in thingies
240         $self->tell_login('logoutn');
241
242         Log('Aranea', $call . " Disconnected");
243
244         $self->SUPER::disconnect;
245 }
246
247
248 # generate new header (this is a general subroutine, not a method
249 # because it has to be used before a channel is fully initialised).
250 #
251
252 sub formathead
253 {
254         my $mycall = shift;
255         my $dts = shift;
256         my $hop = shift;
257         my $user = shift;
258         my $group = shift;
259         
260         my $s = "$mycall,$dts,$hop";
261         $s .= ",$user" if $user;
262         if ($group) {
263                 $s .= "," unless $user;
264                 $s .= ",$group" if $group;
265         } 
266         return $s;
267 }
268
269 sub genheader
270 {
271         my $mycall = shift;
272         my $to = shift;
273         my $from = shift;
274         
275         my $date = ((($dayno << 1) | $ntpflag) << 18) |  ($main::systime % 86400);
276         my $r = formathead($mycall, sprintf('%6X%04X', $date, $seqno), 0, $from, $to);
277         $seqno++;
278         $seqno = 0 if $seqno > 0x0ffff;
279         return $r;
280 }
281
282 #
283 # decode the date time sequence group
284 #
285
286 sub decode_dts
287 {
288         my $dts = shift;
289         my ($dt, $seqno) = map {hex} unpack "H6H4", $dts;
290         my $secs = $dt & 0x3FFFF;
291         $dt >>= 18;
292         my $day = $dt >> 1;
293         my $ntp = $dt & 1;
294         my $t;
295         if ($dayno == $day) {
296                 $t = $daystart + $secs;
297         } elsif ($dayno < $day) {
298                 $t = $daystart + (($day-$dayno) * 86400) + $secs;
299         } else {
300                 $t = $daystart + (($dayno-$day) * 86400) + $secs;
301         }
302         return ($t, $seqno, $ntp);
303 }
304
305 # subroutines to encode and decode values in lists 
306 sub tencode
307 {
308         my $s = shift;
309         $s =~ s/([\%=|,\'\x00-\x1f\x7f-\xff])/sprintf("%%%02X", ord($1))/eg; 
310         $s = "'$s'" if $s =~ / /;
311         return $s;
312 }
313
314 sub tdecode
315 {
316         my $s = shift;
317         $s =~ s/^'(.*)'$/$1/;
318         $s =~ s/\%([0-9A-F][0-9A-F])/chr(hex($1))/eg;
319         return length $s ? $s : '';
320 }
321
322 sub genmsg
323 {
324         my $thing = shift;
325         my $list = ref $_[0] ? shift : \@_;
326         my ($name) = uc ref $thing;
327         $name =~ /::(\w+)$/;
328         $name = $1;
329         my $head = genheader($thing->{origin}, 
330                                                  ($thing->{group} || $thing->{touser} || $thing->{tonode}),
331                                                  ($thing->{user} || $thing->{fromuser} || $thing->{fromnode})
332                                                 );
333          
334         my $data = uc $name . ',';
335         while (@$list) {
336                 my $k = lc shift @$list;
337                 my $v = $thing->{$k};
338                 $data .= "$k=" . tencode($v) . ',' if defined $v;
339         }
340         chop $data;
341         return "$head|$data";
342 }
343
344
345 sub decode_input
346 {
347         my $self = shift;
348         my $line = shift;
349         return ('I', $self->{call}, $line);
350 }
351
352 sub input
353 {
354         my $line = shift;
355         my ($head, $data) = split /\|/, $line, 2;
356         return unless $head && $data;
357
358         my ($origin, $dts, $hop, $user, $group) = split /,/, $head;
359         return if DXDupe::check("Ara,$origin,$dts", $dupeage);
360         my $err;
361         $err .= "incomplete header," unless $origin && $dts && defined $hop;
362         my ($cmd, $rdata) = split /,/, $data, 2;
363
364         # validate it further
365         $err .= "missing cmd or data," unless $cmd && $data;
366         $err .= "invalid command ($cmd)," unless $cmd =~ /^[A-Z][A-Z0-9]*$/;
367         my ($gp, $tus) = split /:/, $group, 2 if $group;
368
369         $err .= "from me," if $origin eq $main::mycall;
370         $err .= "invalid group ($gp)," if $gp && $gp !~ /^[A-Z0-9]{2,}$/;
371         $err .= "invalid tocall ($tus)," if $tus && !is_callsign($tus);
372         $err .= "invalid fromcall ($user)," if $user && !is_callsign($user);
373
374         my $class = 'Thingy::' . ucfirst(lc $cmd);
375         my $thing;
376         my ($t, $seqno, $ntp) = decode_dts($dts) unless $err;
377         $err .= "invalid date/seq," unless $t;
378         
379         if ($err) {
380                 chop $err;
381                 dbg("Aranea input: $err");
382         } elsif ($class->can('new')) {
383                 # create the appropriate Thingy
384                 $thing = $class->new();
385
386                 # reconstitute the header but wth hop increased by one
387                 $head = formathead($origin, $dts, ++$hop, $user, $group);
388                 $thing->{Aranea} = "$head|$data";
389
390                 # store useful data
391                 $thing->{origin} = $origin;
392                 $thing->{time} = $t;
393                 $thing->{group} = $gp if $gp;
394                 $thing->{touser} = $tus if $tus;
395                 $thing->{user} = $user if $user;
396                 $thing->{hopsaway} = $hop; 
397
398                 if ($rdata) {
399                         for (split(/,/, $rdata)) {
400                                 if (/=/) {
401                                         my ($k,$v) = split /=/, $_, 2;
402                                         $thing->{$k} = tdecode($v);
403                                 } else {
404                                         $thing->{$_} = 1;
405                                 }
406                         }
407                 }
408                 
409                 # post process the thing, this generally adds on semantic meaning
410                 # does parameter checking etc. It also adds / prepares the thingy so
411                 # this is compatible with older protocol and arranges data so
412                 # that the filtering can still work.
413                 if ($thing->can('from_Aranea')) {
414
415                         # if a thing is ok then return that thing, otherwise return
416                         # nothing
417                         $thing = $thing->from_Aranea;
418                 }
419         }
420         return $thing;
421 }
422
423 # this is the DXChannel send
424 # note that this does NOT send out stuff in same way as other DXChannels
425 # it is just as it comes, no extra bits added (here)
426 sub send                                                # this is always later and always data
427 {
428         my $self = shift;
429         my $conn = $self->{conn};
430         return unless $conn;
431         my $call = $self->{call};
432
433         for (@_) {
434 #               chomp;
435         my @lines = split /\n/;
436                 for (@lines) {
437                         $conn->send_later($_);
438                         dbg("-> D $call $_") if isdbg('chan');
439                 }
440         }
441         $self->{t} = $main::systime;
442 }
443
444 #
445 # load of dummies for DXChannel broadcasts
446 # these will go away in time?
447 # These are all from PC protocol
448 #
449
450 sub dx_spot
451 {
452         my $self = shift;
453         my $line = shift;
454         my $isolate = shift;
455         my ($filter, $hops);
456
457         if ($self->{spotsfilter}) {
458                 ($filter, $hops) = $self->{spotsfilter}->it(@_);
459                 return unless $filter;
460         }
461 #       send_prot_line($self, $filter, $hops, $isolate, $line);
462 }
463
464 sub wwv
465 {
466         my $self = shift;
467         my $line = shift;
468         my $isolate = shift;
469         my ($filter, $hops);
470         
471         if ($self->{wwvfilter}) {
472                 ($filter, $hops) = $self->{wwvfilter}->it(@_);
473                 return unless $filter;
474         }
475 #       send_prot_line($self, $filter, $hops, $isolate, $line)
476 }
477
478 sub wcy
479 {
480         my $self = shift;
481         my $line = shift;
482         my $isolate = shift;
483         my ($filter, $hops);
484
485         if ($self->{wcyfilter}) {
486                 ($filter, $hops) = $self->{wcyfilter}->it(@_);
487                 return unless $filter;
488         }
489 #       send_prot_line($self, $filter, $hops, $isolate, $line) if $self->is_clx || $self->is_spider || $self->is_dxnet;
490 }
491
492 sub announce
493 {
494         my $self = shift;
495         my $line = shift;
496         my $isolate = shift;
497         my $to = shift;
498         my $target = shift;
499         my $text = shift;
500         my ($filter, $hops);
501
502         if ($self->{annfilter}) {
503                 ($filter, $hops) = $self->{annfilter}->it(@_);
504                 return unless $filter;
505         }
506 #       send_prot_line($self, $filter, $hops, $isolate, $line) unless $_[1] eq $main::mycall;
507 }
508
509 sub chat
510 {
511         goto &announce;
512 }
513
514 1;