75fcee8e07519bff04faa5d341f3ad24c62eb07a
[spider.git] / perl / Aranea.pm
1 #
2 # The new protocol for real at last
3 #
4 # $Id$
5 #
6 # Copyright (c) 2005 Dirk Koopman G1TLH
7 #
8
9 package Aranea;
10
11 use strict;
12
13 use DXUtil;
14 use DXChannel;
15 use DXUser;
16 use DXM;
17 use DXLog;
18 use DXDebug;
19 use Filter;
20 use Time::HiRes qw(gettimeofday tv_interval);
21 use DXHash;
22 use Route;
23 use Route::Node;
24 use Script;
25 use Verify;
26 use DXDupe;
27 use Thingy;
28 use Thingy::Rt;
29 use Thingy::Hello;
30 use Thingy::Bye;
31 use RouteDB;
32 use DXProt;
33 use DXCommandmode;
34
35 use vars qw($VERSION $BRANCH);
36
37 main::mkver($VERSION = q$Revision$);
38
39 use vars qw(@ISA $ntpflag $dupeage $cf_interval $hello_interval);
40
41 @ISA = qw(DXChannel);
42
43 $ntpflag = 0;                                   # should be set in startup if NTP in use
44 $dupeage = 12*60*60;                    # duplicates stored half a day 
45 $cf_interval = 30*60;                   # interval between config broadcasts
46 $hello_interval = 3*60*60;              # interval between hello broadcasts for me and local users
47
48 my $seqno = 0;
49 my $dayno = 0;
50 my $daystart = 0;
51
52 sub init
53 {
54
55 }
56
57 sub new
58 {
59         my $self = DXChannel::alloc(@_);
60
61         # add this node to the table, the values get filled in later
62         my $pkg = shift;
63         my $call = shift;
64         $self->{'sort'} = 'W';
65         return $self;
66 }
67
68 sub start
69 {
70         my ($self, $line, $sort) = @_;
71         my $call = $self->{call};
72         my $user = $self->{user};
73
74         # log it
75         my $host = $self->{conn}->{peerhost} || "unknown";
76         Log('Aranea', "$call connected from $host");
77
78         # remember type of connection
79         $self->{consort} = $line;
80         $self->{outbound} = $sort eq 'O';
81         my $priv = $user->priv;
82         $priv = $user->priv(1) unless $priv;
83         $self->{priv} = $priv;     # other clusters can always be 'normal' users
84         $self->{lang} = $user->lang || 'en';
85         $self->{consort} = $line;       # save the connection type
86         $self->{here} = 1;
87         $self->{width} = 80;
88
89         # sort out registration
90         $self->{registered} = 1;
91
92         # get the output filters
93         $self->{spotsfilter} = Filter::read_in('spots', $call, 0) || Filter::read_in('spots', 'node_default', 0);
94         $self->{wwvfilter} = Filter::read_in('wwv', $call, 0) || Filter::read_in('wwv', 'node_default', 0);
95         $self->{wcyfilter} = Filter::read_in('wcy', $call, 0) || Filter::read_in('wcy', 'node_default', 0);
96         $self->{annfilter} = Filter::read_in('ann', $call, 0) || Filter::read_in('ann', 'node_default', 0) ;
97         $self->{routefilter} = Filter::read_in('route', $call, 0) || Filter::read_in('route', 'node_default', 0) unless $self->{isolate} ;
98
99
100         # get the INPUT filters (these only pertain to Clusters)
101         $self->{inspotsfilter} = Filter::read_in('spots', $call, 1) || Filter::read_in('spots', 'node_default', 1);
102         $self->{inwwvfilter} = Filter::read_in('wwv', $call, 1) || Filter::read_in('wwv', 'node_default', 1);
103         $self->{inwcyfilter} = Filter::read_in('wcy', $call, 1) || Filter::read_in('wcy', 'node_default', 1);
104         $self->{inannfilter} = Filter::read_in('ann', $call, 1) || Filter::read_in('ann', 'node_default', 1);
105         $self->{inroutefilter} = Filter::read_in('route', $call, 1) || Filter::read_in('route', 'node_default', 1) unless $self->{isolate};
106         
107         $self->conn->echo(0) if $self->conn->can('echo');
108         
109         # ping neighbour node stuff
110         my $ping = $user->pingint;
111         $ping = $DXProt::pingint unless defined $ping;
112         $self->{pingint} = $ping;
113         $self->{nopings} = $user->nopings || $DXProt::obscount;
114         $self->{pingtime} = [ ];
115         $self->{pingave} = 999;
116         $self->{metric} ||= 100;
117         $self->{lastping} = $main::systime;
118         
119         $self->state('normal');
120         $self->{pc50_t} = $main::systime;
121
122         # send info to all logged in thingies
123         $self->tell_login('loginn');
124
125         # broadcast our configuration to the world
126         unless ($self->{outbound}) {
127                 my $thing = Thingy::Rt->new_cf;
128                 $thing->broadcast;
129                 $main::me->lastcf($main::systime);
130         }
131         
132         # run a script send the output to the debug file
133         my $script = new Script(lc $call) || new Script('node_default');
134         $script->run($self) if $script;
135 }
136
137 #
138 # This is the normal despatcher
139 #
140 sub normal
141 {
142         my ($self, $line) = @_;
143         my $thing = input($line);
144         $thing->queue($self) if $thing;
145 }
146
147 #
148 # periodic processing (every second)
149 #
150
151 my $lastmin = time;
152
153 sub process
154 {
155
156         # calc day number
157         my $d = (gmtime($main::systime))[3];
158         if ($d != $dayno) {
159                 $dayno = $d;
160                 $daystart = $main::systime - ($main::systime % 86400);
161         }
162         if ($main::systime >= $lastmin + 60) {
163                 per_minute();
164                 $lastmin = $main::systime;
165         }
166 }
167
168 sub per_minute
169 {
170         # send hello and cf packages periodically
171         foreach my $dxchan (DXChannel::get_all()) {
172                 next if $dxchan->is_aranea;
173                 if ($main::systime >= $dxchan->lasthello + $hello_interval) {
174                         my $thing = Thingy::Hello->new(h => $dxchan->here);
175                         $thing->{user} = $dxchan->{call} unless $dxchan == $main::me;
176                         if (my $v = $dxchan->{version}) {
177                                 if ($dxchan->is_spider) {
178                                         $thing->{sw} = 'DXSp';
179                                 }
180                                 $thing->{v} = $v;
181                         }
182                         $thing->{b} = $dxchan->{build} if $dxchan->{build};
183                         $thing->broadcast($dxchan);
184                         $dxchan->lasthello($main::systime);
185                 }
186                 if ($dxchan->is_node) {
187                         if ($main::systime >= $dxchan->lastcf + $cf_interval) {
188                                 my $call = $dxchan->call;
189                                 if ($dxchan == $main::me) {
190
191                                         # i am special but, currently, still a node
192                                         my $thing = Thingy::Rt->new_cf;
193                                         $thing->broadcast;
194                                         $dxchan->lastcf($main::systime);
195                                 } else {
196
197                                         # i am a pc protocol node connected directly
198                                         my $thing = Thingy::Rt->new();
199                                         $thing->{user} = $call unless $dxchan == $main::me;
200                                         if (my $nref = Route::Node::get($call)) {
201                                                 $thing->copy_pc16_data($nref);
202                                                 $thing->broadcast($dxchan);
203                                                 $dxchan->lastcf($main::systime);
204                                         } else {
205                                                 dbg("Aranea::per_minute: Route::Node for $call disappeared");
206                                                 $dxchan->disconnect;
207                                         }
208                                 }
209                         }
210                 }
211         }
212 }
213
214 sub disconnect
215 {
216         my $self = shift;
217         my $call = $self->call;
218
219         return if $self->{disconnecting}++;
220
221         my $thing = Thingy::Bye->new(origin=>$main::mycall, user=>$call);
222         $thing->broadcast($self);
223
224         # get rid of any PC16/17/19
225         DXProt::eph_del_regex("^PC1[679]*$call");
226
227         # do routing stuff, remove me from routing table
228         my $node = Route::Node::get($call);
229         my @rout;
230         if ($node) {
231                 @rout = $node->del($main::routeroot);
232                 
233                 # and all my ephemera as well
234                 for (@rout) {
235                         my $c = $_->call;
236                         DXProt::eph_del_regex("^PC1[679].*$c");
237                 }
238         }
239
240         RouteDB::delete_interface($call);
241         
242         # unbusy and stop and outgoing mail
243         my $mref = DXMsg::get_busy($call);
244         $mref->stop_msg($call) if $mref;
245         
246         # broadcast to all other nodes that all the nodes connected to via me are gone
247         DXProt::route_pc21($self, $main::mycall, undef, @rout) if @rout;
248
249         # remove outstanding pings
250 #       delete $pings{$call};
251         
252         # I was the last node visited
253     $self->user->node($main::mycall);
254
255         # send info to all logged in thingies
256         $self->tell_login('logoutn');
257
258         Log('Aranea', $call . " Disconnected");
259
260         $self->SUPER::disconnect;
261 }
262
263
264 # generate new header (this is a general subroutine, not a method
265 # because it has to be used before a channel is fully initialised).
266 #
267
268 sub formathead
269 {
270         my $mycall = shift;
271         my $dts = shift;
272         my $hop = shift;
273         my $user = shift;
274         my $group = shift;
275         
276         my $s = "$mycall,$dts,$hop";
277         $s .= ",$user" if $user;
278         if ($group) {
279                 $s .= "," unless $user;
280                 $s .= ",$group" if $group;
281         } 
282         return $s;
283 }
284
285 sub genheader
286 {
287         my $mycall = shift;
288         my $to = shift;
289         my $from = shift;
290         
291         my $date = ((($dayno << 1) | $ntpflag) << 18) |  ($main::systime % 86400);
292         my $r = formathead($mycall, sprintf('%6X%04X', $date, $seqno), 0, $from, $to);
293         $seqno++;
294         $seqno = 0 if $seqno > 0x0ffff;
295         return $r;
296 }
297
298 #
299 # decode the date time sequence group
300 #
301
302 sub decode_dts
303 {
304         my $dts = shift;
305         my ($dt, $seqno) = map {hex} unpack "A6 A4", $dts;
306         my $secs = $dt & 0x3FFFF;
307         $dt >>= 18;
308         my $day = $dt >> 1;
309         my $ntp = $dt & 1;
310         my $t;
311         if ($dayno == $day) {
312                 $t = $daystart + $secs;
313         } elsif ($dayno < $day) {
314                 $t = $daystart + (($day-$dayno) * 86400) + $secs;
315         } else {
316                 $t = $daystart + (($dayno-$day) * 86400) + $secs;
317         }
318         return ($t, $seqno, $ntp);
319 }
320
321 # subroutines to encode and decode values in lists 
322 sub tencode
323 {
324         my $s = shift;
325         $s =~ s/([\%=|,\'\x00-\x1f\x7f-\xff])/sprintf("%%%02X", ord($1))/eg; 
326 #       $s = "'$s'" if $s =~ / /;
327         return $s;
328 }
329
330 sub tdecode
331 {
332         my $s = shift;
333         $s =~ s/^'(.*)'$/$1/;
334         $s =~ s/\%([0-9A-F][0-9A-F])/chr(hex($1))/eg;
335         return length $s ? $s : '';
336 }
337
338 sub genmsg
339 {
340         my $thing = shift;
341         my $list = ref $_[0] ? shift : \@_;
342         my ($name) = uc ref $thing;
343         $name =~ /::(\w+)$/;
344         $name = $1;
345         my $head = genheader($thing->{origin}, 
346                                                  ($thing->{group} || $thing->{touser} || $thing->{tonode}),
347                                                  ($thing->{user} || $thing->{fromuser} || $thing->{fromnode})
348                                                 );
349          
350         my $data = uc $name . ',';
351         while (@$list) {
352                 my $k = lc shift @$list;
353                 my $v = $thing->{$k};
354                 $data .= "$k=" . tencode($v) . ',' if defined $v;
355         }
356         chop $data;
357         return "$head|$data";
358 }
359
360
361 sub decode_input
362 {
363         my $self = shift;
364         my $line = shift;
365         return ('I', $self->{call}, $line);
366 }
367
368 sub input
369 {
370         my $line = shift;
371         my ($head, $data) = split /\|/, $line, 2;
372         return unless $head && $data;
373
374         my ($origin, $dts, $hop, $user, $group) = split /,/, $head;
375         return if DXDupe::check("Ara,$origin,$dts", $dupeage);
376         my $err;
377         $err .= "incomplete header," unless $origin && $dts && defined $hop;
378         my ($cmd, $rdata) = split /,/, $data, 2;
379
380         # validate it further
381         $err .= "missing cmd or data," unless $cmd && $data;
382         $err .= "invalid command ($cmd)," unless $cmd =~ /^[A-Z][A-Z0-9]*$/;
383         my ($gp, $tus) = split /:/, $group, 2 if $group;
384
385         $err .= "from me," if $origin eq $main::mycall;
386         $err .= "invalid group ($gp)," if $gp && $gp !~ /^[A-Z0-9]{2,}$/;
387         $err .= "invalid tocall ($tus)," if $tus && !is_callsign($tus);
388         $err .= "invalid fromcall ($user)," if $user && !is_callsign($user);
389
390         my $class = 'Thingy::' . ucfirst(lc $cmd);
391         my $thing;
392         my ($t, $seqno, $ntp) = decode_dts($dts) unless $err;
393         dbg("dts: $dts = $ntp $t($main::systime) $seqno") if isdbg('dts');
394         $err .= "invalid date/seq," unless $t;
395         
396         if ($err) {
397                 chop $err;
398                 dbg("Aranea input: $err");
399         } elsif ($class->can('new')) {
400                 # create the appropriate Thingy
401                 $thing = $class->new();
402
403                 # reconstitute the header but wth hop increased by one
404                 $head = formathead($origin, $dts, ++$hop, $user, $group);
405                 $thing->{Aranea} = "$head|$data";
406
407                 # store useful data
408                 $thing->{origin} = $origin;
409                 $thing->{time} = $t;
410                 $thing->{group} = $gp if $gp;
411                 $thing->{touser} = $tus if $tus;
412                 $thing->{user} = $user if $user;
413                 $thing->{hopsaway} = $hop; 
414
415                 if ($rdata) {
416                         for (split(/,/, $rdata)) {
417                                 if (/=/) {
418                                         my ($k,$v) = split /=/, $_, 2;
419                                         $thing->{$k} = tdecode($v);
420                                 } else {
421                                         $thing->{$_} = 1;
422                                 }
423                         }
424                 }
425                 
426                 # post process the thing, this generally adds on semantic meaning
427                 # does parameter checking etc. It also adds / prepares the thingy so
428                 # this is compatible with older protocol and arranges data so
429                 # that the filtering can still work.
430                 if ($thing->can('from_Aranea')) {
431
432                         # if a thing is ok then return that thing, otherwise return
433                         # nothing
434                         $thing = $thing->from_Aranea;
435                 }
436         }
437         return $thing;
438 }
439
440 # this is the DXChannel send
441 # note that this does NOT send out stuff in same way as other DXChannels
442 # it is just as it comes, no extra bits added (here)
443 sub send                                                # this is always later and always data
444 {
445         my $self = shift;
446         my $conn = $self->{conn};
447         return unless $conn;
448         my $call = $self->{call};
449
450         for (@_) {
451 #               chomp;
452         my @lines = split /\n/;
453                 for (@lines) {
454                         $conn->send_later($_);
455                         dbg("-> D $call $_") if isdbg('chan');
456                 }
457         }
458         $self->{t} = $main::systime;
459 }
460
461 #
462 # load of dummies for DXChannel broadcasts
463 # these will go away in time?
464 # These are all from PC protocol
465 #
466
467 sub dx_spot
468 {
469         my $self = shift;
470         my $line = shift;
471         my $isolate = shift;
472         my ($filter, $hops);
473
474         if ($self->{spotsfilter}) {
475                 ($filter, $hops) = $self->{spotsfilter}->it(@_);
476                 return unless $filter;
477         }
478 #       send_prot_line($self, $filter, $hops, $isolate, $line);
479 }
480
481 sub wwv
482 {
483         my $self = shift;
484         my $line = shift;
485         my $isolate = shift;
486         my ($filter, $hops);
487         
488         if ($self->{wwvfilter}) {
489                 ($filter, $hops) = $self->{wwvfilter}->it(@_);
490                 return unless $filter;
491         }
492 #       send_prot_line($self, $filter, $hops, $isolate, $line)
493 }
494
495 sub wcy
496 {
497         my $self = shift;
498         my $line = shift;
499         my $isolate = shift;
500         my ($filter, $hops);
501
502         if ($self->{wcyfilter}) {
503                 ($filter, $hops) = $self->{wcyfilter}->it(@_);
504                 return unless $filter;
505         }
506 #       send_prot_line($self, $filter, $hops, $isolate, $line) if $self->is_clx || $self->is_spider || $self->is_dxnet;
507 }
508
509 sub announce
510 {
511         my $self = shift;
512         my $line = shift;
513         my $isolate = shift;
514         my $to = shift;
515         my $target = shift;
516         my $text = shift;
517         my ($filter, $hops);
518
519         if ($self->{annfilter}) {
520                 ($filter, $hops) = $self->{annfilter}->it(@_);
521                 return unless $filter;
522         }
523 #       send_prot_line($self, $filter, $hops, $isolate, $line) unless $_[1] eq $main::mycall;
524 }
525
526 sub chat
527 {
528         goto &announce;
529 }
530
531 1;