update the docs on filtering
[spider.git] / Changes
diff --git a/Changes b/Changes
index 654c48472301f8686840f8aa74c6ec9cf97b6201..13ef5838ed96ad88790aac928f2b433b4bf8f2af 100644 (file)
--- a/Changes
+++ b/Changes
@@ -1,9 +1,487 @@
+08Sep01=======================================================================
+1. Update the sgml docs on filtering a bit.
+06Sep01=======================================================================
+1. prevent nodes appearing as users from incoming PC16s
+2. Change ping averaging to be like TCP and become a smoothed RTT.
+3. Make all the Prompts in stat/* like output appear in alphebetical order
+4. Fix problem with 17m spots not appearing in sh/dx
+5. pump up eph dups everytime they re-occur and increase life to 180 secs
+04Sep01=======================================================================
+1. add delete/user command
+03Sep01=======================================================================
+1. make spot dups look back 5 mins.
+2. strip the top off each character in any text field of a Spot for duping.
+3. Try to make the routing tables more accurate for users that login to
+more than one node.
+4. Make PC50s come out in one heap on all channels every 14 mins, instead of
+on the 14th minute in the connection time for each channel. This should 
+reduce (slightly) the dups that are dumped.
+5. Speed up input queue processing (a lot).
+6. make set/isolate and acc/route mutually exclusive (and issue appropriate
+error messages) and fix set/iso on PC18 input.
+7. Improve stat/route_node and stat/route_user for diagnostics.
+8. strip top bit of comments in ann/spots.
+9. fix the announce filtering problem.
+10. Fix the double announcement of node disconnections?
+01Sep01=======================================================================
+1. Change build number calc (hopefully for the last time)
+27Aug01=======================================================================
+1. make rej/wwv and rej/wcy work
+26Aug01=======================================================================
+1. make all newly learned nodes locked out by default.
+2. add lock_nodes.pl which locks out all the nodes in the user file whose
+privilege is 1 or less and which isn't mentioned as an argument to the 
+command on the command line.
+3. make set/node, set/spider and their friends unlock a node as well as make
+them one. 
+4. Make sh/log et al more efficient / less memory hungry (and the display
+the correct way round!)
+24Aug01=======================================================================
+1. Allow badmsg to reject on interface callsign ('I')
+20Aug01=======================================================================
+1. protect against PC41s with field[3] == field[2]
+2. Redo Julian stuff as proper objects
+3. Make the various Log display come out forwards instead of backwards
+4. Add the dbgclean routine to system cron to clear out all debug files 
+more then 10 days old.
+19Aug01=======================================================================
+1. Fix rcmds
+2. make isolation when there are no filters present work again?
+3. dup check PC16/17/19/21 !
+17Aug01=======================================================================
+1. Sort out PC41 handling to include type 5 records for QRA locators and also
+remove all filtering (but retain ephemeral dup checking).
+2. Improve format checking in latlong and qra locators.
+3. Sort sh/st so that sh/st by itself displays only the local call not the
+whole lot (all 17000+ users records in my case). SH/ST ALL does this.
+16Aug01=======================================================================
+1. send a forward/opernam for a logged in user once a month (when they next
+login).
+2. rearrange rcmd stuff to be more maintainable and also be certain that 
+they are translated in both directions correctly for clx and ak1a style.
+3. Allow PC41s to be propagated and hope that the ephemeral dup filters 
+do their job!
+15Aug01=======================================================================
+1. fix problem with talks not coming out anymore
+13Aug01=======================================================================
+1. fixed problem of dxspots not being echoed back to spotter (announces too)
+02Aug01=======================================================================
+1. correct manual and help references on accept/route and reject/route. Thanks
+to ea1dav for pointing out the errors
+2. make sure that the actual line is printed in grepdbg & watchdbg esp. with
+ALL the '^' and leading space characters as they really are
+30Jul01=======================================================================
+1. changes to manuals to add links etc. (g0vgs)
+23Jul01=======================================================================
+1. made ann,dx spots,wwv,wcy,wx more 'object oriented'.
+2. allow for 'enhanced clients' and tell them what sort of thing is being 
+sent.
+3. Allow debug info to be sent via interface to an enhanced client.
+21Jul01=======================================================================
+1. started a gtkconsole program. It appears to sort of work. Requires Gtk-
+Perl-0.7007.
+2. start doing some spot statistical stuff. 
+19Jul01=======================================================================
+1. changes to Admin Manual to reflect route filtering.  Some alterations to
+the help files (g0vgs)
+09Jul01=======================================================================
+1. fix cron so that it allows stuff to be executed on the hour (ie min=0)
+06Jul01=======================================================================
+1. fix talk and routing problems to mycall
+2. add unset/privilege command to relinquish any sysop privileges you might 
+have for the current session.
+05Jul01=======================================================================
+1. disconnect channels whose route node has disappeared
+29Jun01=======================================================================
+1. fix merge command
+28Jun01=======================================================================
+1. fix problems with users on more than one node
+27Jun01=======================================================================
+1. try adding an ARC mail hack
+2. slug the not here messages so they can't loopback
+25Jun01=======================================================================
+1. added automatic 'not here' message
+21Jun01=======================================================================
+1. fix (some) problems with 'init'
+2. fix stat/msg a bit more
+3. small change to PC28 generation to make sure that the subject always 
+contains at least a blank
+16Jun01=======================================================================
+1. fix talk
+2. fix stat/msg 
+14Jun01=======================================================================
+1. changed debug api to (potentially) use less cpu time
+2. changed the spider.cgi in Arnold's borrowed java client to Ian's perl 
+script
+3. Added input route filtering
+4. put back the set/isolate logic into routing which is now overridable with
+filters whcih means a default filter is no longer generated. If you want the
+OLD behaviour, do rm /spider/filter/route/*.pl*, restart and try again. 
+5. Add http_proxy to Internet.pm and allow sh/qrz to use an HTTP Proxy
+13Jun01=======================================================================
+1. fix init cnd rinit cmds
+2. add missing clear/route cmd
+10Jun01=======================================================================
+1. fix set/here and unset/here
+2. fix indirect routing to users two hops away
+09Jun01=======================================================================
+1. more fixes
+2. add set/debug filter so that you can see why your filters aren't working
+(for sysops only)
+3. add ephemera deduping for all those PC41,24,50 etc etc broadcasts 
+4. Fix a problem with the connect text being sent on outgoing connections
+(this confuses db0fhf amongst other things)
+5. catch deep recursion bugs before you run out of memory.
+6. Make sure that PC16|17|19|21 update as well as add and delete
+7. local announces by the sysop will always be displayed
+08Jun01=======================================================================
+1. first cut with new routing code. Created NEW_ROUTE branch
+2. added acc/route and rej/route commands
+3. added stat/route_node and stat/route_user commands to look at the routing
+table entities
+07Jun01=======================================================================
+1. move userconfig.pl and nodeconfig.pl to stat/
+2. fix problem with locally connected users not being removed from the 
+routing tables
+3. Fix the build calc to take into account subdirectories
+06Jun01=======================================================================
+1. add stat/route_node and stat/route_user commands
+2. add sh/userconfig command (to show backward links to nodes)
+3. add sh/nodeconfig command
+05Jun01=======================================================================
+1. add set/bbs command
+2. more work on Routing code.
+3. status/msg on its own will print the status of the msg system.
+4. add sh/newconfig command
+03Jun01=======================================================================
+1. Fix the problem with ExtMsg and unresolvable IP addresses, hopefully
+properly this time.
+15May01=======================================================================
+1. set/lockout now prevents any outgoing connection taking place.
+2. Started the new routing stuff which will run in parallel for a while.
+3. changed the msg timeout arrangements so that it might not get stuck so
+easily.
+4. add $DXMsg::bulltopriv global to make msgs to known callsigns private 
+14May01=======================================================================
+1. fix problem with re-reading in db definitions for remote databases.
+2. try to prevent situations where two can (semi) successfully login, probably
+under load, and get a 'tried to connect whilst already connected' abort.
+3. change the max number of days to search for spots to 100
+11May01=======================================================================
+1. allow stat/msg on priv 1
+07May01=======================================================================
+1. set/page 0 switches off paging
+03May01=======================================================================
+1. It appears that for ages now, not enough PC19 and PC16s are being sent
+if you have more than one of them. Sigh..
+02May01=======================================================================
+1. put an upper limit on the number of concurrent errors allowed in command
+mode (20). This should disconnect runaway spot suckers....
+28Apr01=======================================================================
+1. fix an occasional problem with 'sorry connected to' messages
+23Apr01=======================================================================
+1. fix very long standing bug in storing and transmitting spots. The decimal
+point was left off :-(
+22Apr01=======================================================================
+1. Sysops can now have full privileges if there is a ExtMsg listener on 
+localhost (or everything) and they telnet to localhost and login with their
+callsign. This means that they don't need a client anymore (for local access)
+2. added input spot filtering. 
+3. Added run_cmd to DXCron which allows you to run any command on the system
+from the crontab. (Dunno why I didn't do this before). 
+18Apr01=======================================================================
+1. added Ian M0AZM's Java Client (SpiderConsole)
+17Apr01=======================================================================
+1. made a slight speedup on write in Msg.pm (about doubled it)
+16Apr01=======================================================================
+1. make the correct error messages come out on reject/accept when people
+leave out keywords like 'on'.
+2. Fairly major changes to the documentation tree.  Split the admin manual
+into 2 sections, Installation and Admin and merge the Windows stuff.
+15Apr01=======================================================================
+1. made some mods to the sgml documentation for 1.47
+2. added show/connect command
+11Apr01=======================================================================
+1. fixed more of the "xxx disappeared from yyy" messages
+2. altered the build no logic so that it always checksums the same files
+regardless of whatever else you might have in the directory.
+3. made shortcut at shutdown so that you don't get a storm of PC21s on busy
+nodes as each connection goes down. Just send a pc39 to each interface and
+nothing else.
+4. changed action of SIG{INT} and SIG{TERM} so that they now work on MSWin32
+10Apr01=======================================================================
+1. altered PC21 logic somewhat to eliminate dup PC21s
+2. disconnect should remove dangling local users in the routing table.
+3. fixed nasty recursive timer bug
+4. added some extra info to make connect tracking a bit easier.
+5. improved docs on connect scripts a bit (to include agw connects)
+09Apr01=======================================================================
+1. changed lockfile name to cluster.lck (from .lock) for MSWin's benefit
+08Apr01=======================================================================
+1. added a quick installation guide to the admin manual and removed references
+to client.pl (g0vgs)
+01Apr01=======================================================================
+1. changed agwrestart semantics. You need to use main::agwrestart() in your
+crontabs rather than AGWMsg::init();
+2. try to thread winclient.pl for MSWin32.
+31Mar01=======================================================================
+1. added agwrestart command
+2. add Iains Windoze installation manual (g0vgs)
+3. various alterations to adminmanual and initial version of the CVS changes
+file (g0vgs)
+30Mar01=======================================================================
+1. fix errors on accept in ExtMsg and in Msg
+2. fix the non-blocking problems of connects (and other things in general).
+non-blocking only works for unix implementations at the moment.
+3. add rinit command (sends a PC20)
+4. improve debuging so that stuff is always escaped and a new 'raw' debug 
+mode that shows everything sent and received in glorious hex and characters
+29Mar01=======================================================================
+1. add better tracking of AGW circuits (possibly)
+2. add set and unset/agwmonitor (ing) [for all the notice it seems to take]
+28Mar01=======================================================================
+1. AGW engine stuff now accepts incoming calls and at least attempts to do
+outgoing ones. YMMV.
+2. fixed 'always' telnet on a client line in a connect script
+27Mar01=======================================================================
+1. add first cut at an AGW Engine. Copy /spider/perl/AGWConnect.pm to 
+/spider/local and edit it appropriately. You shouldn't need a login and passwd
+if you are using the default setup. It may allow incoming connects (and then
+again it may not - I don't have a reliable infrostructure to test with at the
+moment). The AGW Engine is a M$ thingy, but that don't preclude you connecting
+to it from a unix box. 
+22Mar01=======================================================================
+1. edit the helpfile for set/debug and add help for show/debug
+2. Allow ^Z again on messages
+3. Added back onboard support for ax25 OUTBOUND connections. You will need
+exactly the same facilities as before (ie netrom_call, ax25_call suid root 
+etc) but it is called direct from the cluster.pl - client.pl is DEAD!
+19Mar01=======================================================================
+1. Add 'not allowed' messages into sh/filter with callsign and reduce priv
+2. decode %xx characters in winclient.pl
+necessary to 1.
+18Mar01=======================================================================
+1. minor changes to user and admin manuals.  Added revsion numbers
+17Mar01=======================================================================
+1. put block check back in, try a work around for EWOULDBLOCK/EINPROGRESS
+for M$. 
+16Mar01=======================================================================
+1. integrate build number into main cluster and change the PC18 to show 
+version and build in the text portion
+14Mar01=======================================================================
+1. first cut at outgoing ax25 /external program connects
+2. slight change of interface to connect
+3. added a build number to sh/version
+13Mar01=======================================================================
+1. implemented first cut at non blocking connect
+2. removed memory leakage in connects
+3. add link IP address if available on who
+4. made the \r\n work correctly on External connections
+5. removed client.pl
+6. fixed memory leakages in DXMsg
+7. fixed pc39/21 handling
+8. fixed routing table issues and general disconnection tidy up
+10Mar01=======================================================================
+1. minor changes to the admin manual to reflect differences in distibutions
+thanks to pa3ezl (g0vgs)
+2. add (finally) the first draft of the usermanual (g0vgs)
+05Mar01=======================================================================
+1. do some major surgery on the connect logic to shorten the possibility of 
+duplicate connects happening
+2. fix stupid error on sh/qrz queries that don't work
+04Mar01=======================================================================
+1. allow fallback to english for help
+03Mar01=======================================================================
+1. allow incoming and outgoing IP connects direct to cluster.pl
+2. fixed (long standing)a hole in PC17 handling
+3. added winclient.pl (actually just a very basic client) from Iain G0RDI
+4. Added Spanish as a language (thanks ea1dav) (g0vgs) 
+5. ignore BUST(ED) spots
+28Feb01=======================================================================
+1. allow sh/c gb7 (ie show the config of all gb7 nodes)(for example)
+2. get rid of spurious DXHash 'uninitialised' messages if no corresponding 
+file is present.
+3. changed policy of $censorpc in DXProt.pm so that badwords are looked for
+in all text announces etc.
+4. Unpad (remove excess spaces from) spotted callsigns in PC11. 
+5. test for opertaing system in various places and do different if M$
+27Feb01=======================================================================
+1. allow partial node callsigns on sh/c (eg sh/c gb7)
+2. Changed Msg.pm to allow a more generalised interface with more than one
+listener.
+3. Added IntMsg.pm to implement the internal connection management that is
+currently scattered about the cluster code.
+25Feb01=======================================================================
+1. Fixed watchdbg so that simple arguments work again
+22Feb01=======================================================================
+1. Added platform name to sh/version
+2. changed client.pl so that it send \r\n instead of \n on telnet connects
+3. added lineend '\r\n' command to connect scripts so you can override 
+defaults
+03Feb01=======================================================================
+1. Changes and additions to the manual and added a help file for sh/log (g0vgs)
+13Jan01=======================================================================
+1. Documentation alterations to match new commands etc (g0vgs)
+08Jan01=======================================================================
+1. Changed the way that badnodes, baddx etc work. There is a new general way
+implemented (dunno why I didn't do this before - hey ho...) as a consequence
+there are set/unset/show baddx (for bad dx callsigns) badnode (for dx from
+bad nodes) badspotter (for bad spotters of dx eg VE2STN). Expect more of 
+this sort of thing...
+2. Added one to the copyright dates...
+06Jan01=======================================================================
+1. Fix set/obscount so it actually works.
+2. Allow different number formats for set/pingint eg: 5m for 5 minutes and
+120s for 120 seconds (and 1h for 1 hour).
+03Jan01=======================================================================
+1. Added a txt directory for txt versions of manuals (g0vgs)
+2. Various documentation changes
+02Jan01=======================================================================
+1. added a help file for forward/latlong and updated the admin manual to
+match. (g0vgs)
+2. Add spot2csv.pl to convert spot files into tab delimited .csv format.
+3. Add show/route to see which interface a station is connected on.
+31Dec00=======================================================================
+1. add lat/long info to show/prefix
+30Dec00=======================================================================
+1. added latest version of the admin manual from Ian G0VGS.
+23Dec00=======================================================================
+1. don't route anything back down the channel it came from.
+2. and, in the process, fix some silly errors in routing converted rcmd PCs
+3. changed all occurrances of 'freq' in filter help to 'on' and corrected
+some errors (eg freq/ssb).
+4. added latest admin manual.
+18Dec00=======================================================================
+1. fix double printing of DB results
+2. add new style filtering for WWV and WCY to complete the set
+3. got the field nos right (hopefully) on Announces for filters
+05Dec00=======================================================================
+1. fix frequency hinting routine so it correctly handles things like 'on 23cm'
+where digits are the 'wrong' way round.
+2. made default max days to search for spots 3 months.
+3. added hex decodes for those pesky 'national' characters that aren't really
+in grepdbg and watchdbg.
+4. decide that we are using Latin-1 and therefore characters 0x80-0x9f are
+not allowed.
+5. fix the announces so that they are all UPPER CASE for poor old DXTelnet.
+03Dec00=======================================================================
+1. change grepdbg and watchdbg so that you can see a number of lines before
+the condx that you are looking for so:-
+  grepdbg 3 LOOP
+  watchdbg 3 LOOP 
+will show both the LOOP line and the preceeding 2 lines.
+2. add PCPROT to all error condx lines in DXProt.pm so that you can watch
+for them more easily.
+30Nov00=======================================================================
+1. remove %nn strings from dups of announces and spots
+2. remove check for ssids on PC41s 
+29Nov00=======================================================================
+1. make some small changes to DXmsg to try to track delete problems?
+2. fix ann/full so it doesn't dup
+27Nov00=======================================================================
+1. alter sh/wcy output slightly
+26Nov00=======================================================================
+1. made it possible for sysop calls to be used on other nodes and still have
+anti loop checking on PC16/17.
+25Nov00=======================================================================
+1. -l <nnn> now works on C client
+2. -e toggles echo cancelling (normally on) on C client
+20Nov00=======================================================================
+1. added even more checking to PC16,17 and 39
+19Nov00=======================================================================
+1. improve reaping code a bit more.
+2. put some extra checking in the PC16,17,19,21 code.
+3. fix problem with the aliased user disappearing and loads of 'unitialised'
+messages coming out.
+16Nov00=======================================================================
+1. Alter the process reaping code in cluster.pl to use waitpid
+12Nov00=======================================================================
+1. Fix lack 't' action in Filter.pm
+08Nov00=======================================================================
+1. fix cosmetic errors in for/oper for 'users'.
+07Nov00=======================================================================
+1. removed sh/call because the owner isn't happy about us using it. 
+2. change sh/qrz to the new interface. MUCH QUICKER! you will need a user id
+and password from qrz.com to use it and you will have to copy the 
+/spider/perl/Internet.pm to /spider/local and alter it accordingly. Do 
+remember to set $allow=1 as well! The new interface comes courtesy of Fred
+LLoyd, the proprietor of http://www.qrz.com
+06Nov00=======================================================================
+1. Added sh/qrz to the list of callbook services
+05Nov00=======================================================================
+1. 75% speed up on sh/dx !, lower memory usage as well!
+2. Fixed problem with clear/spot 0 (how did this one last so long!!!)
+3. add 'on' in accept/reject spots as synonym for 'freq'
+4. add the same speed up to general log printing
+5. fixed help \ 
+04Nov00=======================================================================
+1. fix sh/filter so ity now works for any callsign (and not just connected
+ones).
+2. Have only one is_callsign and not an iscallsign as well.
+3. Add set/hops and show/hops commands.
+4. Add unset/badnode command and put some help in for these commands
+03Nov00=======================================================================
+1. allow - in filter strings
+2. store only the filter expression NOTE BENE: you will need to clear all 
+your existing filters and re-enter them!!!!!!
+3. Added announce filtering
+4. Fixed problem with announce filtering on output to the node
+02Nov00=======================================================================
+1. updated filtering logic. You will need to RECREATE your filters (clear/spot
+all, then start again) for testing.
+2. allow PC73 for DXNet
+3. added some help text for filtering and filtering spots in particular.
+01Nov00=======================================================================
+1. put PC11 field 2 check back to m for pc text.
+2. improve 'simple' callsign checking
+3. Added the first cut of the new user/sysop filtering code. This cut works 
+for spots and the syntax is:-
+
+accept/spots [<call>] [input] [<filterno>] things ..
+reject/spots [<call>] [input] [<filterno>] things ..
+
+where things are: 
+  freq 0/30000 | hf | hf/cw | 6m,4m,2m
+  call G,PA,HB9
+  info iota
+  by G,PA,HB9
+  call_dxcc 61,62
+  call_itu 31
+  call_zone 14,15,16
+  by_dxcc 61,62
+  by_itu 31
+  by_zone 14,15,16
+  origin GB7,MB7
+  channel GB7DJK,GB7BAA
+      
+You can simply string these together on one line one after the other and 
+there is an implied 'and', you can also string together with 'or' 'not' (or
+'!') and '(' and ')' - in otherwords an arbitrary expression.
+              
+You can see what you have done with:
+
+show/filter [<call>]
+
+You can clear your work with:
+
+clear/spots [<call>] [input] [<filterno>|all]
+
+Have fun and someone please write the documentation.
+4. Added show/msg_status.pl sysop command (shows some info on what is busy in 
+the message system)
+31Oct00=======================================================================
+1. add 0x8e to the list of characters we clobber (make xterm go into graphics
+mode).
+30Oct00=======================================================================
+1. put in new Filter::it code and tested it. Now all we have to do is write
+the user access routines (oh and the help files!).
 29Oct00=======================================================================
 1. put in echo cancelling measures into the clients. This doesn't mean you
 shouldn't take steps to prevent echoing on node links, but it may help where
 (whatever you do) it still bloody echos! This is experimental.
 2. store dxchan and mynode as callsigns (and not references) in the routing 
-tables and do some checking in accessors to see if we can capture some errors. 
+tables and do some checking in accessors to see if we can capture some errors.
+3. tart up the stat/chan etc display to give more useful debugging info 
 28Oct00=======================================================================
 1. updated show/sun and show/moon from stuff sent by Steve Franke K9AN
 2. added show/call which queries jeifer.pineknot.com for any call in the