add warning about filters and set/skimmer
[spider.git] / Changes
diff --git a/Changes b/Changes
index 75d12ce10097a872f1a1f4272d54d57dd853c0af..3ff74402046f7028e4c7664f875b1b675c345cf4 100644 (file)
--- a/Changes
+++ b/Changes
@@ -1,5 +1,175 @@
+08Jul20=======================================================================
+1. "Finish" the RBN system :-)
+2. This includes enabling the coarse selection of spot modes using set/wantrbn
+   with arguments like 'set/wantrbn cw beacon'. This limits your output to
+   just CW, BCN and DXF modes.  
+3. The RBN spot is now cached. With a following wind, this means that even a
+   node restart, done in a timely fashion (within a few minutes) will not
+   cause a "cache warmup" delay for users on a restart.
+4. Added the "full fat" set/wantrbn command and aliased it to 'set/skimmer'. 
+   I use both terms (whenever I remembered) in the help text.
+5. Help text has been written.
+6. The UPGRADE.mojo file has been tweeked to point out the users file format
+   change. 
+07Jul20=======================================================================
+1. Fix show/node command.
+2. Fix show/cluster command to take into account the presence of skimmer nodes
+   which are a new category of thing which is neither a node nor a user.
+06Jul20=======================================================================
+1. Add RBN.mojo with information of the RBN capabilities of DXSpider.
+05Jul20=======================================================================
+1. Fix show/dxcc.
+2. Add HAPROXY "real ip" type 1 handling for incoming connections.
+04Jul20=======================================================================
+1. Give console.pl (or dx) a good going over with a bog brush to *finally*
+   (cough) make it work correctly with a full 80 column window (and not just
+   to a width of 79 really). Also fix scrolling.
+28Jun20=======================================================================
+1. Merge mojo with users.v3j to remove all vestages of Storable from DXSpider
+   in an effort to make the whole storage thing more reliable (and also a
+   bit faster). The user file will be auto-upgraded on restart. This may take
+   up to 20 seconds on slower hardware (and maybe a bit longer on huge user
+   files). On my 180,000 odd users, on my hardware, it takes 4 seconds.
+2. The DXQSL system storage is also upgraded, Please run 
+   /spider/perl/create_dxqsl.pl in a spare shell. This will recreate the 
+   dxqsl.v1j file. Run 'load/dxqsl' in the console to activate it. 
+17Jun20=======================================================================
+1. Change the Spot file reading mechanism back to the default of using 'tac'.
+08Jun20=======================================================================
+1. Fix show/mydx (lack of) filtering bug.
+2. Add qra locator to prefix_data.pl.
+3. Add 4 digit qra square for spotted callsign if show/dxgrid is enabled.
+4. Fix general filtering bug where erroneous input causes crashing.
+03Jun20=======================================================================
+1. Make sure that all possible regexes get passed across to the search engine.
+2. Fix out of order logging on sh/log queries spanning more than one month.
+3. Do not read backwards on sh/dx, reading forwards seems a 1/3 quicker. 
+4. Add <ms>, <tr> and <es> shortcuts to sh/dx (e.g sh/dx <tr> on 2m).
+02Jun20=======================================================================
+1. Fix the small whoopsie in sh/dx.
+01Jun20=======================================================================
+1. Fix sh/dx iota and qra. This completes the conversion of sh/dx's limited
+   "old style" parsing to using Filter style parsing with something that 
+   allows expressions include brackets ( and ) as well as the 'not' keyword.
+   NOTE: the precedence rules are the same as perl's '!', '||' and '&&' 
+         operators.  
+31May20=======================================================================
+1. Improve links command layout slightly.
+2. Issue an *accurate* UPGRADE.mojo with all the new packages included! 
+3. Fix issue with sh/dx
+30May20=======================================================================
+1. Fix sh/dx! It appears that there is a long standing problem with sh/dx not
+   actually return all the answers it should. I have also had a request to
+   allow / enable the "not" keyword (just like the filtering system dones).
+
+   Now this was one of the earliest modules that I wrote and it took quite
+   a bit of work to tease out the important bits and then use the Filter 
+   module (as in acc/spot) to generate the sh/dx filtering expressions. This
+   seems to have been done. 
+   NB This will likely not work if you are using a SQL backend to do sh/dx
+   commands. This was never actually an official feature. It is now 
+   deprecated.   
+29May20=======================================================================
+1. Please install Math::Round and Data::Structure::Util. Instructions are
+   available in UPGRADE.mojo.
+2. ** Withdrawn ** user file format change to json not yet committed.
+20May20=======================================================================
+1. Backport convert-users-v3-to-v4.pl to allow creation of the new json 
+   formatted *text* based user file from the old v3 DB_File and Storable 
+   version. This can be done either online (with the node running) or offline
+   with the node stopped. This is in preparation for the next update of the
+   mojo branch. Running this program just *BEFORE* doing your next update of
+   the mojo branch *should* ensure a seemless transition to the Storable &
+   DB_File free version of the users file. 
+2. Show git branch in show/version.
+3. Add CTY-3010 changes.
+17May20=======================================================================
+1. Backport DXSubprocess to change serialisations.
+   Currently the internals of Mojo::IOLoop::Subprocess defaults to
+   using Storeable as its cross-process argument and data serialisaion
+   method. It can use others. This update reverts back to the
+   original ForkCall method of using JSON.
+10May20=======================================================================
+1. Added basic changes so that users *could* have multiple connections to the
+   same node if it is allowed. This is work in progress and is there to see 
+   if it deals with some networking problems encountered on very high volume
+   sites which can see more than 1000 users (although the problems can occur
+   with many hundreds or by the practices of certain ISPs). More information
+   will be forthcoming if I get to the bottom of what's REALLY going on and
+   whether this is (or maybe just one part of) the solution. It won't be 
+   ready for general use until then.
+2. Fixed the script import error reported by Joaquin (EA3CV?), by the simple
+   expedient of restoring the version from the master branch. 
+09May20=======================================================================
+1. Show the route by which this PCxx came in progress debugging reports. In
+   some other words: the spot/wwv/wcy/ann message arrived first from this 
+   connection. 
+2. Improve progress WWV & WCY messages.
+3. Stop random node isolations (at least in one place)
+08May20=======================================================================
+1. Tidy up routing table
+2. Add new argument to show/version (ALL or list of regexes) that allow you
+   to see the version and build nos of all nodes on the system. 
+07May20=======================================================================
+1. Revert changes made since 25Apr concerning IP address reconciliation.
+25Apr20=======================================================================
+1. Add maximum no of users on node to show/cluster.
+2. Add ability to show last n lines of debugging ring buffer.
+3. Remove redundant wpxloc.dat file.
+24Apr20=======================================================================
+1. Add 'progress' debugging for showing that stuff is happening in nologchan
+   a.k.a ringbuffer only mode. 
+2. Fix grepdbg so that no regex argument simply lists the file. 
+3. Add CTY-3008 prefixes.
+22Apr20=======================================================================
+1. Fix the module search path in update_sysop.pl
+2. Add latest prefixes CTY-3007
+3. Fix unset/startup command. This will only work for users' start up scripts
+   things like user_default or startup must be edited or removed by hand. 
+21Apr20=======================================================================
+1. Finally fix the "actually tranmit" any output (like from 'logout' files)
+   to users before disconnecting. This also means that disconnecting nodes
+   now receive the (totally redundant, but hey) PC39 reason for disconnection.
+20Apr20=======================================================================
+1. Speed up sh/log (including chat, rcmd, ann etc) that search the system
+   log files, by removing a completely redundant subsystem and also leveraging
+   the core operating system utility 'tac', if it's available. 
+19Apr20=======================================================================
+1. The long haul that is the mojo branch has started up again. It's something
+   to do during this lockdown.
+2. The problems and instabilities around running commands that worked in 
+   forked processes, when used other than by normally logged in users (e.g. 
+   in the local crontab), have been fixed.  
+3. If a /spider/local_data/logout file is present then its contents will be
+   sent to the user on logout.
+4. Add the ability to sh/dx origin or ip (address).
+5. Retire the use of the deprecated Mojo::IOLoop::ForkCall in favour of using
+   the supported equivalent in Mojolicious 7.26 and above. Which means you
+   will need to upgrade Mojo to at least the version. The current version is
+   8.36 and is known to work.
+10Sep19=======================================================================
+1. Improve DXSql database filtering to exclude most via <locator> type 
+   reports.
+2. Add CTY-2913 prefixes + wpxloc.raw
+14Jul18=======================================================================
+1. Add CTY-2808 prefixes + wpxloc.raw
+16Jun18=======================================================================
+1. add more modes to rbn.pl
+23Jan18=======================================================================
+1. Add CTY-2802 prefixes
+27Oct17=======================================================================
+1. Get correct hostname support and privilege levels on web connects.
+26Oct17=======================================================================
+1. Start (serious) work on web interface. Make the necessary changes to allow
+   a local webserver to connect and get its own style of messages.
+11Aug17=======================================================================
+1. Add default systemd service file file
+10Aug17=======================================================================
+1. check for disconnecting flag in more places
 31Jul17=======================================================================
 1. Fixed create_usdb.pl path specifications
+2. add CTY-2708 prefixes
 12May17=======================================================================
 1. Fix sh/425 (mostly)
 2. Add CTY-2706 prefixes