add 1704 cty.dat data
[spider.git] / perl / DXDupe.pm
1 #
2 # class to handle all dupes in the system
3 #
4 # each dupe entry goes into a tied hash file 
5 #
6 # the only thing this class really does is provide a
7 # mechanism for storing and checking dups
8 #
9
10 package DXDupe;
11
12 use DXDebug;
13 use DXUtil;
14 use DXVars;
15
16 use vars qw{$lasttime $dbm %d $default $fn};
17
18 $default = 48*24*60*60;
19 $lasttime = 0;
20 $fn = "$main::data/dupefile";
21
22 use vars qw($VERSION $BRANCH);
23 ($VERSION, $BRANCH) = dxver(q$Revision$);
24
25 sub init
26 {
27         $dbm = tie (%d, 'DB_File', $fn);
28         unless ($dbm) {
29                 eval { untie %d };
30                 dbg("Dupefile $fn corrupted, removing...");
31                 unlink $fn;
32                 $dbm = tie (%d, 'DB_File', $fn) or confess "can't open dupe file: $fn ($!)";
33                 confess "cannot open $fn $!" unless $dbm; 
34         }
35 }
36
37 sub finish
38 {
39         undef $dbm;
40         untie %d;
41         undef %d;
42 }
43
44 sub check
45 {
46         my $s = shift;
47         return 1 if find($s);
48         add($s, shift);
49         return 0;
50 }
51
52 sub find
53 {
54         return $d{$_[0]};
55 }
56
57 sub add
58 {
59         my $s = shift;
60         my $t = shift || $main::systime + $default;
61         $d{$s} = $t;
62 }
63
64 sub del
65 {
66         my $s = shift;
67         delete $d{$s};
68 }
69
70 sub process
71 {
72         # once an hour
73         if ($main::systime - $lasttime >=  3600) {
74                 my @del;
75                 while (($k, $v) = each %d) {
76                         push @del, $k  if $main::systime >= $v;
77                 }
78                 delete $d{$_} for @del;
79                 $lasttime = $main::systime;
80         }
81 }
82
83 sub get
84 {
85         my $start = shift;
86         my @out;
87         while (($k, $v) = each %d) {
88                 push @out, $k, $v if !$start || $k =~ /^$start/; 
89         }
90         return @out;
91 }
92
93 sub listdups
94 {
95         my $let = shift;
96         my $dupage = shift;
97         my $regex = shift;
98
99         $regex =~ s/[\^\$\@\%]//g;
100         $regex = ".*$regex" if $regex;
101         $regex = "^$let" . $regex;
102         my @out;
103         for (sort { $d{$a} <=> $d{$b} } grep { m{$regex}i } keys %d) {
104                 my ($dum, $key) = unpack "a1a*", $_;
105                 push @out, "$key = " . cldatetime($d{$_} - $dupage) . " expires " . cldatetime($d{$_});
106         }
107         return @out;
108 }
109 1;