Go to content Go to menu Go to search

скрипт Bindtop - статистика bind

enlarge

Скачать архив со скриптом: BindTop_2015-10-14.tar.gz

Описание

Скрипт читает лог-файл bind-9, на лету обрабатывает и показывает статистику:

  • мгновенная скорость поступления запросов в секунду (сколько запросов пришло за последнюю секунду)
  • средняя скорость поступления запросов (запросов в минуту или запросов в секунду)
  • количество поступивших запросов за время наблюдения
  • TOP 6 IP адресов с которых поступили запросы
  • TOP 6 доменов второго уровня, которые были запрошены
  • TOP 6 запросов

Требования и недостатки

Для работы скрипта нужно настроить bind для логирования запросов. Для этого в named.conf в секции logging необходимо указать например следующее:

logging {
    channel query_log {
        file "/var/log/bind/bind.log";
        severity dynamic;
        print-time yes;
    };
    category queries { query_log; };
};

Скрипт написан на perl, кроме того, используется сторонняя библиотека PortableReadKey.pm (я не помню где ее брал). Эта библиотека считывает нажатую клавишу из терминала без блокирования работы скрипта. Библиотека находится в архиве со скриптом.

Алгоритм работы скрипта:
1). Открываем файл и перемещаемся в конец файла
2). Спим 1 секунду
3). Просыпаемся, читаем файл до конца (пока не встретим EOF), обрабатываем
4). Показываем статистику
5). Спим 1 секунду
6). Сбрасываем флаг EOF в файловом дескрипторе, переходим к п.3

В данном алгоритме есть два недостатка:
1). Если в файл пишется очень много данных (что может случиться во время реальной DDOS атаки), то скрипт просто не успевает прочитать и обработать данные из файла и зависает на п.3 Решением может быть установка прерывания по времени.
2). Скрипт спит 1 сек, потом вычитывает новые данные, считает абсолютное количество поступивших запросов и считает, что это количество пришло в одну секунду. На самом деле эти данные пришли за время 1 сек+время обработки данных. Т.е. точность данных "запросов в секунду" не совсем правильная, и зависит от нагрузки на сервер.

Использование (Usage)

Скачать архив, распаковать, указать в скрипте в переменной $logfile путь до query-лога, запустить.

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
#! /usr/bin/perl

#
# This script read bind9 log-file and show stats about requests
# !!script uses PortableReadKey.pm library!!
#
# you should configure bind to log queries before use.
# set logging channel like in example:
# 
# logging {
#    channel query_log {
#        file "/var/log/bind/bind.log";
#        severity dynamic;
#        print-time yes;
#    };
#    category queries { query_log; };
# }
#
# Also you should set $logfile variable below
#
# version 0.1, copyright: valynkin pavel, 2015
#
my $logfile="/var/named/chroot/var/log/named/query.log";

use strict;
#use warnings;
#use Term::ANSIColor;
use IO::Handle;
use Switch;
use sigtrap qw/handler signal_handler normal-signals/;
sub signal_handler { close LOGFILE; PortableReadKey::turnOnEcho();  print "\nbye!\n"; exit;}

#
# Preferences
#
my $output_freq=1;
my $number_of_lines_to_print=5;
my $naptime = 1;
&set_view_to_default;
#
# declare global counters
my $cnt_connects = 0;       my $total_connects = 0;     my %IN_IP;
my $cnt_domains = 0;    my $total_domains = 0;  my %DOMAINS;
my $cnt_records=0;  my $total_records = 0;  my %RECORDS;
#
# declare global variables
my $line; my $pattern;
my $start_time = time(); my $last_print_time = $start_time; my $time_now;
my ($show_connects,$show_connects_details);
my ($show_domains,$show_domains_details);
my ($show_records,$show_records_details);
my $show_all_details;
my $instant_stats_window = "sec";
my $average_stats_window;
#
# Init PortableReadKey
#
use PortableReadKey;
PortableReadKey::getKeyInit();
PortableReadKey::clearScreen();
PortableReadKey::turnOffEcho();
my $key;
#
# Main cyrcle
#
open (LOGFILE, $logfile) or die "can't open $logfile: $!";
seek (LOGFILE,-1,2) or die "can't seek to the end of $logfile"; # go to the end of file
#print "\033[2J"; print "\033[0;0H"; # clear screen
PortableReadKey::clearScreen();
print "Collecting data, please wait $output_freq seconds...\n";
for (;;) {
    while (<LOGFILE>) { &count_stats ($_); } # read to EOF, parsing each line and count all counters

    $time_now=time(); # if time to output - do it
    if (($time_now-$last_print_time) >= $output_freq){ $last_print_time=$time_now;
    &output ();
    }

    sleep $naptime;
    LOGFILE->clearerr( ); # clear EOF flag
    &signal_handler if (stat(LOGFILE))[3] == 0; # exit if no links to logfile (nobody writes to file = so file has been rotated)
    #
    # Keyboard hooks
    #
    $key = PortableReadKey::getKeyNonBlocking();
    if ($key) {&keys_handler ($key);}
}

#
# Sub for parsing and coutnts
#
sub count_stats {
    my $hashref1;
    $line=$_[0]; chomp $line;
    #
    # count requests/sec
    #
    $pattern=".*client ([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+)#.*";
    ($cnt_connects,$total_connects,$hashref1) =  &count ($cnt_connects,$total_connects,\%IN_IP);
    %IN_IP = %{$hashref1}; 
    #
    # count requested domains per second
    #
    $pattern="^.*client [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+#[0-9]+: query: (?:[^\.]+\.)*?([^\.]+\.[^\.]+) IN .+";
    ($cnt_domains,$total_domains,$hashref1) = &count ($cnt_domains,$total_domains,\%DOMAINS);
    %DOMAINS = %{$hashref1};
    #
    # count requested records
    #
    $pattern=".*client [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+#[0-9]+: query: (.+) IN .+";
    ($cnt_records,$total_records,$hashref1) =  &count ($cnt_records,$total_records,\%RECORDS);
    %RECORDS = %{$hashref1};
}

#
# Sub for output counters
#
sub output {
    my $instant_value;
    my $average_value;
#    print "\033[2J"; print "\033[0;0H"; # clear screen
    PortableReadKey::clearScreen();
    #
    # print requests per second
    #
    ($instant_value,$average_value) = &calculate ($cnt_connects,$total_connects);
    &print_to_screen ("(1)\e[1m \e[4mC\e[24monnects from IP:\t\tcurrent: $instant_value/$instant_stats_window\taverage: $average_value/$average_stats_window\t total: $total_connects \e[0m\n") if $show_connects == 1;
    &print_to_screen ("",\%IN_IP) if ($show_connects == 1 && $show_connects_details ==1);
    $cnt_connects=0;
    #
    # print requested domains
    #
    ($instant_value,$average_value) = &calculate ($cnt_domains,$total_domains);
    &print_to_screen ("(2)\e[1m \e[4mD\e[24momains requested: \e[0m \n") if $show_domains == 1;
    &print_to_screen ("",\%DOMAINS) if ($show_domains == 1 && $show_domains_details ==1);
    $cnt_domains=0;
    #
    # print requested records
    #
    ($instant_value,$average_value) = &calculate ($cnt_records,$total_records);
    &print_to_screen ("(3)\e[1m \e[4mR\e[24mecords requested: \e[0m \n") if $show_records == 1;
    &print_to_screen ("",\%RECORDS) if ( $show_records == 1 && $show_records_details ==1 );
    $cnt_records = 0;
    #
    # footer
    #
    $instant_value = time() - $start_time;
    &print_to_screen ("\nrefresh time: $output_freq sec.\ttime passed from start: $instant_value sec.\nplease type \e[1m?\e[0m or \e[1mh\e[0m for help or \e[1mq\e[0m to quit.\n");
}
#
# sub print_to_screen accepts following: <name_of_value> <value> <\%HASH_NAME>
#
sub print_to_screen {
#    my $name_of_value = $_[0];
#    my $value = $_[0];
#    print color 'bold';
    print "$_[0]";
#    print color 'reset';
    return if ( !$_[1] );
    my $count=1;
    foreach(sort {${$_[1]}{$b} <=> ${$_[1]}{$a}} keys %{$_[1]}) {
    print ${$_[1]}{$_},"\t",$_,"\n";
    last if $count>$number_of_lines_to_print; $count++;
    }
    print "\n";
}

sub count {
    my $numb_of_args = scalar (@_);
    my $conunter = shift;
    my $totals = shift;
    my %HASH = %{shift()};
    my %HASH1;
#    %HASH1 =  %{shift()} if ($numb_of_args > 3);
    %HASH1 =  %{@_[0]} if ($numb_of_args > 3);

    if  ($line =~ /$pattern/ ){ $conunter++; $totals++;
    my $a=$1; my $b=$2;
    if (exists($HASH{$a})){$HASH{$a}++;} else {$HASH{$a}=1;}
    if ($numb_of_args > 3) {if (exists($HASH1{$b})){$HASH1{$b}++;} else {$HASH1{$b}=1;}} 
    }

    return $conunter,$totals,\%HASH,\%HASH1 if ($numb_of_args > 3);
    return $conunter,$totals,\%HASH if ($numb_of_args <= 3);
}

sub calculate {
    my $cnt = shift;
    my $tot = shift;
    my $instant_value = sprintf "%.1f",($cnt/$output_freq);
    my $average_value;
    $average_value = ($average_stats_window eq "sec")?(sprintf "%.2f",($tot/($time_now-$start_time))):(sprintf "%.2f",($tot/(($time_now-$start_time)/60)));
    return $instant_value, $average_value;
}

sub helpscreen {
    PortableReadKey::clearScreen();
    print <<"HELP_SCREEN";
                \e[1m You can use folowing keys:\e[0m

C or c - show/hide Connects stats           1 - show/hide Connects details
D or d - show/hide Domains stats            2 - show/hide Domains details
R or r - show/hide Requests stats           3 - show/hide Requests details
A or a - show all stats                     4 or v - show/hide all details

0 or / - set screen to default view

M or m - switch average stats from per-minutes to per-seconds and back

\e[1m - \e[0m or \e[1m + \e[0m to increase/decrease display refresh interval by 5 second

\e[1m ? \e[0m or \e[1m h - \e[0m for this help
\e[1m q \e[0m - quit

press \e[1m ANYKEY \e[0m to continue..

\e[37m
\x1b[30m version 0.1, copyright: valynkin pavel, 2015\e[0m
HELP_SCREEN
    #<STDIN>;
PortableReadKey::getKeyBlocking();
    seek (LOGFILE,-1,2) # go forward to the end of file (to prevent harm stats if user see help screen too long)
}

sub keys_handler {
    my $key = shift;
    switch ($key) {
    case "q" {signal_handler;}
    case "+" {if ($output_freq >= 5) {$output_freq = $output_freq + 5;} else {$output_freq = $output_freq + 4;} }
    case "-" {if ($output_freq > 5) {$output_freq = $output_freq - 5;} else {$output_freq=1;} }
    case ["?","h"] {&helpscreen;}
    case ["M","m"] {$average_stats_window = ($average_stats_window eq "sec")?"min":"sec";}

    case ["C","c"] { $show_connects = !$show_connects; }
    case ["D","d"] { $show_domains = !$show_domains;}
    case ["R","r"] { $show_records = !$show_records;}
    case ["A","a"] {$show_connects = 1; $show_domains = 1; $show_records = 1; }
    case ["0","/"] {&set_view_to_default;}

    case "1" { $show_connects_details = !$show_connects_details; }
    case "2" { $show_domains_details = !$show_domains_details;}
    case "3" { $show_records_details = !$show_records_details;}
    case ["4","v"] { if ($show_all_details == 0) {$show_all_details=1;  $show_connects_details=1; $show_domains_details=1; $show_records_details=1; }
             else {$show_all_details=0; $show_connects_details=0; $show_domains_details=0; $show_records_details=0; }
               }
    }
}

sub set_view_to_default {
$show_connects = 1; $show_connects_details = 1;
$show_domains = 1; $show_domains_details = 1;
$show_records = 1; $show_records_details = 1;
$show_all_details = 0;
$average_stats_window = "min"; # must be "sec" or "min"
}


при публикации материалов с данного сайта обратная ссылка на сайт обязательна.
valynkin.ru © no rights reserved