PerlまたはPythonでログ解析スクリプトを再構築します（awkを削除）。

Question 1

これは答えではありませんが、コメントとして書くには大きすぎてフォーマットする必要があるため、「Pythonコードが実行する操作を読みやすく理解するのは簡単です」というコメントを処理するには、合理的な変数名を使用するAWKスクリプトです。考える あなたのPythonスクリプトPythonスクリプトとよく似ているようですが、awkはテキストを操作するためにPythonでコーディングする必要があるすべての一般的な操作をすでに実行しているため、短くなります。

awk -v column=5 '
    { records[$column] = records[$column] $0 ORS }
    END {
        for ( timestamp in records ) {
            if ( gsub(ORS,"&",records[timestamp]) > 2 ) {
                printf "%s", records[timestamp]
            }
        }
    }
' logfile.log

ただし、処理する前にファイル全体をメモリに読み込むことは、この問題を解決する非常に非効率的な方法です。時間が変わるたびにテストして印刷する必要があります。

awk -v column=5 '
    $column != prev {
        prt()
        records = ""
        prev = $column
    }
    { records = records $0 ORS }
    END { prt() }

    function prt() {
        if ( gsub(ORS,"&",records) > 2 ) {
            printf "%s", records
        }
    }
' logfile.log

Answer

これは答えではありませんが、コメントとして書くには大きすぎてフォーマットする必要があるため、「Pythonコードが実行する操作を読みやすく理解するのは簡単です」というコメントを処理するには、合理的な変数名を使用するAWKスクリプトです。考える あなたのPythonスクリプトPythonスクリプトとよく似ているようですが、awkはテキストを操作するためにPythonでコーディングする必要があるすべての一般的な操作をすでに実行しているため、短くなります。

awk -v column=5 '
    { records[$column] = records[$column] $0 ORS }
    END {
        for ( timestamp in records ) {
            if ( gsub(ORS,"&",records[timestamp]) > 2 ) {
                printf "%s", records[timestamp]
            }
        }
    }
' logfile.log

ただし、処理する前にファイル全体をメモリに読み込むことは、この問題を解決する非常に非効率的な方法です。時間が変わるたびにテストして印刷する必要があります。

awk -v column=5 '
    $column != prev {
        prt()
        records = ""
        prev = $column
    }
    { records = records $0 ORS }
    END { prt() }

    function prt() {
        if ( gsub(ORS,"&",records) > 2 ) {
            printf "%s", records
        }
    }
' logfile.log

Question 2

ソリューション自体はPython 3で書かれています。

#!/usr/bin/env python3

import sys
import re
from collections import defaultdict


column_delimiter = sys.argv[1]
column = int(sys.argv[2]) - 1

records = defaultdict(list)

with open(sys.argv[3]) as inputfile:
  for lines in inputfile:
    line = lines.rstrip('\n')
    row_record = line.split(column_delimiter)
    records[row_record[column]].append(line)

for timestamps in records.values():
    if len(timestamps) == 3:
        for i in range(len(timestamps)):
          if (re.search('logged in|changed password|logged off', timestamps[i])):
                  print(timestamps[i])

使用法:parse_log.py ' ' 5 logfile.log

Pythonコードは読みやすく理解しやすくなります。

Answer

ソリューション自体はPython 3で書かれています。

#!/usr/bin/env python3

import sys
import re
from collections import defaultdict


column_delimiter = sys.argv[1]
column = int(sys.argv[2]) - 1

records = defaultdict(list)

with open(sys.argv[3]) as inputfile:
  for lines in inputfile:
    line = lines.rstrip('\n')
    row_record = line.split(column_delimiter)
    records[row_record[column]].append(line)

for timestamps in records.values():
    if len(timestamps) == 3:
        for i in range(len(timestamps)):
          if (re.search('logged in|changed password|logged off', timestamps[i])):
                  print(timestamps[i])

使用法:parse_log.py ' ' 5 logfile.log

Pythonコードは読みやすく理解しやすくなります。

Question 3

何でもawk:

#!/usr/bin/awk -f
BEGIN { FS = "[|]" }

prvHour == $1 && prvUsr == $3 {
    if ($(NF-1) == "user logged in"        || 
        $(NF-1) == "user changed password" || 
        $(NF-1) == "user logged off" )
         actions[++actionCnt] = $0
    else actionCnt = 0
}

prvHour != $1 && prvUsr != $3 {
    if (prvHour && actionCnt == 3)
        for (i = 1; i <= actionCnt ; i++)
            print actions[i]

    prvHour = $1; prvUsr = $3
    actionCnt = 0 ; actions[++actionCnt] = $0
}

END {
    if (actionCnt == 3)
        for (i = 1; i <= actionCnt; i++)
            print actions[i]
}

Perl外部ライブラリを使用せずに：

/bin/perl -e '
    while (1) {
        $uli = $uli // <>;
        $ucp = <> if $uli =~ /^([^|]*)[|][^|]*[|]([^|]*)[|] - [|]user logged in[|] -$/;
        last if tell() < 0 ; 
        if (!defined $ucp) { $uli = undef ; next; }
        $ulo = <> if $ucp =~ /^(\Q$1\E)[|][^|]*[|]($2)[|] - [|]user changed password[|] -$/;
        last if tell() < 0;
        if (!defined $ulo) { $uli = $ucp ; $ucp = undef ; next ; }
        if ($ulo !~ /^\Q$1\E[|][^|]*[|]$2[|] - [|]user logged off[|] -$/) {
            $uli = $ulo ; $ucp = $ulo = undef ; next ;
        }
        print "$uli$ucp$ulo";
        $uli = $ucp = $ulo = undef;
    }
' sample

python3usginを使用すると、sysファイルを読み取り、exit意味のある値で呼び出すことができます。

#!/bin/python3
import sys

try:
    fullLine = actions = []
    prvHour = prvUsr = None
    chk_act = lambda x: x == "user logged in" or \
                 x == "user changed password" or \
                 x == "user logged off"


    with open(sys.argv[1]) as logFile:
        for line in logFile:
            hour, _, user, _, action, _ = line.split('|')
            if prvHour == hour and prvUsr == user:
                fullLine.append(line.strip())
                actions.append(action.strip())

            elif prvUsr != user and prvHour != hour:
                if len(actions) == 3 and all(map(chk_act, actions)):
                    print("\n".join(fullLine))

                prvUsr = user
                prvHour = hour
                actions = []
                actions.append(action.strip())
                fullLine = []
                fullLine.append(line.strip())


except IndexError:
    print("usage {} logfile".format(sys.argv[0]))
    sys.exit(1)

except (FileNotFoundError, PermissionError):
    print("{} not found or permission permission denied", sys.argv[1])
    sys.exit(1)

何でもsed:

#!/bin/sed -nf
N;/^\([^|]*\)|[^|]*|\([^|]*\)| - |user logged in| -\n\1|[^|]*|\2| - |user changed password| -$/{
    N;/\n\([^|]*\)|[^|]*|\([^|]*\)| - |user changed password| -\n\1|[^|]*|\2| - |user logged off| -$/{
        p;b
    }
    s/.*\n/\n/g;D
}
D

すべてのソリューションは、データ全体をメモリに保存するわけではありません。

Answer