たとえば、09:00:00 - 16:59:59の間の毎秒の形式のファイルがあります。
[...]
10:59:49,76.77
10:59:50,38.78
10:59:51,23.23
10:59:52,12
10:59:53,26.47
10:59:54,10.2
10:59:55,32.67
10:59:56,14
10:59:57,42
10:59:58,100
10:59:59,100
[...]
データをグラフで作成しようとすると、データがまとめすぎて分かりにくいので、平均を求めてもっと美しくしたいと思います。
たとえば、ファイル内の10分ごとに平均値をどのように見つけることができますか?
09:00:00 - 09:09:59
09:10:00 - 09:19:59
..
..
10:00:00 - 10:09:59
10:10:00 - 10:19:59
and so on...
私は元の平均を見つけるためにawkを使用する予定でしたが、それを実行するために10分のクラスターを抽出する方法を見つけるのに苦労しています。
awk -F "," '{ sum += $2; n++ } END { if (n > 0) print sum / n; }' test_file
テスト用のタイムスタンプを生成するには、サンプルコードを使用してください。
#!/bin/bash
seq -f "%02g" 0 59 > tmp.sec
seq -f "%02g" 30 59 > tmp.firstmin
while read line
do
cat tmp.sec | sed "s/^/09:$line:/;s/$/,$RANDOM/"
done<"tmp.firstmin"
for i in `seq 10 15`
do
while read line
do
cat tmp.sec | sed "s/^/$i:$line:/;s/$/,$RANDOM/"
done<"tmp.sec"
done
答え1
区切り文字を使用してから秒を無視して分だけ保持でき:
ます,
。
$ awk -F[:,] '{
thisInterval = substr($2,1,1);
a[$1":"thisInterval"0"]+=$4;
}
END{
PROCINFO["sorted_in"]="@ind_str_asc";
for(t in a){print t,a[t]/600
}
}'
上記を処理するにはGNU awkが必要ですPROCINFO
が、後でいつでも直接並べ替えることができます。また、10分ごとに600個のデータポイントを想定しています。
答え2
牛に似た一種の栄養awk
方法:
単純化された例testfile
:
09:00:00,1
09:03:00,3
09:09:59,6
10:00:00,1
10:02:49,76.77
10:03:50,38.78
10:05:51,23.23
10:07:52,12
10:09:53,26.47
10:09:59,10.2
10:59:55,32.67
10:59:56,14
10:59:57,42
10:59:58,100
10:59:59,100
awk -F',' 'BEGIN{ d = "9999 01 01 " }
{
gsub(":", " ", $1);
if (!ts) ts = mktime(d $1);
sum += $2; cnt += 1
}
cnt == 1 { next }
(mktime(d $1) - ts) == 599 {
print sum / cnt;
ts = sum = cnt = 0
}' testfile
出力:
3.33333
26.9214
答え3
タイムスタンプで「0:00」を一致させることで、新しい10分期間の開始を検出できます。以下は純粋なbashの例です。整数値のみを処理しますが、平均を計算することは難しくないため、これに適応できます。
#!/bin/bash
SUM=0
while read line;
do
# search for "hh:m0:00"
if [ "${line:4:4}" = "0:00" ]
then
# reached new 10 minutes period
# get average from sum and save it
echo $((SUM/600)) >> results.txt
# reset sum
SUM=0
fi
# increment sum with this line value
SUM=$(($SUM+${line:9}))
done < input.txt
答え4
10分= 600秒なので、600行ごとに2番目のフィールドの合計を計算し、600行ごとに到達したら、その値を600で割って印刷することにしました。
awk -F, '
NR % 600 == 1 {
start = $1
}
NR % 600 == 0 {
printf("%s - %s => %f\n", start, $1, avg / 600)
avg = 0
}
{
avg += $2
}
' input.txt
出力
09:00:00 - 09:09:59 => 49.807600
09:10:00 - 09:19:59 => 50.171900
09:20:00 - 09:29:59 => 47.775433
09:30:00 - 09:39:59 => 48.605350
09:40:00 - 09:49:59 => 49.591117
...
13:20:00 - 13:29:59 => 50.347733
13:30:00 - 13:39:59 => 50.321833
13:40:00 - 13:49:59 => 49.923333
13:50:00 - 13:59:59 => 48.644683
14:00:00 - 14:09:59 => 49.957433
...
16:00:00 - 16:09:59 => 50.333633
16:10:00 - 16:19:59 => 51.799317
16:20:00 - 16:29:59 => 50.931450
16:30:00 - 16:39:59 => 50.734167
16:40:00 - 16:49:59 => 49.857383
16:50:00 - 16:59:59 => 50.433733
を生成するためにinput.txt
2つのプログラムを作成し、必要なものを使用してください。 2番目のプログラムはより高速です。
最初
date -f <(seq -f '@%g' 21600 50399) '+%H:%M:%S' |
awk '{
printf("%s,%.2f\n", $0, rand() * 100)
}'
第二
awk '
BEGIN {
for(i = 9; i < 17; i++) {
for(j = 0; j < 60; j++) {
for(k = 0; k < 60; k++) {
printf("%02d:%02d:%02d,%.2f\n", i, j, k, rand() * 100)
}
}
}
}'