ログを参照する際に重複行をなくしたい

コマンド

# ２番目の要素の先頭10文字が一緒のものを集約
$ cat /var/tmp/XXXX.log | uniq -f2 -w10

例

2018-05-15 09:40:00	SELECT VARIABLE_NAME, VARIABLE_VALUE FROM INFORMATION_SCHEMA.GLOBAL_STATUS WHERE VARIABLE_NAME IN ( 'COM_DROP_TRIGGER'...
2018-05-15 09:41:00	SELECT VARIABLE_NAME, VARIABLE_VALUE FROM INFORMATION_SCHEMA.GLOBAL_STATUS WHERE VARIABLE_NAME IN ( 'COM_DROP_TABLE'...
2018-05-16 00:47:23	DROP TABLE IF EXISTS `XXXXXXX1`
2018-05-16 00:47:23	DROP TABLE IF EXISTS `XXXXXXX2`
2018-05-16 00:47:24	DROP TABLE IF EXISTS `XXXXXXX3`

※SELECT VARが集約対象

が対象の場合以下のような結果となる。

# 重複削除あり
$ cat /var/tmp/XXXX.log | uniq -f2 -w10 | grep DROP | wc -c
21149
# 重複削除なし
$ cat /var/tmp/XXXX.log | grep DROP | wc -c
1247993

[【 uniq 】 ソート済みのファイルから重複した行を削除する

日経 xTECH（クロステック）](http://tech.nikkeibp.co.jp/it/article/COLUMN/20060227/230918/)