Hack 24. Uniq コマンド

Uniq コマンドは sort コマンドと共にもっともよく使用されます。
uniq はソートされたファイルから重複のみを削除するためです。
たとえば、uniq が動作するには、すべての重複したエントリは近接した行にあります。
次のものはいくつかの一般的な例です。

1. 重複したエントリをもつ従業員ファイルがある場合に、次のように重複を削除することができます。

$ sort namesd.txt | uniq
$ sort -u namesd.txt

2. いくつの行が重複しているかを知りたい場合、次のようにします。
次の例の最初のフィールドは指定した行にいくつの重複が見つかったかを示します。
そのため、この例では Alex と Emma で始まる行が namesd.txt ファイルに２回見つかりました。

$ sort namesd.txt | uniq -c
2 Alex Jason:200:Sales
2 Emma Thomas:100:Marketing
1 Madison Randy:300:Product Development
1 Nisha Singh:500:Sales
1 Sanjay Gupta:400:Support

3. 次は重複したエントリのみ表示します。

$ sort namesd.txt | uniq -cd
2 Alex Jason:200:Sales
2 Emma Thomas:100:Marketing