Re: [shell-script] Dados parcialmente duplicados

[Fabiano Caixeta Duarte]

2009/6/25 Eri Ramos Bastos <address@hidden>:
> Olá, lista
>
> Estou tentando encontrar dados parcialmente duplicados num arquivo,
> mas estou levando uma boa surra.
> Foi bem fácil encontrar os totalmente duplicados usando sort e awk,
> mas não consigo extrair os parcialmente duplicados.
>
> Os dados estão nesse formato aqui: http://pastebin.com/m79c990bf
>
> O que eu quero saber é quais dados estão sendo repetidos na primeira,
> segunda e última coluna, mas são únicos na terceira coluna. Preciso
> contar esses dados baseado na segunda coluna, de forma que no arquivo
> exemplo o resultado do script seria:
>
> $ ./script raw-file.txt
> 6361  34662277560 46606975 2
> 6361  36612632553 46606975 2
> 6361  36620505642 46606975 2
>
>
> Alguma dica?
>
> []'s
> Eri

Se eu entendi corretamente, isto deve dar uma solução:

awk '{print $1,$2,$4}' arquivo | sort | uniq -c
      1 6361 34662271477 46606975
      2 6361 34662277560 46606975
      3 6361 34662391641 46606975
      1 6361 34662424681 46606975
      1 6361 35276181257 46606975
      1 6361 36611606568 46606975
      2 6361 36612632553 46606975
      1 6361 36618429745 46606975
      3 6361 36620505642 46606975
      1 6361 36665115423 46606975
      1 6361 37642368054 46606975
      2 6361 37645894974 46606975
      1 6361 37669645385 46606975
      1 6361 37669659348 46606975
      1 6361 37680548520 46606975
      1 6361 37695259538 46606975
      2 6361 37697661132 46606975
      1 6361 37881454475 46606975
      1 6361 37881605748 46606975
      2 6361 38623842552 46606975
      2 6361 38655927128 46606975
      1 6361 38661337055 46606975
      2 6361 38663954458 46606975
      1 6361 38666570892 46606975


-- 
Fabiano Caixeta Duarte
Especialista em Redes de Computadores
Linux User #195299
Ribeirão Preto - SP