Problema com arquivo grande

[Marco Sinhoreli]

Olá a todos,

Tenho um arquivo com, pra ser exato ;-), 6.352.886 linhas.
Preciso listar as ocorrências considerando que as repetidas não irei
armazenar novamente:


#! /bin/bash

cont=0
for i in $(cut -c 13-16 ARQVAL)
    do
    if [ ! $(echo ${var[@]}| grep $i) ];
        then
        var[$cont]=$i
        let cont++
    fi
done
echo ${var[@]}

Problema: no ínicio do laço, o i/o fica grande para a leitura do
arquivo gigante (231M) e o processo não vai adiante.

Gostaria de ver a possíbilidade de ler linha a linha sem necessidade
de armazenamento prévio, é possível?

[]s


--
Marco Sinhoreli