Re: [shell-script] Problema com arquivo grande

[Luiz Henrique]

Da uma olhada no awk que ele faz um trabalho legal com arquivos

ou da uma olhada se funciona assim:
repare o uso do "sed"

#! /bin/bash

cont=1
for i in $(sed -n "$cont"p ARQVAL | cut -c-13)
   do
   if [ ! $(echo ${var[@]}| grep $i) ];
       then
       var[$cont]=$i
       let cont++
   fi
done





Marco Sinhoreli escreveu:

> Olá a todos,
>
> Tenho um arquivo com, pra ser exato ;-), 6.352.886 linhas.
> Preciso listar as ocorrências considerando que as repetidas não irei
> armazenar novamente:
>
>
> #! /bin/bash
>
> cont=0
> for i in $(cut -c 13-16 ARQVAL)
>    do
>    if [ ! $(echo ${var[@]}| grep $i) ];
>        then
>        var[$cont]=$i
>        let cont++
>    fi
> done
> echo ${var[@]}
>
> Problema: no ínicio do laço, o i/o fica grande para a leitura do
> arquivo gigante (231M) e o processo não vai adiante.
>
> Gostaria de ver a possíbilidade de ler linha a linha sem necessidade
> de armazenamento prévio, é possível?
>
> []s
>
>
> --
> Marco Sinhoreli
>
>
> ---------------------------------------------------------------------
> Esta lista não admite a abordagem de outras liguagens de programação, como 
> perl, C etc. Quem insistir em não seguir esta regra será moderado sem prévio 
> aviso.
> ---------------------------------------------------------------------
> Sair da lista: address@hidden
> ---------------------------------------------------------------------
> Esta lista é moderada de acordo com o previsto em 
> http://www.listas-discussao.cjb.net
> ---------------------------------------------------------------------
>
> Links do Yahoo! Grupos
>
>
>
>
>
>
>
>
>
>
>