[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Re: Trabalhando com arquivos grandes
From: |
rikekuda |
Subject: |
Re: Trabalhando com arquivos grandes |
Date: |
Wed, 26 Oct 2005 12:44:53 -0000 |
User-agent: |
eGroups-EW/0.82 |
Como fazer com awk ?
Preciso ler o arquivo grande e de acordo com o conteudo preciso
gerar outros arquivos. Por exemplo :
file.log
ricardo:sp:sao paulo
jose:rj:rio de janeiro
pedro:rs:porto alegre
Agora preciso pegar o valor da 2 coluna e gerar o arquivo sp.log,
rj.log, etc...Como fazer isso no awk sem ter que ler o arquivo n
vezes ?
--- Em address@hidden, Tiago Barcellos Peczenyj
<tiago.peczenyj@g...> escreveu
> AWK não faz isso de forma mais otimizada, sem estourar a ram ?
>
> Em 26/10/05, Rodrigo Monteiro <mrodrigox@g...> escreveu:
> >
> > On 10/26/05, rikekuda <rikekuda@y...> wrote:
> > > Fiz um shell script para ler um arquivo grande de +- 5Gb,
porem nao
> > > consigo executa-lo, pois ele começa a utilizar toda a memória
RAM do
> > > servidor de para por "No Space"
> > >
> > > Estou utilizando for i in `cat file.log` do.....
> >
> > Use o while
> >
> > while read LINHA ; do
> > echo $LINHA
> > #faz o que vc quiser aqui
> > done < file.log
> >
> > Com isso creio que vc não irá estourar a ram/swap, porém deverá
> > demorar um pouco para completar o laço do while.
> >
> > []s
> >
> >
> > >
> > > Alguma sugestao ?
> > >
> > >
> > >
> > >
> > >
> > > ---------------------------------------------------------------
------
> > > Esta lista não admite a abordagem de outras liguagens de
programação,
> > como perl, C etc. Quem insistir em não seguir esta regra será
moderado sem
> > prévio aviso.
> > > ---------------------------------------------------------------
------
> > > Sair da lista: address@hidden
> > > ---------------------------------------------------------------
------
> > > Esta lista é moderada de acordo com o previsto em
> > http://www.listas-discussao.cjb.net
> > > ---------------------------------------------------------------
------
> > >
> > > Links do Yahoo! Grupos
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> >
> >
> > --
> >
> > "Free as in Freedom, not free as in free beer"
> > Rodrigo Monteiro
> > mrodrigox@g...
> >
> >
> > -----------------------------------------------------------------
----
> > Esta lista não admite a abordagem de outras liguagens de
programação, como
> > perl, C etc. Quem insistir em não seguir esta regra será
moderado sem prévio
> > aviso.
> > -----------------------------------------------------------------
----
> > Sair da lista: address@hidden
> > -----------------------------------------------------------------
----
> > Esta lista é moderada de acordo com o previsto em
> > http://www.listas-discussao.cjb.net
> > -----------------------------------------------------------------
----
> >
> >
> >
> > *Yahoo! Grupos, um serviço oferecido por:*
> > ------------------------------
> > *Links do Yahoo! Grupos*
> >
> > - Para visitar o site do seu grupo na web, acesse:
> > http://br.groups.yahoo.com/group/shell-script/
> > - Para sair deste grupo, envie um e-mail para:
> > address@hidden<shell-script-
address@hidden?subject=Unsubscribe>
> > - O uso que você faz do Yahoo! Grupos está sujeito aos Termos
do
> > Serviço do Yahoo! <http://br.yahoo.com/info/utos.html>.
> >
> >
>
>
> [As partes desta mensagem que não continham texto foram removidas]
Re: [shell-script] Trabalhando com arquivos grandes, Luiz Henrique, 2005/10/26