Re: [shell-script] Ajuda com transformação de arquivos

[Jeiks]

Otimiza não, pois é mais um comando que eu utilizaria: o read. Creio que os
códigos nativos do bash sejam mais rápidos.

Vlw

Em 10 de novembro de 2010 14:44, Wagner Macedo
<address@hidden>escreveu:

> Eu nunca fiz algo desse tipo, mas vou tentar ajudar.
>
> Esse arquivo é um CSV, pelo que eu entendi você está acessando cada coluna
> usando o _for_ dentro do _while read_.
>
> Usando o mesmo _while read_ você pode substituir o _for_ por um _read_,
> antes substituindo a variável IFS por uma vírgula.
>
> Acredito que assim vai ajudar na otimização.
>
> --
> Wagner Macêdo
>
>
> Em 10 de novembro de 2010 13:31, Jeiks <address@hidden> escreveu:
>
> >
> >
> > Olá lista,
> > estou com um arquivo de 4898431 linhas, que segue o seguinte padrão:
> >
> >
> >
> 0,tcp,http,SF,219,1098,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,1,0.00,0.00,0.00,0.00,1.00,0.00,0.00,7,255,1.00,0.00,0.14,0.05,0.00,0.01,0.00,0.00,normal.
> >
> >
> >
> 0,udp,domain_u,SF,30,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,2,0.00,0.00,0.00,0.00,1.00,0.00,1.00,46,9,0.20,0.11,0.20,0.00,0.00,0.00,0.00,0.00,normal.
> >
> > estou convertendo os valores para organizá-los como entrada de uma rede
> > neural.
> > Bom, fiz o script abaixo, mas pelas minhas contas ele vai demorar 25h
> > para terminar... e eu ainda tenho outros arquivos.
> > Gostaria de uma ajuda para a otimização do script.
> >
> > Informações:
> > especif.h (biblioteca de vetores indexados - necessita de bash 4.0) ->
> > http://pastebin.com/AMxEvSYd
> > organiza_fonte.sh -> http://pastebin.com/XxNrBX4y
> > execução: ./organiza_fonte.sh arquivo > arquivo_saida
> >
> > arquivo completo de entrada:
> > http://kdd.ics.uci.edu/databases/kddcup99/kddcup.data.gz
> > 10% do arquivo de entrada:
> > http://kdd.ics.uci.edu/databases/kddcup99/kddcup.data_10_percent.gz
> >
> > obrigado a todos
> >
> > --
> > Jacson R. C. Silva
> >
> > [As partes desta mensagem que não continham texto foram removidas]
> >
> >
> >
>
>
> [As partes desta mensagem que não continham texto foram removidas]
>
>
>
> ------------------------------------
>
> ---------------------------------------------------------------------
> Esta lista não admite a abordagem de outras liguagens de programação, como
> perl, C etc. Quem insistir em não seguir esta regra será moderado sem prévio
> aviso.
> ---------------------------------------------------------------------
> Sair da lista: address@hidden
> ---------------------------------------------------------------------
> Esta lista é moderada de acordo com o previsto em
> http://www.listas-discussao.cjb.net
> ---------------------------------------------------------------------
> Servidor Newsgroup da lista: news.gmane.org
> Grupo: gmane.org.user-groups.programming.shell.brazil
>
> Links do Yahoo! Grupos
>
>
>


-- 
Jacson R. C. Silva


[As partes desta mensagem que não continham texto foram removidas]