[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Re: [shell-script] Trabalhando com arquivos grandes
From: |
Jose Silva |
Subject: |
Re: [shell-script] Trabalhando com arquivos grandes |
Date: |
Wed, 26 Oct 2005 14:11:25 -0200 |
Aqui vão meus 2 centavos:
#!/bin/bash
input=$1
work=$(wc -l $input)
last=$(echo $work | cut -d' ' -f 1)
echo "Serao lidas" $last "linhas."
i=1 # ajuste o i (inicio) em qualquer trecho do arquivo... :)
while true
do
sed -n "$i"p $input
#---acrescente seu processamento aqui::::::
let i++ ; if [ $i -gt $last ]; then exit ; fi
done
Acho que desta forma você conseque ler *line by line*....
ou melhor, você pode adaptá-lo para ler em lotes:
por exemplo:
da linha 1 ate 100000 num runtime
da linha 100001 ate 200000 noutro runtime...
e assim por diante...
desta forma o arquivo pode ser do
tamanho do infinito que voce lê... :)
JS
Em 26/10/05, rikekuda <address@hidden> escreveu:
>
> Fiz um shell script para ler um arquivo grande de +- 5Gb, porem nao
> consigo executa-lo, pois ele começa a utilizar toda a memória RAM do
> servidor de para por "No Space"
>
> Estou utilizando for i in `cat file.log` do.....
>
> Alguma sugestao ?
>
>
>
[As partes desta mensagem que não continham texto foram removidas]
Re: [shell-script] Trabalhando com arquivos grandes, Luiz Henrique, 2005/10/26
Re: [shell-script] Trabalhando com arquivos grandes,
Jose Silva <=