[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Re: RES: [shell-script] Tratar um arquivo de log
|
From: |
Walter Maier Neto |
|
Subject: |
Re: RES: [shell-script] Tratar um arquivo de log |
|
Date: |
Wed, 25 Sep 2002 14:33:04 -0300 |
talvez o "tail -f /var/log/messages " resolva seu problema...
Walter
----- Original Message -----
From: "Lynn karllo" <address@hidden>
To: <address@hidden>
Cc: <address@hidden>
Sent: Saturday, September 21, 2002 12:40 AM
Subject: Re: RES: [shell-script] Tratar um arquivo de log
>
> O Marcelino me deu uma grande ajuda para fazer um pre
> tratamento da log do firewall.
> Porem cada dia que passo acho que estou me
> complicando mais.
>
> Geraldo Chatel,
> O problema que eu estou encontrando é que a
> log que é gerada pelo firewall iptables não segue um
> padrão para eu poder jogar direto com o syslog-ng em
> uma tabela no mysql. O syslog-ng é uma ferramenta até
> que melhor que o syslog para isso, só como não é um
> padrão, entao as informações nao ficam de acordo nos
> campos da tabela.
> Pensei em fazer um pre-tratamento da log,
> deixando em um arquivo só o que eu gostaria que fosse
> para a tabela, eu consegui isso com ajuda do
> Marcelino, contudo eu estou com um problema que é o
> seguinte: não sei como posso fazer um loop com o
> script para que enquanto esteja sendo gravadas as
> informaçòes,ele gere o arquivo pre-tratado e depois
> mande para o banco, sem que seja feito manualmente
> esse processo.
>
> Não sei se vc entendeu minha jogada que eu estou
> querendo fazer ?
> Se tiver alguma idéia melhor eu sou todo ouvido.
>
> Eu estou dependendo disso para terminar de
> desenvolver
> meu projeto final sobre análise de log do Firewall
> Iptables.
>
> Lynn
>
> --- Geraldo Chatel <address@hidden>
> escreveu:
> <HR>
> <html><body>
>
>
> <tt>
> <BR>
> Lynn,<BR>
> <BR>
> Peco a voce desculpas pela demora em responder ao
> seu<BR>
> email. So agora o estou lendo.<BR>
> Vejo que vc ja esta caminhando para uma solucao com
> a<BR>
> ajuda do Marcelino.<BR>
> <BR>
> Caso queira tentar ...<BR>
> <BR>
> Eu trocaria o espaco entre os "campos" por
> CTRL+M,<BR>
> faria um grep das informacoes que me interessam e
> dava<BR>
> uma arrumada<BR>
> <BR>
> No ksh o codigo ficaria assim:<BR>
> <BR>
> cat seu_log|tr " "
> "<CTRL>+m"|grep -e RES -e ... -e<BR>
> ... | paste -d"|" - - - - | tr "="
> "|" |cut -d"|"<BR>
> -fx,y,z > arq_para_upload_delimitado_por_pipe<BR>
> <BR>
> obs:<BR>
> - eh preciso garantir que os campos que vc deseja<BR>
> esteja em todas as linhas. (<BR>
> - eh apenas uma linha de comando.<BR>
> - ao digitar o ctrl m o shell abrira o prompt<BR>
> secundario.<BR>
> - coloque no grep todos os campos que te
> interessam.<BR>
> - use no paste a mesma qtde de hifens qtos forem
> as<BR>
> opcoes do grep.<BR>
> - coloque no cut as posicoes dos dados (2,4,6..)<BR>
> - torca pra funcionar .... pois nao testei!!!<BR>
> <BR>
> Boa sorte e mais uma vez, desculpas.<BR>
> Att,<BR>
> Chatel.<BR>
> <BR>
> <BR>
> --- Lynn <address@hidden>
> escreveu: <BR>
> <HR><BR>
> <html><body><BR>
> <BR>
> <BR>
> <tt><BR>
> <BR><BR>
> <BR><BR>
> Geraldo,<BR><BR>
> <BR><BR>
>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&n
bsp;
> Eu<BR>
> tava querendo é jogar a log de acordo com os<BR>
> paramentos que<BR><BR>
> eu define em uma tabela mysql, como a log não segue
> um<BR>
> padrão, então<BR><BR>
> queria fazer um pré tratamento dela, colocando no<BR>
> padrão para que possa<BR><BR>
> jogar na tabela de um banco no&nbsp;
> mysql.<BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> Como pode ver nas três linhas&nbsp; de código
> que<BR>
> tirei na log, elas não<BR><BR>
> segue um padrão.<BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> 1º Após o OUT= não aparece o paramento
> MAC=<BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> Sep&nbsp; 9 01:03:49 dark fp=ICMP a=ACCEPT IN=<BR>
> OUT=ppp0 SRC=200.163.82.103<BR><BR>
> DST=207.33.111.32 LEN=44 TOS=0x00 PREC=0x00 TTL=64<BR>
> ID=15360 PROTO=TCP<BR><BR>
> SPT=32768 DPT=80 WINDOW=5840 RES=0x00 SYN URGP=0
> <BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> 2º Já na linha abaixo já tem o MAC= logo apos o<BR>
> OUT=<BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> Sep&nbsp; 9 01:03:58 dark fp=TCP:1 a=DROP IN=ppp0
> OUT=<BR>
> MAC= SRC=207.33.111.34<BR><BR>
> DST=200.163.82.103 LEN=40 TOS=0x00 PREC=0x00
> TTL=23<BR>
> ID=59881 PROTO=TCP<BR><BR>
> SPT=59285 DPT=79 WINDOW=1024 RES=0x00 SYN URGP=0
> <BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> 3º Como foi executado um ping para proprio
> servidor,<BR>
> alguns parametros<BR><BR>
> são difirentes.<BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> Sep 10 02:00:41 dark fp=ICMP a=ACCEPT IN= OUT=lo<BR>
> SRC=127.0.0.1<BR><BR>
> DST=127.0.0.1 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=0
> DF<BR>
> PROTO=ICMP TYPE=8<BR><BR>
> CODE=0 ID=35073 SEQ=512<BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> Se eu pudesse fazer um tratamento disso colocando
> em<BR>
> arquivo separado os<BR><BR>
> paramentros que estão em azul acima, acho que
> ficaria<BR>
> um padrão e<BR><BR>
> ajudaria colocar na tabela do banco.<BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> Sep 9 01:03:49 dark fp=ICMP a=ACCEPT IN= OUT=ppp0<BR>
> SRC=200.163.82.103<BR><BR>
> DST=207.33.111.32 PROTO=TCP SPT=32768
> DPT=80<BR><BR>
> <BR><BR>
> Sep 10 02:00:41 dark fp=ICMP a=ACCEPT IN= OUT=lo<BR>
> SRC=127.0.0.1<BR><BR>
> DST=127.0.0.1 PROTO=ICMP<BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> As informações necessaries que preciso são essas
> em<BR>
> azul, se tiver uma<BR><BR>
> idéia de como fazer ou até melhor do que eu
> pensei,<BR>
> ajudaria muito.<BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> Ats,<BR><BR>
> <BR><BR>
> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> Lynn Karllo<BR><BR>
> <BR><BR>
> -----Mensagem original-----<BR><BR>
> De: Geraldo Chatel<BR>
> [mailto:address@hidden] <BR><BR>
> Enviada em: segunda-feira, 16 de setembro de 2002<BR>
> 21:03<BR><BR>
> Para: address@hidden<BR><BR>
> Assunto: Re: [shell-script] Tratar um arquivo de<BR>
> log<BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> Qual o layout de saida que vc quer?<BR><BR>
> <BR><BR>
> --- Lynn karllo<BR>
> &lt;address@hidden&gt;<BR><BR>
> escreveu: <BR><BR>
> &lt;HR&gt;<BR><BR>
> &lt;html&gt;&lt;body&gt;<BR><BR>
> <BR><BR>
> <BR><BR>
> &lt;tt&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> Senhores,&lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> Alguem poderia<BR>
> me<BR><BR>
> ajudar a tratar uma log do IPTABLES
> ?&lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> To com<BR>
> o<BR><BR>
> seguinte problema, tenho uma log gerada pelo<BR>
> firewall<BR><BR>
> do IPTABLES e gostaria de fazer um pre
> tratamento<BR><BR>
> nela, extraindo só as informações do meu<BR><BR>
> interesse.&lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> Como<BR>
> pode<BR><BR>
> ser visto a log possui alguns paramentos com = a<BR>
> qual<BR><BR>
> posso me orientar a buscar os dados que eu
> quero<BR><BR>
> colocar em outro arquivo, porem não sei como
> fazer<BR><BR>
> isso em shell script, alguem poderia me ajudar<BR>
> ?&lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> Sep 9 01:03:49 dark fp=ICMP a=ACCEPT IN=
> OUT=ppp0<BR><BR>
> SRC=200.163.82.103 DST=207.33.111.32 LEN=44<BR>
> TOS=0x00<BR><BR>
> PREC=0x00 TTL=64 ID=15360 PROTO=TCP SPT=32768<BR>
> DPT=80<BR><BR>
> WINDOW=5840 RES=0x00 SYN URGP=0
> &lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> Sep 9 01:03:50 dark fp=ICMP a=ACCEPT IN=
> OUT=ppp0<BR><BR>
> SRC=200.163.82.103 DST=207.33.111.32 LEN=40<BR>
> TOS=0x00<BR><BR>
> PREC=0x00 TTL=64 ID=41728 PROTO=TCP SPT=32768<BR>
> DPT=80<BR><BR>
> WINDOW=8760 RES=0x00 ACK URGP=0
> &lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> Sep 9 01:03:51 dark fp=ICMP a=ACCEPT IN=
> OUT=ppp0<BR><BR>
> SRC=200.163.82.103 DST=207.33.111.32 LEN=40<BR>
> TOS=0x00<BR><BR>
> PREC&lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> Lynn&lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> Ats,&lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> Lynn<BR><BR>
> Karllo&lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> ---------------------------------&lt;BR&gt;<BR><BR>
> Yahoo! PageBuilder - O super editor para criação<BR>
> de<BR><BR>
> sites: é grátis, fácil e
> rápido.&lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> [As partes desta mensagem que não continham
> texto<BR><BR>
> foram removidas]&lt;BR&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> &lt;/tt&gt;<BR><BR>
> <BR><BR>
> <BR><BR>
> &lt;br&gt;<BR><BR>
> &lt;tt&gt;<BR><BR>
> &lt;BR&gt;<BR><BR>
> ---------------------------------------------------------------------&
lt;BR<BR><BR>
> &gt;<BR><BR>
> Esta lista não admite a abordagem de outras<BR>
> liguagens<BR><BR>
> de programação, como perl, C etc. Quem insistir em<BR>
> não<BR><BR>
> seguir esta regra será moderado sem prévio<BR>
> aviso.&lt;BR&gt;<BR><BR>
> ---------------------------------------------------------------------&
lt;BR<BR><BR>
> &gt;<BR><BR>
> Sair da lista:<BR><BR>
>
address@hidden&lt;BR&gt;<BR><BR>
> ---------------------------------------------------------------------&
lt;BR<BR><BR>
> &gt;<BR><BR>
> Esta lista é moderada de acordo com o previsto em<BR>
> &lt;a<BR><BR>
> href=&quot;<a<BR>
> href="<a
>
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net
</a>"><a
>
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net
</a></a>&quot;&gt;<a<BR>
> href="<a
>
href="http://www.listasdiscussao.cjb";>http://www.listasdiscussao.cjb</a>&quo
t;><a
>
href="http://www.listasdiscussao.cjb";>http://www.listasdiscussao.cjb</a><
/a><BR><BR>
> .net&lt;/a&gt;&lt;BR&gt;<BR><BR>
> ---------------------------------------------------------------------&
lt;BR<BR><BR>
> &gt;<BR><BR>
> &lt;/tt&gt;<BR><BR>
> &lt;br&gt;<BR><BR>
> <BR><BR>
> &lt;br&gt;<BR><BR>
> &lt;tt&gt;Seu uso do Yahoo! Grupos é sujeito
> aos<BR>
> &lt;a<BR><BR>
> href=&quot;<a<BR>
> href="<a
>
href="http://br.yahoo.com/info/utos.html";>http://br.yahoo.com/info/utos.html
</a>"><a
>
href="http://br.yahoo.com/info/utos.html";>http://br.yahoo.com/info/utos.html
</a></a>&quot;&gt;Termos<BR>
> do<BR><BR>
> Serviço
> Yahoo!&lt;/a&gt;.&lt;/tt&gt;<BR><BR>
> &lt;/br&gt;<BR><BR>
> <BR><BR>
> &lt;/body&gt;&lt;/html&gt;<BR><BR>
> <BR><BR>
> <BR><BR>
>
_______________________________________________________________________<B
R><BR>
> Yahoo! PageBuilder<BR><BR>
> O super editor para criação de sites: é grátis,
> fácil<BR>
> e rápido.<BR><BR>
> <a<BR>
> href="<a
>
href="http://br.geocities.yahoo.com/v/pb.html";>http://br.geocities.yahoo.com
/v/pb.html</a>"><a
>
href="http://br.geocities.yahoo.com/v/pb.html";>http://br.geocities.yahoo.com
/v/pb.html</a></a><BR><BR>
> <BR><BR>
> <BR><BR>
> ---------------------------------------------------------------------<B
R><BR>
> Esta lista não admite a abordagem de outras
> liguagens<BR>
> de programação,<BR><BR>
> como perl, C etc. Quem insistir em não seguir esta<BR>
> regra será moderado<BR><BR>
> sem prévio aviso.<BR><BR>
> ---------------------------------------------------------------------<B
R><BR>
> Sair da lista:<BR>
> address@hidden<BR><BR>
> ---------------------------------------------------------------------<B
R><BR>
> Esta lista é moderada de acordo com o previsto
> em<BR><BR>
> <a<BR>
> href="<a
>
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net
</a>"><a
>
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net
</a></a><BR><BR>
> ---------------------------------------------------------------------<B
R><BR>
> <BR><BR>
> <BR><BR>
> Seu uso do Yahoo! Grupos é sujeito aos
> Termos<BR><BR>
> &lt;<a<BR>
> href="<a
>
href="http://br.yahoo.com/info/utos.html";>http://br.yahoo.com/info/utos.html
</a>"><a
>
href="http://br.yahoo.com/info/utos.html";>http://br.yahoo.com/info/utos.html
</a></a>&gt;&nbsp;<BR>
> do Serviço Yahoo!. <BR><BR>
> <BR><BR>
> <BR><BR>
> <BR><BR>
> [As partes desta mensagem que não continham texto<BR>
> foram removidas]<BR><BR>
> <BR><BR>
> </tt><BR>
> <BR>
> <BR>
> <br><BR>
> <tt><BR>
> <BR><BR>
> ---------------------------------------------------------------------<B
R><BR>
> Esta lista não admite a abordagem de outras
> liguagens<BR>
> de programação, como perl, C etc. Quem insistir em
> não<BR>
> seguir esta regra será moderado sem prévio
> aviso.<BR><BR>
> ---------------------------------------------------------------------<B
R><BR>
> Sair da lista:<BR>
> address@hidden<BR><BR>
> ---------------------------------------------------------------------<B
R><BR>
> Esta lista é moderada de acordo com o previsto em
> <a<BR>
> href="<a
>
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net
</a>"><a
>
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net
</a></a><BR><BR>
> ---------------------------------------------------------------------<B
R><BR>
> </tt><BR>
> <br><BR>
> <BR>
> <br><BR>
> <tt>Seu uso do Yahoo! Grupos é sujeito aos
> <a<BR>
> href="<a
>
href="http://br.yahoo.com/info/utos.html";>http://br.yahoo.com/info/utos.html
</a>">Termos
> do<BR>
> Serviço Yahoo!</a>.</tt><BR>
> </br><BR>
> <BR>
> </body></html><BR>
> <BR>
> <BR>
>
_______________________________________________________________________<BR>
> Yahoo! GeoCities<BR>
> Tudo para criar o seu site: ferramentas fáceis de
> usar, espaço de sobra e acessórios.<BR>
> <a
>
href="http://br.geocities.yahoo.com/";>http://br.geocities.yahoo.com/</a><BR>
> </tt>
>
>
> <br>
> <tt>
> <BR>
> ---------------------------------------------------------------------<BR>
> Esta lista não admite a abordagem de outras liguagens
> de programação, como perl, C etc. Quem insistir em não
> seguir esta regra será moderado sem prévio aviso.<BR>
> ---------------------------------------------------------------------<BR>
> Sair da lista:
> address@hidden<BR>
> ---------------------------------------------------------------------<BR>
> Esta lista é moderada de acordo com o previsto em <a
>
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net
</a><BR>
> ---------------------------------------------------------------------<BR>
> </tt>
> <br>
>
> <br>
> <tt>Seu uso do Yahoo! Grupos é sujeito aos <a
> href="http://br.yahoo.com/info/utos.html";>Termos do
> Serviço Yahoo!</a>.</tt>
> </br>
>
> </body></html>
>
>
> =====
>
> Ats,
>
> Lynn Karllo
>
>
>
>
> _______________________________________________________________________
> Yahoo! GeoCities
> Tudo para criar o seu site: ferramentas fáceis de usar, espaço de sobra e
acessórios.
> http://br.geocities.yahoo.com/
>
>
> ---------------------------------------------------------------------
> Esta lista não admite a abordagem de outras liguagens de programação, como
perl, C etc. Quem insistir em não seguir esta regra será moderado sem prévio
aviso.
> ---------------------------------------------------------------------
> Sair da lista: address@hidden
> ---------------------------------------------------------------------
> Esta lista é moderada de acordo com o previsto em
http://www.listasdiscussao.cjb.net
> ---------------------------------------------------------------------
>
>
> Seu uso do Yahoo! Grupos é sujeito às regras descritas em:
http://br.yahoo.com/info/utos.html
>
>
- Re: [shell-script] Performance, (continued)
- Re: [shell-script] Performance, aurelio, 2002/09/26
- Re: [shell-script] Performance, Tiago F Bianchini, 2002/09/26
- FTP, --| Samuel |--, 2002/09/26
- Message not available
- Re: [shell-script] FTP, Tiago F Bianchini, 2002/09/26
- Re: RES: [shell-script] Tratar um arquivo de log, Marcelino Silva, 2002/09/18
- Re: RES: [shell-script] Tratar um arquivo de log, Lynn karllo, 2002/09/18
- Re: RES: [shell-script] Tratar um arquivo de log, Geraldo Chatel, 2002/09/20
- Re: RES: [shell-script] Tratar um arquivo de log, Lynn karllo, 2002/09/20
- Re: RES: [shell-script] Tratar um arquivo de log,
Walter Maier Neto <=