Re: [shell-script] shell em cluster

[Alfredo Casanova]

você pode usar o xargs pra paralelizar também



2013/4/16 Leslie Watter <address@hidden>

> **
>
>
> Peterson,
>
> No teu caso, eu faria o seguinte:
>
> rodaria o john the ripper (já que vc escolheu esse) pra gerar um buzilhão
> de senhas em um arquivo.
>
> faria um for PROC de 1 até n
> onde n seria o numero de processos que vc vai duplicar
>
> para cada processo PROC vc testa nele a linha do arquivo de senhas % proc
> (ou seja, só aquelas cujo módulo =0 para o número do processo)
>
> testa o resultado
> se um dos processos encontrar a senha, vc pode matar todos os outros com um
> pkill ou killall
> e fazer um echo senha > senha-correta
>
> e pronto....
>
> assim vc consegue paralelizar em quantas máquinas quiser ... só usar um
> arquivo unico pra cada máquina ...
>
> []s
>
> LEslie
> PS: a implementação fica como exercício :P
>
>
> 2013/4/15 Petterson Faria <address@hidden>
>
> > Vamos trocar ideias.
> >
> > Testando os exemplos do coproc, no blog do Julio, estou pensando...
> >
> > Objetivo: Testar senha do arquuivo.rar
> > Comando para testar: rar e -p${senha} arquivo.rar
> > condição de saida: if [ $? -eq 0 ]
> >
> > Se eu crio um coproc que vai receber as senhas geradas pelo john the
> > ripper, e executar o comando de teste, eu deveria criar um segundo coproc
> > para validar o resultado do comando? Para não "perder tempo" validando
> > dentro da thread que testa, correto?
> > Valeria ter uma thread que executa e testa, ou uma para cada funcao?
> > Criar logo umas 12 threads e passar na ordem? "for i in {1..12}"
> >
> > Dai eu pegaria o john the ripper, e mandaria ele gerar pra mim as senhas
> e
> > ia jogando as saidas para as coproc processarem.
> >
> > Vou fazer um teste pequeno para abstrair melhor...
> >
> > Ao meu ver, para ganhar no processamento, eu deveria abrir uma thread pra
> > cada senha, porque se o john retorna senhas mais rapidos que meu coproc
> > testa o rar, eu teria um gargalo, correto?
> >
> > Para aumentar esse processamento para um cluster, ai sim talvez entre o
> SSH
> > Cluster que o @Leslie citou...
> >
> > Não sei se eh o sono que eu cheguei da faculdade ou se devo ainda reler e
> > refazer os exemplos do coproc..
> >
> > B
> > om pra quem interessou no assunto/estudo, vamos lá.
> >
> > Boa noite pros amigos.
> >
> >
> >
> > --
> > Atenciosamente,
> > *Petterson Faria*
> >
> > "Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun
> Tzu)
> >
> >
> >
> > 2013/4/15 Petterson Faria <address@hidden>
> >
> > > O estudo surgiu de uma necessidade, e como tudo tem jeito no shell
> pensei
> > > em como fazer isso.
> > > Eu estava tentando recuperar uma senha de um arquivo .rar usando o
> > > programa www.cRARk.net
> > > Dai vi uma opção de usar o john the ripper com shell pra quebrar.
> > > Queria executar esse script mas distribuir no cluster para ganhar no
> > > processamento.
> > > Vou favoritar todos links passados, para ler com calma, que a coisa
> não é
> > > tão simples.
> > > Obrigado a todos pelas respostas.
> > >
> > >
> > > --
> > > Atenciosamente,
> > > *Petterson Faria*
> > >
> > > "Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun
> > Tzu)
> > >
> > >
> > >
> > > 2013/4/15 Tiago Peczenyj <address@hidden>
> > >
> > >> **
> > >>
> > >>
> > >> Se o objetivo é processar uma massa grande de dados é possivel usar
> > hadoop
> > >> + shell scripts
> > >>
> > >>
> > >>
> >
> http://blog.pfa-labs.com/2010/11/using-hadoop-streaming-and-bash-scripts.html
> > >>
> > >> MAS tudo é um grande depende. Existem muitas ferramentas nesse ramo,
> > cada
> > >> uma pode ser mais ou menos apropriada para um tipo de problema.
> > >>
> > >>
> > >> 2013/4/15 Leslie Watter <address@hidden>
> > >>
> > >> > Peterson,
> > >> >
> > >> > Qual o teu objetivo com o script shell ??
> > >> >
> > >> > Processar uma massa de dados gigante ? Ai não sei se vale a pena
> usar
> > o
> > >> > shell pra fazer isso, uma vez que um programa em C/C++ +
> > >> > openmpi/lanmpi/whatever pode ser muitas ordens de grandeza mais
> > >> rápido...
> > >> >
> > >> > Executar o mesmo comando em várias máquinas ? (veja o clusterssh ---
> > >> > http://sourceforge.net/projects/clusterssh/)
> > >> >
> > >> > []s
> > >> >
> > >> > LEslie
> > >> >
> > >> >
> > >> > 2013/4/14 Petterson Faria <address@hidden>
> > >> >
> > >> > > **
> > >> > >
> > >> > >
> > >> > > Eu procurei hoje sobre executar um script shell num cluster de
> > >> > > processamento, entao vi que o "programa" deve suportar MPI para
> > poder
> > >> ser
> > >> > > paralelizado e tal.
> > >> > >
> > >> > > Entao achei esse MPIShell:
> > >> > > http://www.lrz.de/services/software/programmierung/mpish/
> > >> > >
> > >> > > Alguem aqui ja pesquisou ou usou algo parecido?
> > >> > > Vi que o john the ripper suporta mpi, se eu rodar ele via shell, e
> > meu
> > >> > > shell for o bash padrao, entao ele não distribuiria o
> processamento?
> > >> > >
> > >> > > Não sei se fui claro quanto a duvida, mas resumindo, eu queria
> usar
> > >> mais
> > >> > de
> > >> > > uma maquina para processar um script shell.
> > >> > >
> > >> > > --
> > >> > > Atenciosamente,
> > >> > > *Petterson Faria*
> > >> > >
> > >> > > "Há momentos em que a maior sabedoria, é parecer não saber nada"
> > (Sun
> > >> > Tzu)
> > >> > >
> > >> > > [As partes desta mensagem que não continham texto foram removidas]
> > >> > >
> > >> > >
> > >> > >
> > >> >
> > >> >
> > >> >
> > >> > --
> > >> > Leslie H. Watter
> > >> >
> > >> >
> > >> > [As partes desta mensagem que não continham texto foram removidas]
> > >> >
> > >> >
> > >> >
> > >> > ------------------------------------
> > >> >
> > >> > ----------------------------------------------------------
> > >> > Esta lista não admite a abordagem de outras liguagens de
> programação,
> > >> como
> > >> > perl, C etc. Quem insistir em não seguir esta regra será moderado
> sem
> > >> > prévio aviso.
> > >> > ----------------------------------------------------------
> > >> > Sair da lista: address@hidden
> > >>
> > >> > ----------------------------------------------------------
> > >> > Esta lista é moderada de acordo com o previsto em
> > >> > http://www.listas-discussao.cjb.net
> > >> > ----------------------------------------------------------
> > >> > Servidor Newsgroup da lista: news.gmane.org
> > >> > Grupo: gmane.org.user-groups.programming.shell.brazil
> > >> >
> > >> > Links do Yahoo! Grupos
> > >> >
> > >> >
> > >> >
> > >>
> > >> --
> > >> Tiago B. Peczenyj
> > >> Linux User #405772
> > >>
> > >> http://about.me/peczenyj
> > >>
> > >>
> > >> [As partes desta mensagem que não continham texto foram removidas]
> > >>
> > >>
> > >>
> > >
> > >
> >
> >
> > [As partes desta mensagem que não continham texto foram removidas]
> >
> >
> >
> > ------------------------------------
> >
> > ----------------------------------------------------------
> > Esta lista não admite a abordagem de outras liguagens de programação,
> como
> > perl, C etc. Quem insistir em não seguir esta regra será moderado sem
> > prévio aviso.
> > ----------------------------------------------------------
> > Sair da lista: address@hidden
> > ----------------------------------------------------------
> > Esta lista é moderada de acordo com o previsto em
> > http://www.listas-discussao.cjb.net
> > ----------------------------------------------------------
> > Servidor Newsgroup da lista: news.gmane.org
> > Grupo: gmane.org.user-groups.programming.shell.brazil
> >
> > Links do Yahoo! Grupos
> >
> >
> >
>
> --
> Leslie H. Watter
>
> [As partes desta mensagem que não continham texto foram removidas]
>
>  
>



-- 
[]'s
Alfredo Casanova
Linux User #228230
msn: address@hidden
tel: +55 61 9655 9619


[As partes desta mensagem que não continham texto foram removidas]