Re: [shell-script] shell em cluster

[Alfredo Casanova]

e tem também o parallel
http://www.gnu.org/software/parallel/




2013/4/16 Alfredo Casanova <address@hidden>

> você pode usar o xargs pra paralelizar também
>
>
>
> 2013/4/16 Leslie Watter <address@hidden>
>
>> **
>>
>>
>> Peterson,
>>
>> No teu caso, eu faria o seguinte:
>>
>> rodaria o john the ripper (já que vc escolheu esse) pra gerar um buzilhão
>> de senhas em um arquivo.
>>
>> faria um for PROC de 1 até n
>> onde n seria o numero de processos que vc vai duplicar
>>
>> para cada processo PROC vc testa nele a linha do arquivo de senhas % proc
>> (ou seja, só aquelas cujo módulo =0 para o número do processo)
>>
>> testa o resultado
>> se um dos processos encontrar a senha, vc pode matar todos os outros com
>> um
>> pkill ou killall
>> e fazer um echo senha > senha-correta
>>
>> e pronto....
>>
>> assim vc consegue paralelizar em quantas máquinas quiser ... só usar um
>> arquivo unico pra cada máquina ...
>>
>> []s
>>
>> LEslie
>> PS: a implementação fica como exercício :P
>>
>>
>> 2013/4/15 Petterson Faria <address@hidden>
>>
>> > Vamos trocar ideias.
>> >
>> > Testando os exemplos do coproc, no blog do Julio, estou pensando...
>> >
>> > Objetivo: Testar senha do arquuivo.rar
>> > Comando para testar: rar e -p${senha} arquivo.rar
>> > condição de saida: if [ $? -eq 0 ]
>> >
>> > Se eu crio um coproc que vai receber as senhas geradas pelo john the
>> > ripper, e executar o comando de teste, eu deveria criar um segundo
>> coproc
>> > para validar o resultado do comando? Para não "perder tempo" validando
>> > dentro da thread que testa, correto?
>> > Valeria ter uma thread que executa e testa, ou uma para cada funcao?
>> > Criar logo umas 12 threads e passar na ordem? "for i in {1..12}"
>> >
>> > Dai eu pegaria o john the ripper, e mandaria ele gerar pra mim as
>> senhas e
>> > ia jogando as saidas para as coproc processarem.
>> >
>> > Vou fazer um teste pequeno para abstrair melhor...
>> >
>> > Ao meu ver, para ganhar no processamento, eu deveria abrir uma thread
>> pra
>> > cada senha, porque se o john retorna senhas mais rapidos que meu coproc
>> > testa o rar, eu teria um gargalo, correto?
>> >
>> > Para aumentar esse processamento para um cluster, ai sim talvez entre o
>> SSH
>> > Cluster que o @Leslie citou...
>> >
>> > Não sei se eh o sono que eu cheguei da faculdade ou se devo ainda reler
>> e
>> > refazer os exemplos do coproc..
>> >
>> > B
>> > om pra quem interessou no assunto/estudo, vamos lá.
>> >
>> > Boa noite pros amigos.
>> >
>> >
>> >
>> > --
>> > Atenciosamente,
>> > *Petterson Faria*
>> >
>> > "Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun
>> Tzu)
>> >
>> >
>> >
>> > 2013/4/15 Petterson Faria <address@hidden>
>> >
>> > > O estudo surgiu de uma necessidade, e como tudo tem jeito no shell
>> pensei
>> > > em como fazer isso.
>> > > Eu estava tentando recuperar uma senha de um arquivo .rar usando o
>> > > programa www.cRARk.net
>> > > Dai vi uma opção de usar o john the ripper com shell pra quebrar.
>> > > Queria executar esse script mas distribuir no cluster para ganhar no
>> > > processamento.
>> > > Vou favoritar todos links passados, para ler com calma, que a coisa
>> não é
>> > > tão simples.
>> > > Obrigado a todos pelas respostas.
>> > >
>> > >
>> > > --
>> > > Atenciosamente,
>> > > *Petterson Faria*
>> > >
>> > > "Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun
>> > Tzu)
>> > >
>> > >
>> > >
>> > > 2013/4/15 Tiago Peczenyj <address@hidden>
>> > >
>> > >> **
>> > >>
>> > >>
>> > >> Se o objetivo é processar uma massa grande de dados é possivel usar
>> > hadoop
>> > >> + shell scripts
>> > >>
>> > >>
>> > >>
>> >
>> http://blog.pfa-labs.com/2010/11/using-hadoop-streaming-and-bash-scripts.html
>> > >>
>> > >> MAS tudo é um grande depende. Existem muitas ferramentas nesse ramo,
>> > cada
>> > >> uma pode ser mais ou menos apropriada para um tipo de problema.
>> > >>
>> > >>
>> > >> 2013/4/15 Leslie Watter <address@hidden>
>> > >>
>> > >> > Peterson,
>> > >> >
>> > >> > Qual o teu objetivo com o script shell ??
>> > >> >
>> > >> > Processar uma massa de dados gigante ? Ai não sei se vale a pena
>> usar
>> > o
>> > >> > shell pra fazer isso, uma vez que um programa em C/C++ +
>> > >> > openmpi/lanmpi/whatever pode ser muitas ordens de grandeza mais
>> > >> rápido...
>> > >> >
>> > >> > Executar o mesmo comando em várias máquinas ? (veja o clusterssh
>> ---
>> > >> > http://sourceforge.net/projects/clusterssh/)
>> > >> >
>> > >> > []s
>> > >> >
>> > >> > LEslie
>> > >> >
>> > >> >
>> > >> > 2013/4/14 Petterson Faria <address@hidden>
>> > >> >
>> > >> > > **
>> > >> > >
>> > >> > >
>> > >> > > Eu procurei hoje sobre executar um script shell num cluster de
>> > >> > > processamento, entao vi que o "programa" deve suportar MPI para
>> > poder
>> > >> ser
>> > >> > > paralelizado e tal.
>> > >> > >
>> > >> > > Entao achei esse MPIShell:
>> > >> > > http://www.lrz.de/services/software/programmierung/mpish/
>> > >> > >
>> > >> > > Alguem aqui ja pesquisou ou usou algo parecido?
>> > >> > > Vi que o john the ripper suporta mpi, se eu rodar ele via shell,
>> e
>> > meu
>> > >> > > shell for o bash padrao, entao ele não distribuiria o
>> processamento?
>> > >> > >
>> > >> > > Não sei se fui claro quanto a duvida, mas resumindo, eu queria
>> usar
>> > >> mais
>> > >> > de
>> > >> > > uma maquina para processar um script shell.
>> > >> > >
>> > >> > > --
>> > >> > > Atenciosamente,
>> > >> > > *Petterson Faria*
>> > >> > >
>> > >> > > "Há momentos em que a maior sabedoria, é parecer não saber nada"
>> > (Sun
>> > >> > Tzu)
>> > >> > >
>> > >> > > [As partes desta mensagem que não continham texto foram
>> removidas]
>> > >> > >
>> > >> > >
>> > >> > >
>> > >> >
>> > >> >
>> > >> >
>> > >> > --
>> > >> > Leslie H. Watter
>> > >> >
>> > >> >
>> > >> > [As partes desta mensagem que não continham texto foram removidas]
>> > >> >
>> > >> >
>> > >> >
>> > >> > ------------------------------------
>> > >> >
>> > >> > ----------------------------------------------------------
>> > >> > Esta lista não admite a abordagem de outras liguagens de
>> programação,
>> > >> como
>> > >> > perl, C etc. Quem insistir em não seguir esta regra será moderado
>> sem
>> > >> > prévio aviso.
>> > >> > ----------------------------------------------------------
>> > >> > Sair da lista: address@hidden
>> > >>
>> > >> > ----------------------------------------------------------
>> > >> > Esta lista é moderada de acordo com o previsto em
>> > >> > http://www.listas-discussao.cjb.net
>> > >> > ----------------------------------------------------------
>> > >> > Servidor Newsgroup da lista: news.gmane.org
>> > >> > Grupo: gmane.org.user-groups.programming.shell.brazil
>> > >> >
>> > >> > Links do Yahoo! Grupos
>> > >> >
>> > >> >
>> > >> >
>> > >>
>> > >> --
>> > >> Tiago B. Peczenyj
>> > >> Linux User #405772
>> > >>
>> > >> http://about.me/peczenyj
>> > >>
>> > >>
>> > >> [As partes desta mensagem que não continham texto foram removidas]
>> > >>
>> > >>
>> > >>
>> > >
>> > >
>> >
>> >
>> > [As partes desta mensagem que não continham texto foram removidas]
>> >
>> >
>> >
>> > ------------------------------------
>> >
>> > ----------------------------------------------------------
>> > Esta lista não admite a abordagem de outras liguagens de programação,
>> como
>> > perl, C etc. Quem insistir em não seguir esta regra será moderado sem
>> > prévio aviso.
>> > ----------------------------------------------------------
>> > Sair da lista: address@hidden
>> > ----------------------------------------------------------
>> > Esta lista é moderada de acordo com o previsto em
>> > http://www.listas-discussao.cjb.net
>> > ----------------------------------------------------------
>> > Servidor Newsgroup da lista: news.gmane.org
>> > Grupo: gmane.org.user-groups.programming.shell.brazil
>> >
>> > Links do Yahoo! Grupos
>> >
>> >
>> >
>>
>> --
>> Leslie H. Watter
>>
>> [As partes desta mensagem que não continham texto foram removidas]
>>
>>  
>>
>
>
>
> --
> []'s
> Alfredo Casanova
> Linux User #228230
> msn: address@hidden
> tel: +55 61 9655 9619
>



-- 
[]'s
Alfredo Casanova
Linux User #228230
msn: address@hidden
tel: +55 61 9655 9619


[As partes desta mensagem que não continham texto foram removidas]