Re: [shell-script] shell em cluster

[Alfredo Casanova]

tem um script interessante aqui:

https://daemoniolabs.wordpress.com/2012/07/30/quebrando-a-senha-de-arquivos-rar-por-brute-force/


2013/4/16 Alfredo Casanova <address@hidden>

> e tem também o parallel
> http://www.gnu.org/software/parallel/
>
>
>
>
> 2013/4/16 Alfredo Casanova <address@hidden>
>
>> você pode usar o xargs pra paralelizar também
>>
>>
>>
>> 2013/4/16 Leslie Watter <address@hidden>
>>
>>> **
>>>
>>>
>>> Peterson,
>>>
>>> No teu caso, eu faria o seguinte:
>>>
>>> rodaria o john the ripper (já que vc escolheu esse) pra gerar um buzilhão
>>> de senhas em um arquivo.
>>>
>>> faria um for PROC de 1 até n
>>> onde n seria o numero de processos que vc vai duplicar
>>>
>>> para cada processo PROC vc testa nele a linha do arquivo de senhas % proc
>>> (ou seja, só aquelas cujo módulo =0 para o número do processo)
>>>
>>> testa o resultado
>>> se um dos processos encontrar a senha, vc pode matar todos os outros com
>>> um
>>> pkill ou killall
>>> e fazer um echo senha > senha-correta
>>>
>>> e pronto....
>>>
>>> assim vc consegue paralelizar em quantas máquinas quiser ... só usar um
>>> arquivo unico pra cada máquina ...
>>>
>>> []s
>>>
>>> LEslie
>>> PS: a implementação fica como exercício :P
>>>
>>>
>>> 2013/4/15 Petterson Faria <address@hidden>
>>>
>>> > Vamos trocar ideias.
>>> >
>>> > Testando os exemplos do coproc, no blog do Julio, estou pensando...
>>> >
>>> > Objetivo: Testar senha do arquuivo.rar
>>> > Comando para testar: rar e -p${senha} arquivo.rar
>>> > condição de saida: if [ $? -eq 0 ]
>>> >
>>> > Se eu crio um coproc que vai receber as senhas geradas pelo john the
>>> > ripper, e executar o comando de teste, eu deveria criar um segundo
>>> coproc
>>> > para validar o resultado do comando? Para não "perder tempo" validando
>>> > dentro da thread que testa, correto?
>>> > Valeria ter uma thread que executa e testa, ou uma para cada funcao?
>>> > Criar logo umas 12 threads e passar na ordem? "for i in {1..12}"
>>> >
>>> > Dai eu pegaria o john the ripper, e mandaria ele gerar pra mim as
>>> senhas e
>>> > ia jogando as saidas para as coproc processarem.
>>> >
>>> > Vou fazer um teste pequeno para abstrair melhor...
>>> >
>>> > Ao meu ver, para ganhar no processamento, eu deveria abrir uma thread
>>> pra
>>> > cada senha, porque se o john retorna senhas mais rapidos que meu coproc
>>> > testa o rar, eu teria um gargalo, correto?
>>> >
>>> > Para aumentar esse processamento para um cluster, ai sim talvez entre
>>> o SSH
>>> > Cluster que o @Leslie citou...
>>> >
>>> > Não sei se eh o sono que eu cheguei da faculdade ou se devo ainda
>>> reler e
>>> > refazer os exemplos do coproc..
>>> >
>>> > B
>>> > om pra quem interessou no assunto/estudo, vamos lá.
>>> >
>>> > Boa noite pros amigos.
>>> >
>>> >
>>> >
>>> > --
>>> > Atenciosamente,
>>> > *Petterson Faria*
>>> >
>>> > "Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun
>>> Tzu)
>>> >
>>> >
>>> >
>>> > 2013/4/15 Petterson Faria <address@hidden>
>>> >
>>> > > O estudo surgiu de uma necessidade, e como tudo tem jeito no shell
>>> pensei
>>> > > em como fazer isso.
>>> > > Eu estava tentando recuperar uma senha de um arquivo .rar usando o
>>> > > programa www.cRARk.net
>>> > > Dai vi uma opção de usar o john the ripper com shell pra quebrar.
>>> > > Queria executar esse script mas distribuir no cluster para ganhar no
>>> > > processamento.
>>> > > Vou favoritar todos links passados, para ler com calma, que a coisa
>>> não é
>>> > > tão simples.
>>> > > Obrigado a todos pelas respostas.
>>> > >
>>> > >
>>> > > --
>>> > > Atenciosamente,
>>> > > *Petterson Faria*
>>> > >
>>> > > "Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun
>>> > Tzu)
>>> > >
>>> > >
>>> > >
>>> > > 2013/4/15 Tiago Peczenyj <address@hidden>
>>> > >
>>> > >> **
>>> > >>
>>> > >>
>>> > >> Se o objetivo é processar uma massa grande de dados é possivel usar
>>> > hadoop
>>> > >> + shell scripts
>>> > >>
>>> > >>
>>> > >>
>>> >
>>> http://blog.pfa-labs.com/2010/11/using-hadoop-streaming-and-bash-scripts.html
>>> > >>
>>> > >> MAS tudo é um grande depende. Existem muitas ferramentas nesse ramo,
>>> > cada
>>> > >> uma pode ser mais ou menos apropriada para um tipo de problema.
>>> > >>
>>> > >>
>>> > >> 2013/4/15 Leslie Watter <address@hidden>
>>> > >>
>>> > >> > Peterson,
>>> > >> >
>>> > >> > Qual o teu objetivo com o script shell ??
>>> > >> >
>>> > >> > Processar uma massa de dados gigante ? Ai não sei se vale a pena
>>> usar
>>> > o
>>> > >> > shell pra fazer isso, uma vez que um programa em C/C++ +
>>> > >> > openmpi/lanmpi/whatever pode ser muitas ordens de grandeza mais
>>> > >> rápido...
>>> > >> >
>>> > >> > Executar o mesmo comando em várias máquinas ? (veja o clusterssh
>>> ---
>>> > >> > http://sourceforge.net/projects/clusterssh/)
>>> > >> >
>>> > >> > []s
>>> > >> >
>>> > >> > LEslie
>>> > >> >
>>> > >> >
>>> > >> > 2013/4/14 Petterson Faria <address@hidden>
>>> > >> >
>>> > >> > > **
>>> > >> > >
>>> > >> > >
>>> > >> > > Eu procurei hoje sobre executar um script shell num cluster de
>>> > >> > > processamento, entao vi que o "programa" deve suportar MPI para
>>> > poder
>>> > >> ser
>>> > >> > > paralelizado e tal.
>>> > >> > >
>>> > >> > > Entao achei esse MPIShell:
>>> > >> > > http://www.lrz.de/services/software/programmierung/mpish/
>>> > >> > >
>>> > >> > > Alguem aqui ja pesquisou ou usou algo parecido?
>>> > >> > > Vi que o john the ripper suporta mpi, se eu rodar ele via
>>> shell, e
>>> > meu
>>> > >> > > shell for o bash padrao, entao ele não distribuiria o
>>> processamento?
>>> > >> > >
>>> > >> > > Não sei se fui claro quanto a duvida, mas resumindo, eu queria
>>> usar
>>> > >> mais
>>> > >> > de
>>> > >> > > uma maquina para processar um script shell.
>>> > >> > >
>>> > >> > > --
>>> > >> > > Atenciosamente,
>>> > >> > > *Petterson Faria*
>>> > >> > >
>>> > >> > > "Há momentos em que a maior sabedoria, é parecer não saber nada"
>>> > (Sun
>>> > >> > Tzu)
>>> > >> > >
>>> > >> > > [As partes desta mensagem que não continham texto foram
>>> removidas]
>>> > >> > >
>>> > >> > >
>>> > >> > >
>>> > >> >
>>> > >> >
>>> > >> >
>>> > >> > --
>>> > >> > Leslie H. Watter
>>> > >> >
>>> > >> >
>>> > >> > [As partes desta mensagem que não continham texto foram removidas]
>>> > >> >
>>> > >> >
>>> > >> >
>>> > >> > ------------------------------------
>>> > >> >
>>> > >> > ----------------------------------------------------------
>>> > >> > Esta lista não admite a abordagem de outras liguagens de
>>> programação,
>>> > >> como
>>> > >> > perl, C etc. Quem insistir em não seguir esta regra será moderado
>>> sem
>>> > >> > prévio aviso.
>>> > >> > ----------------------------------------------------------
>>> > >> > Sair da lista: address@hidden
>>> > >>
>>> > >> > ----------------------------------------------------------
>>> > >> > Esta lista é moderada de acordo com o previsto em
>>> > >> > http://www.listas-discussao.cjb.net
>>> > >> > ----------------------------------------------------------
>>> > >> > Servidor Newsgroup da lista: news.gmane.org
>>> > >> > Grupo: gmane.org.user-groups.programming.shell.brazil
>>> > >> >
>>> > >> > Links do Yahoo! Grupos
>>> > >> >
>>> > >> >
>>> > >> >
>>> > >>
>>> > >> --
>>> > >> Tiago B. Peczenyj
>>> > >> Linux User #405772
>>> > >>
>>> > >> http://about.me/peczenyj
>>> > >>
>>> > >>
>>> > >> [As partes desta mensagem que não continham texto foram removidas]
>>> > >>
>>> > >>
>>> > >>
>>> > >
>>> > >
>>> >
>>> >
>>> > [As partes desta mensagem que não continham texto foram removidas]
>>> >
>>> >
>>> >
>>> > ------------------------------------
>>> >
>>> > ----------------------------------------------------------
>>> > Esta lista não admite a abordagem de outras liguagens de programação,
>>> como
>>> > perl, C etc. Quem insistir em não seguir esta regra será moderado sem
>>> > prévio aviso.
>>> > ----------------------------------------------------------
>>> > Sair da lista: address@hidden
>>> > ----------------------------------------------------------
>>> > Esta lista é moderada de acordo com o previsto em
>>> > http://www.listas-discussao.cjb.net
>>> > ----------------------------------------------------------
>>> > Servidor Newsgroup da lista: news.gmane.org
>>> > Grupo: gmane.org.user-groups.programming.shell.brazil
>>> >
>>> > Links do Yahoo! Grupos
>>> >
>>> >
>>> >
>>>
>>> --
>>> Leslie H. Watter
>>>
>>> [As partes desta mensagem que não continham texto foram removidas]
>>>
>>>  
>>>
>>
>>
>>
>> --
>> []'s
>> Alfredo Casanova
>> Linux User #228230
>> msn: address@hidden
>> tel: +55 61 9655 9619
>>
>
>
>
> --
> []'s
> Alfredo Casanova
> Linux User #228230
> msn: address@hidden
> tel: +55 61 9655 9619
>



-- 
[]'s
Alfredo Casanova
Linux User #228230
msn: address@hidden
tel: +55 61 9655 9619


[As partes desta mensagem que não continham texto foram removidas]