Re: [shell-script] shell em cluster

[Petterson Faria]

Vamos trocar ideias.

Testando os exemplos do coproc, no blog do Julio, estou pensando...

Objetivo: Testar senha do arquuivo.rar
Comando para testar: rar e -p${senha} arquivo.rar
condição de saida: if [ $? -eq 0 ]

Se eu crio um coproc que vai receber as senhas geradas pelo john the
ripper, e executar o comando de teste, eu deveria criar um segundo coproc
para validar o resultado do comando? Para não "perder tempo" validando
dentro da thread que testa, correto?
Valeria ter uma thread que executa e testa, ou uma para cada funcao?
Criar logo umas 12 threads e passar na ordem? "for i in {1..12}"

Dai eu pegaria o john the ripper, e mandaria ele gerar pra mim as senhas e
ia jogando as saidas para as coproc processarem.

Vou fazer um teste pequeno para abstrair melhor...

Ao meu ver, para ganhar no processamento, eu deveria abrir uma thread pra
cada senha, porque se o john retorna senhas mais rapidos que meu coproc
testa o rar, eu teria um gargalo, correto?

Para aumentar esse processamento para um cluster, ai sim talvez entre o SSH
Cluster que o @Leslie citou...

Não sei se eh o sono que eu cheguei da faculdade ou se devo ainda reler e
refazer os exemplos do coproc..

B
om pra quem interessou no assunto/estudo, vamos lá.

Boa noite pros amigos.



--
Atenciosamente,
*Petterson Faria*

"Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun Tzu)



2013/4/15 Petterson Faria <address@hidden>

> O estudo surgiu de uma necessidade, e como tudo tem jeito no shell pensei
> em como fazer isso.
> Eu estava tentando recuperar uma senha de um arquivo .rar usando o
> programa www.cRARk.net
> Dai vi uma opção de usar o john the ripper com shell pra quebrar.
> Queria executar esse script mas distribuir no cluster para ganhar no
> processamento.
> Vou favoritar todos links passados, para ler com calma, que a coisa não é
> tão simples.
> Obrigado a todos pelas respostas.
>
>
> --
> Atenciosamente,
> *Petterson Faria*
>
> "Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun Tzu)
>
>
>
> 2013/4/15 Tiago Peczenyj <address@hidden>
>
>> **
>>
>>
>> Se o objetivo é processar uma massa grande de dados é possivel usar hadoop
>> + shell scripts
>>
>>
>> http://blog.pfa-labs.com/2010/11/using-hadoop-streaming-and-bash-scripts.html
>>
>> MAS tudo é um grande depende. Existem muitas ferramentas nesse ramo, cada
>> uma pode ser mais ou menos apropriada para um tipo de problema.
>>
>>
>> 2013/4/15 Leslie Watter <address@hidden>
>>
>> > Peterson,
>> >
>> > Qual o teu objetivo com o script shell ??
>> >
>> > Processar uma massa de dados gigante ? Ai não sei se vale a pena usar o
>> > shell pra fazer isso, uma vez que um programa em C/C++ +
>> > openmpi/lanmpi/whatever pode ser muitas ordens de grandeza mais
>> rápido...
>> >
>> > Executar o mesmo comando em várias máquinas ? (veja o clusterssh ---
>> > http://sourceforge.net/projects/clusterssh/)
>> >
>> > []s
>> >
>> > LEslie
>> >
>> >
>> > 2013/4/14 Petterson Faria <address@hidden>
>> >
>> > > **
>> > >
>> > >
>> > > Eu procurei hoje sobre executar um script shell num cluster de
>> > > processamento, entao vi que o "programa" deve suportar MPI para poder
>> ser
>> > > paralelizado e tal.
>> > >
>> > > Entao achei esse MPIShell:
>> > > http://www.lrz.de/services/software/programmierung/mpish/
>> > >
>> > > Alguem aqui ja pesquisou ou usou algo parecido?
>> > > Vi que o john the ripper suporta mpi, se eu rodar ele via shell, e meu
>> > > shell for o bash padrao, entao ele não distribuiria o processamento?
>> > >
>> > > Não sei se fui claro quanto a duvida, mas resumindo, eu queria usar
>> mais
>> > de
>> > > uma maquina para processar um script shell.
>> > >
>> > > --
>> > > Atenciosamente,
>> > > *Petterson Faria*
>> > >
>> > > "Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun
>> > Tzu)
>> > >
>> > > [As partes desta mensagem que não continham texto foram removidas]
>> > >
>> > >
>> > >
>> >
>> >
>> >
>> > --
>> > Leslie H. Watter
>> >
>> >
>> > [As partes desta mensagem que não continham texto foram removidas]
>> >
>> >
>> >
>> > ------------------------------------
>> >
>> > ----------------------------------------------------------
>> > Esta lista não admite a abordagem de outras liguagens de programação,
>> como
>> > perl, C etc. Quem insistir em não seguir esta regra será moderado sem
>> > prévio aviso.
>> > ----------------------------------------------------------
>> > Sair da lista: address@hidden
>>
>> > ----------------------------------------------------------
>> > Esta lista é moderada de acordo com o previsto em
>> > http://www.listas-discussao.cjb.net
>> > ----------------------------------------------------------
>> > Servidor Newsgroup da lista: news.gmane.org
>> > Grupo: gmane.org.user-groups.programming.shell.brazil
>> >
>> > Links do Yahoo! Grupos
>> >
>> >
>> >
>>
>> --
>> Tiago B. Peczenyj
>> Linux User #405772
>>
>> http://about.me/peczenyj
>>
>>
>> [As partes desta mensagem que não continham texto foram removidas]
>>
>>  
>>
>
>


[As partes desta mensagem que não continham texto foram removidas]