[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » grid

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
Next revision Both sides next revision
grid [2008/04/07 23:25]
ufal 		grid [2008/10/20 15:07]
novak
Line 18: Line 18:
  
 Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat. Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat.
 +
  
  
Line 62: Line 63:
 qsub -S /bin/bash qsub -S /bin/bash
   # když chcete, aby skript běžel v bashi   # když chcete, aby skript běžel v bashi
 +qsub -V
 +  # když chcete předat proměnné prostředí
 qdel all qdel all
   # když chcete zrušit všechny své joby (rušit cizí nesmíte)   # když chcete zrušit všechny své joby (rušit cizí nesmíte)
Line 68: Line 71:
 ** V.N.: "qdel all" mi nefunguje, nahradil jsem za:** ** V.N.: "qdel all" mi nefunguje, nahradil jsem za:**
    qdel "*"    qdel "*"
 +
 +
  
  
Line 82: Line 87:
   * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí.   * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí.
   * Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data.   * Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data.
 +  * Informovat SGE, kolik paměti úloha žere, aby na strojích nedošla paměť: <code>qsub -l mf=10g …</code>
 +
  
 Víc pravidel není. Víc pravidel není.
  
 +===== Slušné chování =====
 +
 +Pokud chci spouštět úlohy, které poběží dlouhou dobu (hodiny, dny), nepustím je všechny najednou, aby cluster mohli využívat i ostatní.
  
 ===== Triky a opentlení ===== ===== Triky a opentlení =====
Line 182: Line 192:
 fi fi
 </code> </code>
 +
 +
 +
 +
 +
 +===== Synchronizace úloh (v Perlu) =====
 +
 +Pokud chci paralelizovat část úlohy (zde ''muj_skript.pl''), obvykle potřebuju po provedení paralelní části posbírat výsledky a hlavně počkat na dokončení všech paralelních větví. Jak na to jednoduše:
 +
 +  * Obalím svůj skript pro běh na gridu – vytvořím ''obaleno.sh'':
 +    <code>
 +#!/bin/bash
 +. /net/projects/SGE/user/sge_profile >/dev/null
 +
 +qrsh -cwd -V -p -50 -l mf=5g -now no 'renice 10 $$ >/dev/null; ./muj_skript.pl $@'
 +</code>
 +  * Ve svém hlavním skriptu ho pak zavolám a posbírám výsledky:
 +    <code>
 +use FileHandle;
 +use IPC::Open2;
 +use threads;
 +use threads::shared;
 +my @threads;
 +my @results;
 +share(@results);
 +for (@inputs)   {
 +    my $t = async {
 +        my $reader; my $writer;
 +        my $pid = open2($reader, $writer, "./obaleno.sh " . $parametry); # Pustime ulohu na gridu
 +        die "Failed to open bipipe" if !$pid;
 +        $writer->autoflush(1); # Muzem zavolat, ale v gridu NEFUNGUJE!!!
 +        print $writer "$_\n" or die; # Poslem uloze v gridu vstup
 +        $writer->close(); # Dulezite, viz o 2 radky vyse
 +        for (<$reader>)    { # Posbirame vysledky
 +            chomp;
 +            {
 +               lock @results;
 +               push @results, $_;
 +            }
 +        }
 +        waitpid $pid, 0; # Pockame s ukoncenim vlakna na ukonceni ulohy v gridu
 +        return $? >> 8; # Pokusime se ziskat navratovou hodnotu (netestoval jsem)
 +    };
 +    push @threads, $t;
 +}
 +for (@threads)  { # Pockame, az to vsichni dodelaji
 +    die "Child exited with non-zero exit code" if $_->join();
 +}
 +</code>
 +
 +Poznámky: 
 +  * Pokud lze všechno předat parametry, nemusí se otevírat obousměrná roura a situace bude jednodušší
 +  * Pokud ''muj_skript.pl'' začne psát na výstup dřív, než přečetl všechen vstup, dojde k deadlocku. Lze vyřešit obalením příkazy ''cat'' v ''obaleno.sh''.
 +  * Celý příklad je k vidění v Czengu od V.N.
 +

[ Back to the navigation ] [ Back to the content ]