Differences

This shows you the differences between two versions of the page.

--- grid [2007/09/12 21:18]
zeman Hlava clusteru.
+++ grid [2008/10/20 15:03]
novak
@@ Line 4: / Line 4: @@
   * lrc.ufal.hide.ms.mff.cuni.cz: hlava clusteru. To znamená, že neslouží k výpočtům, ale ke správě fronty výpočtů, které se odesílají na výpočetní stroje v clusteru. Na hlavě se nemají pouštět žádné náročné výpočty a naopak na ostatní stroje v clusteru se mají výpočty odesílat výhradně prostřednictvím hlavy. Hlava má 2 procesory Intel Pentium D 3 GHz a 1 GB paměti.
-  * fireball1 až 10 (na každém 4 procesory Intel Xeon 3 GHz, 16 GB paměti, Fedora 7)
+  * fireball1 až 10 (4xcore, 16 GB RAM, Fedora 7, 2 procesory Intel Xeon 3 GHz)
-  * tauri1 až 10 (na každém 4 procesory Intel Xeon 3 GHz, 16 GB paměti, Fedora 7)
+  * tauri1 až 10 (4xcore, 16 GB RAM, Fedora 7, 2 procesory Intel Xeon 3 GHz)
-  * orion1 až 10 (na každém 4 procesory Intel Xeon 2 GHz, 16 GB paměti, 12.9.2007 naplánovaná odstávka na reinstalaci)
+  * orion1 až 10 (4xcore, 16 GB RAM, Fedora 7, 2 procesory Intel Xeon 2 GHz)
-  * sol1 až 10 (na každém 4 procesory AMD Opteron Dual Core 2 GHz, 16 GB paměti, 12.9.2007 naplánovaná odstávka na reinstalaci)
+  * sol1 až 13 (4xcore, 16 GB RAM, Fedora 7, 2 procesory AMD Opteron Dual Core 2 GHz)
 Frontovací systém umožňuje:
@@ Line 14: / Line 14: @@
   * poslat mnoho úloh k řešení najednou, úlohy budou ale spuštěny teprve, když na to bude čas
   * "spravedlivě" dělit strojový čas mezi zájemce
+===== Jak začít =====
 Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat.
-===== Pravidla pro správné používání clusteru =====
-Základní pravidlo, které musíme všichni ctít, aby SGE plnilo svou úlohu dobře:
-  * Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.)
-  * Pokud možno používat ''nice''.
-  * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí.
-Víc pravidel není.
 ===== Ukázka užití SGE =====
@@ Line 42: / Line 35: @@
   # Ale dodatečné parametry zařídily:
   #  -cwd  ... skript bude spuštěn v aktuálním adresáři (a nikoli homu)
+  #  -V    ... proměnné z vašeho prostředí budou zkopírovány do prostředí skriptu
   #  -j y  ... standardní a chybový výstup bude spojen (jako to dělá nohup)
   # Pořadí parametrů **je** důležité, co je za jménem skriptu, to se předává skriptu.
@@ Line 69: / Line 63: @@
 qsub -S /bin/bash
   # když chcete, aby skript běžel v bashi
+qsub -V
+  # když chcete předat proměnné prostředí
 qdel all
   # když chcete zrušit všechny své joby (rušit cizí nesmíte)
 </code>
+** V.N.: "qdel all" mi nefunguje, nahradil jsem za:**
+   qdel "*"
+===== Pravidla pro správné používání clusteru =====
+Základní pravidlo, které musíme všichni ctít, aby SGE plnilo svou úlohu dobře:
+  * Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.)
+Další doporučení:
+  * Pokud možno používat ''nice''.
+      *  Dotaz: jak se kombinuje ''nice'' s ''qsub''em? SGE je snad nyní nastaveno tak, že vše bude nicenuté. Každopádně je dobré do submitovaného skriptu na začátek napsat ''renice 10 $$''.
+  * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí.
+  * Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data.
+  * Informovat SGE, kolik paměti úloha žere, aby na strojích nedošla paměť: <code>qsub -l mf=10g …</code>
+Víc pravidel není.
+===== Slušné chování =====
+Pokud chci spouštět úlohy, které poběží dlouhou dobu (hodiny, dny), nepustím je všechny najednou, aby cluster mohli využívat i ostatní.
 ===== Triky a opentlení =====
-==== ~bojar/tools/qsubmit ====
+==== ~bojar/tools/shell/qsubmit ====
 qsubmit je jako qsub, ale příjemnější:
-  * nemusíte vyrábět skript, vyrobí ho sám
+  * nemusíte vyrábět skript, vyrobí ho sám (pozn.: nemusíte vyrábět skript, když použijete přepínač ''-b y'')
   * nemusíte připisovat ''-cwd -j y -S /bin/bash''
 <code>
-~bojar/tools/qsubmit "bashovy_prikaz < prismeruj > presmeruj 2> atd..."
+~bojar/tools/shell/qsubmit "bashovy_prikaz < prismeruj > presmeruj 2> atd..."
 </code>
+==== ~zeman/bin/qsub.csh ====
+Podobná věc pro ''tcsh''. Pokud bychom chtěli použít přesměrování standardního vstupu a výstupu, musíme ho dát do uvozovek nebo apostrofů, protože jinak se o něm ''qsub.csh'' nedozví, do skriptu k odeslání to neopíše a naopak jeho standardní vstup a výstup bude přesměrován. V přesměrování i v případných dalších argumentech, kde se vyskytují cesty k souborům, je vhodné použít úplné cesty. Pozor také na to, aby šlo o soubory a složky viditelné z celé sítě (tedy ne ve vašem ''/mnt/h/tmp'', například).
+<code tcsh>setenv SCRIPTFILE /tmp/`basename $1`.$$.csh
+echo $* > $SCRIPTFILE
+echo $*
+echo qsub -cwd -V -S /bin/tcsh -m e $SCRIPTFILE
+qsub -cwd -V -S /bin/tcsh -m e $SCRIPTFILE
+qstat -u '*'
+rm $SCRIPTFILE</code>
+Příklad spuštění:
+<code>qsub.csh $PARSER/train.pl "< $cesta/${xx}train.csts > $cesta/${xx}.1.stat"</code>
+(Kdybych místo uvozovek použil apostrofy, nerozbalily by se mi proměnné. První argument (název skriptu) klidně mohl být v uvozovkách spolu s přesměrováním. Dal jsem ho ven jen proto, že potom ''qsub.csh'' podle něj pojmenuje job ve frontě.)
 ===== Časté a záludné problémy =====
@@ Line 93: / Line 133: @@
 Pokud se nemýlím, není dovoleno použít ''qsub'' ve skriptu/programu, který je už přes ''qsub'' spuštěn.
 ==== Proměnné prostředí, nastavení vlastního prostředí ====
@@ Line 99: / Line 141: @@
 Zatím nevím přesně, které ze souborů ''.login'', ''.bashrc'' ap. SGE spouští, jestli vůbec nějaké. Naopak, experimentálně jsem ověřil, že ''qsub -S /bin/bash skript'' nenačte žádný z ''.bashrc'', ''.bash_profile'', ''.login'', ani ''.profile''.
+Z toho například také vyplývá, že bez ošetření se jako **Java** používá
+   java version "1.5.0"
+   gij (GNU libgcj) version 4.1.2 20070502 (Red Hat 4.1.2-12)
+Pokud chcete submittovaný program pouštět ve svém oblíbeném prostředí (např. nastavení ''PATH''), musíte v obalujícím skriptu příslušné ''.bash*'' načíst. Vždy je ale bezpečnější všude psát plné cesty, než spoléhat na PATH.
 ==== Jiný shell ====
@@ Line 143: / Line 192: @@
 fi
 </code>
+===== Synchronizace úloh (v Perlu) =====
+Pokud chci paralelizovat část úlohy (zde ''muj_skript.pl''), obvykle potřebuju po provedení paralelní části posbírat výsledky a hlavně počkat na dokončení všech paralelních větví. Jak na to jednoduše:
+  * Obalím svůj skript pro běh na gridu – vytvořím ''obaleno.sh'':
+    <code>
+#!/bin/bash
+. /net/projects/SGE/user/sge_profile >/dev/null
+qrsh -cwd -V -p -50 -l mf=5g -now no 'renice 10 $$ >/dev/null; ./muj_skript.pl'
+</code>
+  * Ve svém hlavním skriptu ho pak zavolám a posbírám výsledky:
+    <code>
+use threads;
+use threads::shared;
+my @threads;
+my @results;
+share(@results);
+for (@inputs)   {
+    my $t = async {
+        my $reader; my $writer;
+        my $pid = open2($reader, $writer, "./obaleno.sh " . $parametry); # Pustime ulohu na gridu
+        die "Failed to open bipipe" if !$pid;
+        $writer->autoflush(1); # Muzem zavolat, ale v gridu NEFUNGUJE!!!
+        print $writer "$_\n" or die; # Poslem uloze v gridu vstup
+        $writer->close(); # Dulezite, viz o 2 radky vyse
+        for (<$reader>)    { # Posbirame vysledky
+            chomp;
+            {
+               lock @results;
+               push @results, $_;
+            }
+        }
+        waitpid $pid, 0; # Pockame s ukoncenim vlakna na ukonceni ulohy v gridu
+        return $? >> 8; # Pokusime se ziskat navratovou hodnotu (netestoval jsem)
+    };
+    push @threads, $t;
+}
+for (@threads)  { # Pockame, az to vsichni dodelaji
+    die "Child exited with non-zero exit code" if $_->join();
+}
+</code>
+Poznámky:
+  * Pokud lze všechno předat parametry, nemusí se otevírat obousměrná roura a situace bude jednodušší
+  * Pokud ''muj_skript.pl'' začne psát na výstup dřív, než přečetl všechen vstup, dojde k deadlocku. Lze vyřešit obalením příkazy ''cat'' v ''obaleno.sh''.
+  * Celý příklad je použit v Czengu od V.N.

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences