Differences

This shows you the differences between two versions of the page.

--- grid [2007/09/12 19:22]
zeman Už to dávno nejsou jenom soly.
+++ grid [2008/03/26 12:59]
zeman Danovo opentlení pro tcsh.
@@ Line 3: / Line 3: @@
 Cluster (shluk) neboli grid (mříž, síť) je skupina počítačů, na kterých běží software pro automatické umístění vašeho výpočtu na dosud nevytížený stroj. Cluster na ÚFALu se nazývá LRC (Linguistic Research Cluster) a clustrovací software na něm je Sun Grid Engine. Do clusteru jsou zařazené tyto počítače:
+  * lrc.ufal.hide.ms.mff.cuni.cz: hlava clusteru. To znamená, že neslouží k výpočtům, ale ke správě fronty výpočtů, které se odesílají na výpočetní stroje v clusteru. Na hlavě se nemají pouštět žádné náročné výpočty a naopak na ostatní stroje v clusteru se mají výpočty odesílat výhradně prostřednictvím hlavy. Hlava má 2 procesory Intel Pentium D 3 GHz a 1 GB paměti.
   * fireball1 až 10 (na každém 4 procesory Intel Xeon 3 GHz, 16 GB paměti, Fedora 7)
   * tauri1 až 10 (na každém 4 procesory Intel Xeon 3 GHz, 16 GB paměti, Fedora 7)
@@ Line 13: / Line 14: @@
   * poslat mnoho úloh k řešení najednou, úlohy budou ale spuštěny teprve, když na to bude čas
   * "spravedlivě" dělit strojový čas mezi zájemce
+===== Jak začít =====
 Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat.
-===== Pravidla pro správné používání clusteru =====
-Základní pravidlo, které musíme všichni ctít, aby SGE plnilo svou úlohu dobře:
-  * Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.)
-  * Pokud možno používat ''nice''.
-  * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí.
-Víc pravidel není.
 ===== Ukázka užití SGE =====
@@ Line 32: / Line 25: @@
 <code>
-ssh sol7
+ssh lrc
-  # přihlašte se na nějaký ze solů
+  # přihlašte se na hlavu clusteru
 echo "hostname; pwd" > skript.sh
   # vyrobte skript, který popisuje, co má úloha udělat
@@ Line 41: / Line 34: @@
   # Ale dodatečné parametry zařídily:
   #  -cwd  ... skript bude spuštěn v aktuálním adresáři (a nikoli homu)
+  #  -V    ... proměnné z vašeho prostředí budou zkopírovány do prostředí skriptu
   #  -j y  ... standardní a chybový výstup bude spojen (jako to dělá nohup)
   # Pořadí parametrů **je** důležité, co je za jménem skriptu, to se předává skriptu.
@@ Line 71: / Line 65: @@
   # když chcete zrušit všechny své joby (rušit cizí nesmíte)
 </code>
+** V.N.: "qdel all" mi nefunguje, nahradil jsem za:**
+   qdel "*"
+===== Pravidla pro správné používání clusteru =====
+Základní pravidlo, které musíme všichni ctít, aby SGE plnilo svou úlohu dobře:
+  * Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.)
+Další doporučení:
+  * Pokud možno používat ''nice''.
+      *  Dotaz: jak se kombinuje ''nice'' s ''qsub''em? SGE je snad nyní nastaveno tak, že vše bude nicenuté. Každopádně je dobré do submitovaného skriptu na začátek napsat ''renice 10 $$''.
+  * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí.
+  * Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data.
+Víc pravidel není.
 ===== Triky a opentlení =====
-==== ~bojar/tools/qsubmit ====
+==== ~bojar/tools/shell/qsubmit ====
 qsubmit je jako qsub, ale příjemnější:
-  * nemusíte vyrábět skript, vyrobí ho sám
+  * nemusíte vyrábět skript, vyrobí ho sám (pozn.: nemusíte vyrábět skript, když použijete přepínač ''-b y'')
   * nemusíte připisovat ''-cwd -j y -S /bin/bash''
 <code>
-~bojar/tools/qsubmit "bashovy_prikaz < prismeruj > presmeruj 2> atd..."
+~bojar/tools/shell/qsubmit "bashovy_prikaz < prismeruj > presmeruj 2> atd..."
 </code>
+==== ~zeman/bin/qsub.csh ====
+Podobná věc pro ''tcsh''. Pokud bychom chtěli použít přesměrování standardního vstupu a výstupu, musíme ho dát do uvozovek nebo apostrofů, protože jinak se o něm ''qsub.csh'' nedozví, do skriptu k odeslání to neopíše a naopak jeho standardní vstup a výstup bude přesměrován. V přesměrování i v případných dalších argumentech, kde se vyskytují cesty k souborům, je vhodné použít úplné cesty. Pozor také na to, aby šlo o soubory a složky viditelné z celé sítě (tedy ne ve vašem ''/mnt/h/tmp'', například).
+<code tcsh>setenv SCRIPTFILE /tmp/`basename $1`.$$.csh
+echo $* > $SCRIPTFILE
+echo qsub -cwd -V -S /bin/tcsh -m e $SCRIPTFILE
+qsub -cwd -V -S /bin/tcsh -m e $SCRIPTFILE
+qstat -u '*'
+rm $SCRIPTFILE</code>
 ===== Časté a záludné problémy =====
@@ Line 92: / Line 115: @@
 Pokud se nemýlím, není dovoleno použít ''qsub'' ve skriptu/programu, který je už přes ''qsub'' spuštěn.
 ==== Proměnné prostředí, nastavení vlastního prostředí ====
@@ Line 98: / Line 123: @@
 Zatím nevím přesně, které ze souborů ''.login'', ''.bashrc'' ap. SGE spouští, jestli vůbec nějaké. Naopak, experimentálně jsem ověřil, že ''qsub -S /bin/bash skript'' nenačte žádný z ''.bashrc'', ''.bash_profile'', ''.login'', ani ''.profile''.
+Z toho například také vyplývá, že bez ošetření se jako **Java** používá
+   java version "1.5.0"
+   gij (GNU libgcj) version 4.1.2 20070502 (Red Hat 4.1.2-12)
+Pokud chcete submittovaný program pouštět ve svém oblíbeném prostředí (např. nastavení ''PATH''), musíte v obalujícím skriptu příslušné ''.bash*'' načíst. Vždy je ale bezpečnější všude psát plné cesty, než spoléhat na PATH.
 ==== Jiný shell ====

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences