[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » grid

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
Next revision Both sides next revision
grid [2007/09/24 03:59]
bojar nice a qsub, paralelni pristup ke sdilenym diskum 		grid [2008/04/07 23:25]
ufal
Line 4: Line 4:
  
   * lrc.ufal.hide.ms.mff.cuni.cz: hlava clusteru. To znamená, že neslouží k výpočtům, ale ke správě fronty výpočtů, které se odesílají na výpočetní stroje v clusteru. Na hlavě se nemají pouštět žádné náročné výpočty a naopak na ostatní stroje v clusteru se mají výpočty odesílat výhradně prostřednictvím hlavy. Hlava má 2 procesory Intel Pentium D 3 GHz a 1 GB paměti.   * lrc.ufal.hide.ms.mff.cuni.cz: hlava clusteru. To znamená, že neslouží k výpočtům, ale ke správě fronty výpočtů, které se odesílají na výpočetní stroje v clusteru. Na hlavě se nemají pouštět žádné náročné výpočty a naopak na ostatní stroje v clusteru se mají výpočty odesílat výhradně prostřednictvím hlavy. Hlava má 2 procesory Intel Pentium D 3 GHz a 1 GB paměti.
-  * fireball1 až 10 (na každém 4 procesory Intel Xeon 3 GHz, 16 GB paměti, Fedora 7) +  * fireball1 až 10 (4xcore, 16 GB RAM, Fedora 7, 2 procesory Intel Xeon 3 GHz) 
-  * tauri1 až 10 (na každém 4 procesory Intel Xeon 3 GHz, 16 GB paměti, Fedora 7) +  * tauri1 až 10 (4xcore, 16 GB RAM, Fedora 7, 2 procesory Intel Xeon 3 GHz) 
-  * orion1 až 10 (na každém 4 procesory Intel Xeon 2 GHz, 16 GB paměti, 12.9.2007 naplánovaná odstávka na reinstalaci) +  * orion1 až 10 (4xcore, 16 GB RAM, Fedora 7, 2 procesory Intel Xeon 2 GHz) 
-  * sol1 až 10 (na každém 4 procesory AMD Opteron Dual Core 2 GHz, 16 GB paměti, 12.9.2007 naplánovaná odstávka na reinstalaci)+  * sol1 až 13 (4xcore, 16 GB RAM, Fedora 7, 2 procesory AMD Opteron Dual Core 2 GHz)
  
 Frontovací systém umožňuje: Frontovací systém umožňuje:
Line 18: Line 18:
  
 Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat. Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat.
 +
  
 ===== Ukázka užití SGE ===== ===== Ukázka užití SGE =====
Line 64: Line 65:
   # když chcete zrušit všechny své joby (rušit cizí nesmíte)   # když chcete zrušit všechny své joby (rušit cizí nesmíte)
 </code> </code>
 +
 +** V.N.: "qdel all" mi nefunguje, nahradil jsem za:**
 +   qdel "*"
  
  
Line 84: Line 88:
 ===== Triky a opentlení ===== ===== Triky a opentlení =====
  
-==== ~bojar/tools/qsubmit ====+==== ~bojar/tools/shell/qsubmit ====
  
 qsubmit je jako qsub, ale příjemnější: qsubmit je jako qsub, ale příjemnější:
  
-  * nemusíte vyrábět skript, vyrobí ho sám+  * nemusíte vyrábět skript, vyrobí ho sám (pozn.: nemusíte vyrábět skript, když použijete přepínač ''-b y'')
   * nemusíte připisovat ''-cwd -j y -S /bin/bash''   * nemusíte připisovat ''-cwd -j y -S /bin/bash''
- 
  
 <code> <code>
-~bojar/tools/qsubmit "bashovy_prikaz < prismeruj > presmeruj 2> atd..."+~bojar/tools/shell/qsubmit "bashovy_prikaz < prismeruj > presmeruj 2> atd..."
 </code>  </code> 
  
 +
 +==== ~zeman/bin/qsub.csh ====
 +
 +Podobná věc pro ''tcsh''. Pokud bychom chtěli použít přesměrování standardního vstupu a výstupu, musíme ho dát do uvozovek nebo apostrofů, protože jinak se o něm ''qsub.csh'' nedozví, do skriptu k odeslání to neopíše a naopak jeho standardní vstup a výstup bude přesměrován. V přesměrování i v případných dalších argumentech, kde se vyskytují cesty k souborům, je vhodné použít úplné cesty. Pozor také na to, aby šlo o soubory a složky viditelné z celé sítě (tedy ne ve vašem ''/mnt/h/tmp'', například).
 +
 +<code tcsh>setenv SCRIPTFILE /tmp/`basename $1`.$$.csh
 +echo $* > $SCRIPTFILE
 +echo $*
 +echo qsub -cwd -V -S /bin/tcsh -m e $SCRIPTFILE
 +qsub -cwd -V -S /bin/tcsh -m e $SCRIPTFILE
 +qstat -u '*'
 +rm $SCRIPTFILE</code>
 +
 +Příklad spuštění:
 +
 +<code>qsub.csh $PARSER/train.pl "< $cesta/${xx}train.csts > $cesta/${xx}.1.stat"</code>
 +
 +(Kdybych místo uvozovek použil apostrofy, nerozbalily by se mi proměnné. První argument (název skriptu) klidně mohl být v uvozovkách spolu s přesměrováním. Dal jsem ho ven jen proto, že potom ''qsub.csh'' podle něj pojmenuje job ve frontě.)
  
 ===== Časté a záludné problémy ===== ===== Časté a záludné problémy =====
Line 102: Line 123:
  
 Pokud se nemýlím, není dovoleno použít ''qsub'' ve skriptu/programu, který je už přes ''qsub'' spuštěn. Pokud se nemýlím, není dovoleno použít ''qsub'' ve skriptu/programu, který je už přes ''qsub'' spuštěn.
 +
 +
  
 ==== Proměnné prostředí, nastavení vlastního prostředí ==== ==== Proměnné prostředí, nastavení vlastního prostředí ====
Line 108: Line 131:
  
 Zatím nevím přesně, které ze souborů ''.login'', ''.bashrc'' ap. SGE spouští, jestli vůbec nějaké. Naopak, experimentálně jsem ověřil, že ''qsub -S /bin/bash skript'' nenačte žádný z ''.bashrc'', ''.bash_profile'', ''.login'', ani ''.profile''. Zatím nevím přesně, které ze souborů ''.login'', ''.bashrc'' ap. SGE spouští, jestli vůbec nějaké. Naopak, experimentálně jsem ověřil, že ''qsub -S /bin/bash skript'' nenačte žádný z ''.bashrc'', ''.bash_profile'', ''.login'', ani ''.profile''.
 +
 +Z toho například také vyplývá, že bez ošetření se jako **Java** používá
 +
 +   java version "1.5.0"
 +   gij (GNU libgcj) version 4.1.2 20070502 (Red Hat 4.1.2-12)
 +
 +Pokud chcete submittovaný program pouštět ve svém oblíbeném prostředí (např. nastavení ''PATH''), musíte v obalujícím skriptu příslušné ''.bash*'' načíst. Vždy je ale bezpečnější všude psát plné cesty, než spoléhat na PATH.
  
 ==== Jiný shell ==== ==== Jiný shell ====

[ Back to the navigation ] [ Back to the content ]