[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » grid

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
Next revision Both sides next revision
grid [2007/09/12 21:18]
zeman Hlava clusteru. 		grid [2007/10/01 16:19]
novak -b
Line 14: Line 14:
   * poslat mnoho úloh k řešení najednou, úlohy budou ale spuštěny teprve, když na to bude čas   * poslat mnoho úloh k řešení najednou, úlohy budou ale spuštěny teprve, když na to bude čas
   * "spravedlivě" dělit strojový čas mezi zájemce   * "spravedlivě" dělit strojový čas mezi zájemce
 +
 +===== Jak začít =====
  
 Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat. Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat.
  
- 
-===== Pravidla pro správné používání clusteru ===== 
- 
-Základní pravidlo, které musíme všichni ctít, aby SGE plnilo svou úlohu dobře: 
- 
-  * Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.) 
-  * Pokud možno používat ''nice''. 
-  * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí. 
- 
-Víc pravidel není. 
  
 ===== Ukázka užití SGE ===== ===== Ukázka užití SGE =====
Line 42: Line 34:
   # Ale dodatečné parametry zařídily:   # Ale dodatečné parametry zařídily:
   #  -cwd  ... skript bude spuštěn v aktuálním adresáři (a nikoli homu)   #  -cwd  ... skript bude spuštěn v aktuálním adresáři (a nikoli homu)
 +  #  -V    ... proměnné z vašeho prostředí budou zkopírovány do prostředí skriptu
   #  -j y  ... standardní a chybový výstup bude spojen (jako to dělá nohup)   #  -j y  ... standardní a chybový výstup bude spojen (jako to dělá nohup)
   # Pořadí parametrů **je** důležité, co je za jménem skriptu, to se předává skriptu.   # Pořadí parametrů **je** důležité, co je za jménem skriptu, to se předává skriptu.
Line 72: Line 65:
   # když chcete zrušit všechny své joby (rušit cizí nesmíte)   # když chcete zrušit všechny své joby (rušit cizí nesmíte)
 </code> </code>
 +
 +** V.N.: "qdel all" mi nefunguje, nahradil jsem za:**
 +   qdel "*"
 +
 +
 +
 +===== Pravidla pro správné používání clusteru =====
 +
 +Základní pravidlo, které musíme všichni ctít, aby SGE plnilo svou úlohu dobře:
 +
 +  * Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.)
 +
 +Další doporučení:
 +  * Pokud možno používat ''nice''.
 +      *  Dotaz: jak se kombinuje ''nice'' s ''qsub''em? SGE je snad nyní nastaveno tak, že vše bude nicenuté. Každopádně je dobré do submitovaného skriptu na začátek napsat ''renice 10 $$''.
 +  * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí.
 +  * Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data.
 +
 +Víc pravidel není.
 +
  
 ===== Triky a opentlení ===== ===== Triky a opentlení =====
 +
  
 ==== ~bojar/tools/qsubmit ==== ==== ~bojar/tools/qsubmit ====
Line 79: Line 93:
 qsubmit je jako qsub, ale příjemnější: qsubmit je jako qsub, ale příjemnější:
  
-  * nemusíte vyrábět skript, vyrobí ho sám+  * nemusíte vyrábět skript, vyrobí ho sám (pozn.: nemusíte vyrábět skript, když použijete přepínač ''-b y'')
   * nemusíte připisovat ''-cwd -j y -S /bin/bash''   * nemusíte připisovat ''-cwd -j y -S /bin/bash''
  
Line 93: Line 107:
  
 Pokud se nemýlím, není dovoleno použít ''qsub'' ve skriptu/programu, který je už přes ''qsub'' spuštěn. Pokud se nemýlím, není dovoleno použít ''qsub'' ve skriptu/programu, který je už přes ''qsub'' spuštěn.
 +
 +
  
 ==== Proměnné prostředí, nastavení vlastního prostředí ==== ==== Proměnné prostředí, nastavení vlastního prostředí ====
Line 99: Line 115:
  
 Zatím nevím přesně, které ze souborů ''.login'', ''.bashrc'' ap. SGE spouští, jestli vůbec nějaké. Naopak, experimentálně jsem ověřil, že ''qsub -S /bin/bash skript'' nenačte žádný z ''.bashrc'', ''.bash_profile'', ''.login'', ani ''.profile''. Zatím nevím přesně, které ze souborů ''.login'', ''.bashrc'' ap. SGE spouští, jestli vůbec nějaké. Naopak, experimentálně jsem ověřil, že ''qsub -S /bin/bash skript'' nenačte žádný z ''.bashrc'', ''.bash_profile'', ''.login'', ani ''.profile''.
 +
 +Z toho například také vyplývá, že bez ošetření se jako **Java** používá
 +
 +   java version "1.5.0"
 +   gij (GNU libgcj) version 4.1.2 20070502 (Red Hat 4.1.2-12)
 +
 +Pokud chcete submittovaný program pouštět ve svém oblíbeném prostředí (např. nastavení ''PATH''), musíte v obalujícím skriptu příslušné ''.bash*'' načíst. Vždy je ale bezpečnější všude psát plné cesty, než spoléhat na PATH.
  
 ==== Jiný shell ==== ==== Jiný shell ====

[ Back to the navigation ] [ Back to the content ]