Differences
This shows you the differences between two versions of the page.
Next revision | Previous revision Next revision Both sides next revision | ||
grid [2006/10/25 13:04] novak |
grid [2007/10/01 16:19] novak -b |
||
---|---|---|---|
Line 1: | Line 1: | ||
====== Sun Grid Engine (SGE) ====== | ====== Sun Grid Engine (SGE) ====== | ||
- | Na počítačích '' | + | Cluster (shluk) neboli grid (mříž, síť) je skupina |
+ | |||
+ | * lrc.ufal.hide.ms.mff.cuni.cz: | ||
+ | * fireball1 až 10 (na každém 4 procesory Intel Xeon 3 GHz, 16 GB paměti, Fedora 7) | ||
+ | * tauri1 až 10 (na každém 4 procesory Intel Xeon 3 GHz, 16 GB paměti, Fedora 7) | ||
+ | * orion1 až 10 (na každém 4 procesory Intel Xeon 2 GHz, 16 GB paměti, 12.9.2007 naplánovaná odstávka na reinstalaci) | ||
+ | * sol1 až 10 (na každém 4 procesory AMD Opteron Dual Core 2 GHz, 16 GB paměti, 12.9.2007 naplánovaná odstávka na reinstalaci) | ||
+ | |||
+ | Frontovací systém umožňuje: | ||
* využít na maximum výpočetní výkon | * využít na maximum výpočetní výkon | ||
* poslat mnoho úloh k řešení najednou, úlohy budou ale spuštěny teprve, když na to bude čas | * poslat mnoho úloh k řešení najednou, úlohy budou ale spuštěny teprve, když na to bude čas | ||
* " | * " | ||
+ | |||
+ | ===== Jak začít ===== | ||
Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat. | Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat. | ||
- | ===== Pravidla pro správné používání počítačů '' | ||
- | |||
- | Základní pravidlo, které musíme všichni ctít, aby SGE plnilo svou úlohu dobře: | ||
- | |||
- | * Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.) | ||
- | * Pokud možno používat '' | ||
- | |||
- | Víc pravidel není. | ||
===== Ukázka užití SGE ===== | ===== Ukázka užití SGE ===== | ||
Line 23: | Line 25: | ||
< | < | ||
- | ssh sol7 | + | ssh lrc |
- | # přihlašte se na nějaký ze solů | + | # přihlašte se na hlavu clusteru |
echo " | echo " | ||
# vyrobte skript, který popisuje, co má úloha udělat | # vyrobte skript, který popisuje, co má úloha udělat | ||
Line 32: | Line 34: | ||
# Ale dodatečné parametry zařídily: | # Ale dodatečné parametry zařídily: | ||
# -cwd ... skript bude spuštěn v aktuálním adresáři (a nikoli homu) | # -cwd ... skript bude spuštěn v aktuálním adresáři (a nikoli homu) | ||
+ | # -V ... proměnné z vašeho prostředí budou zkopírovány do prostředí skriptu | ||
# -j y ... standardní a chybový výstup bude spojen (jako to dělá nohup) | # -j y ... standardní a chybový výstup bude spojen (jako to dělá nohup) | ||
# Pořadí parametrů **je** důležité, | # Pořadí parametrů **je** důležité, | ||
Line 62: | Line 65: | ||
# když chcete zrušit všechny své joby (rušit cizí nesmíte) | # když chcete zrušit všechny své joby (rušit cizí nesmíte) | ||
</ | </ | ||
+ | |||
+ | ** V.N.: "qdel all" mi nefunguje, nahradil jsem za:** | ||
+ | qdel " | ||
+ | |||
+ | |||
+ | |||
+ | ===== Pravidla pro správné používání clusteru ===== | ||
+ | |||
+ | Základní pravidlo, které musíme všichni ctít, aby SGE plnilo svou úlohu dobře: | ||
+ | |||
+ | * Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.) | ||
+ | |||
+ | Další doporučení: | ||
+ | * Pokud možno používat '' | ||
+ | * Dotaz: jak se kombinuje '' | ||
+ | * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí. | ||
+ | * Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data. | ||
+ | |||
+ | Víc pravidel není. | ||
+ | |||
===== Triky a opentlení ===== | ===== Triky a opentlení ===== | ||
+ | |||
==== ~bojar/ | ==== ~bojar/ | ||
Line 69: | Line 93: | ||
qsubmit je jako qsub, ale příjemnější: | qsubmit je jako qsub, ale příjemnější: | ||
- | * nemusíte vyrábět skript, vyrobí ho sám | + | * nemusíte vyrábět skript, vyrobí ho sám (pozn.: nemusíte vyrábět skript, když použijete přepínač '' |
* nemusíte připisovat '' | * nemusíte připisovat '' | ||
Line 83: | Line 107: | ||
Pokud se nemýlím, není dovoleno použít '' | Pokud se nemýlím, není dovoleno použít '' | ||
+ | |||
+ | |||
==== Proměnné prostředí, | ==== Proměnné prostředí, | ||
Line 89: | Line 115: | ||
Zatím nevím přesně, které ze souborů '' | Zatím nevím přesně, které ze souborů '' | ||
+ | |||
+ | Z toho například také vyplývá, že bez ošetření se jako **Java** používá | ||
+ | |||
+ | java version " | ||
+ | gij (GNU libgcj) version 4.1.2 20070502 (Red Hat 4.1.2-12) | ||
+ | |||
+ | Pokud chcete submittovaný program pouštět ve svém oblíbeném prostředí (např. nastavení '' | ||
==== Jiný shell ==== | ==== Jiný shell ==== |