Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
grid [2008/10/20 15:07] novak |
grid [2017/09/26 11:54] popel |
||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== | + | ====== |
- | Cluster (shluk) neboli grid (mříž, síť) je skupina počítačů, na kterých běží software pro automatické umístění vašeho výpočtu na dosud nevytížený stroj. Cluster na ÚFALu se nazývá LRC (Linguistic Research Cluster) | + | LRC (Linguistic Research |
- | | + | If you need GPU processing, see a special page about our [[:gpu|GPU cluster called DLL]]. |
- | * fireball1 až 10 (4xcore, 16 GB RAM, Fedora 7, 2 procesory | + | |
- | | + | Cluster (shluk) neboli grid (mříž, síť) je skupina počítačů, |
- | * orion1 až 10 (4xcore, 16 GB RAM, Fedora 7, 2 procesory | + | |
- | | + | |
+ | * V následující tabulce je uveden seznam výpočetních uzlů clusteru | ||
+ | |||
+ | ^ Jméno | ||
+ | | andromeda[1-13] | ||
+ | | fireball[1-10] | ||
+ | | hyperion[1-10] | ||
+ | | lucifer[1-10] | ||
+ | | orion[1-10] | ||
+ | | tauri[1-10] | ||
+ | | cosmos | ||
+ | | belzebub | ||
+ | | iridium | ||
+ | | twister[1,2] | 2xCore4 | ||
+ | |||
+ | == Outside LRC cluster: == | ||
+ | ^ Jméno | ||
+ | | pandora[1-10] | ||
+ | | sol[1-8,11-13] | ||
+ | |||
+ | |||
+ | **Pandora machines** are in a special cluster and queue **ms-guests.q** available for our colleagues from KSVI and for students of [[http:// | ||
+ | **Sol machines** are for us - we can ssh there, submit jobs and also do computing (e.g. collecting statistics from the submitted jobs). | ||
Frontovací systém umožňuje: | Frontovací systém umožňuje: | ||
Line 18: | Line 40: | ||
Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat. | Jednou za život musíte provést [[Základní nastavení SGE]], abyste SGE mohli používat. | ||
- | |||
- | |||
===== Ukázka užití SGE ===== | ===== Ukázka užití SGE ===== | ||
Line 26: | Line 46: | ||
< | < | ||
- | ssh lrc | + | ssh lrc2 |
# přihlašte se na hlavu clusteru | # přihlašte se na hlavu clusteru | ||
echo " | echo " | ||
Line 39: | Line 59: | ||
# Pořadí parametrů **je** důležité, | # Pořadí parametrů **je** důležité, | ||
qstat | qstat | ||
- | | + | qstat -u ' |
+ | | ||
# SGE chvíli čeká, než skript opravdu spustí. Pro malinké úlohy tedy SGE může představovat | # SGE chvíli čeká, než skript opravdu spustí. Pro malinké úlohy tedy SGE může představovat | ||
# zbytečné zpoždění. | # zbytečné zpoždění. | ||
+ | # -u ' | ||
cat skript.sh.oXXXXX | cat skript.sh.oXXXXX | ||
# vypište si výstup skriptu. XXXXX je ID jobu, které bylo přiděleno | # vypište si výstup skriptu. XXXXX je ID jobu, které bylo přiděleno | ||
Line 65: | Line 87: | ||
qsub -V | qsub -V | ||
# když chcete předat proměnné prostředí | # když chcete předat proměnné prostředí | ||
- | qdel all | + | qdel \* |
# když chcete zrušit všechny své joby (rušit cizí nesmíte) | # když chcete zrušit všechny své joby (rušit cizí nesmíte) | ||
</ | </ | ||
- | |||
- | ** V.N.: "qdel all" mi nefunguje, nahradil jsem za:** | ||
- | qdel " | ||
Line 81: | Line 100: | ||
* Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.) | * Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.) | ||
+ | * Interaktivní shell se dá získat příkazem '' | ||
Další doporučení: | Další doporučení: | ||
Line 87: | Line 107: | ||
* Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí. | * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí. | ||
* Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data. | * Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data. | ||
- | * Informovat SGE, kolik paměti úloha žere, aby na strojích nedošla paměť: < | + | * Informovat SGE, kolik paměti úloha žere, aby na strojích nedošla paměť |
Line 97: | Line 117: | ||
===== Triky a opentlení ===== | ===== Triky a opentlení ===== | ||
+ | |||
==== ~bojar/ | ==== ~bojar/ | ||
Line 109: | Line 130: | ||
</ | </ | ||
+ | lépe funguje '' | ||
==== ~zeman/ | ==== ~zeman/ | ||
Line 127: | Line 149: | ||
(Kdybych místo uvozovek použil apostrofy, nerozbalily by se mi proměnné. První argument (název skriptu) klidně mohl být v uvozovkách spolu s přesměrováním. Dal jsem ho ven jen proto, že potom '' | (Kdybych místo uvozovek použil apostrofy, nerozbalily by se mi proměnné. První argument (název skriptu) klidně mohl být v uvozovkách spolu s přesměrováním. Dal jsem ho ven jen proto, že potom '' | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ==== TectoMT: devel/ | ||
+ | |||
+ | Jako '' | ||
+ | |||
+ | | ||
+ | |||
+ | Skript zadanou hromádku souboru rozdělí do '' | ||
+ | |||
+ | Soubory možno zadat filelistem, nebo pomocí '' | ||
+ | |||
+ | Je nutné buď zadat '' | ||
+ | |||
+ | Parametr '' | ||
+ | |||
+ | Parametr '' | ||
+ | |||
+ | Výstup každého jobu jde do vlastního logu, '' | ||
+ | |||
+ | Parametr '' | ||
+ | |||
+ | Bez '' | ||
+ | |||
+ | ===== Monitorování úloh ===== | ||
+ | |||
+ | * '' | ||
+ | * '' | ||
+ | * ''/ | ||
+ | * ''/ | ||
+ | * ''/ | ||
+ | * mem_total: celkova pamet uzlu | ||
+ | * mem_free: tedy kolik je jeste volne pameti z pametove quoty uzlu | ||
+ | * act_mem_free: | ||
+ | * mem_used: kolik je pameti skutecne pouzito | ||
+ | * ''/ | ||
+ | * celkovy pocet jader, pocet vyuzitych jader | ||
+ | * celkova velikost RAM, kolik je ji fyzicky nepouzite, kolik je ji jeste nerezervovane | ||
+ | * po jednotlivych uzivatelich (zrovna pocitajicich) -- kolik jim bezi uloh, kolik jich maji ve fronte a kolik z nich je ve stavu hold | ||
+ | * '' | ||
+ | * [[https:// | ||
===== Časté a záludné problémy ===== | ===== Časté a záludné problémy ===== | ||
- | ==== Submitnutý job nesmí znovu submitovat ==== | ||
- | Pokud se nemýlím, není dovoleno použít '' | + | ==== Submitnutý job může znovu submitovat ==== |
+ | |||
+ | Danovy starší zkušenosti s clusterem PBS (nikoli SGE) říkaly, že tohle nejde. Ale jde to, aspoň u nás. Příkazy | ||
Line 193: | Line 260: | ||
</ | </ | ||
+ | ==== Jak zjistit, jaké zdroje jsem pro svou úlohu požadoval ==== | ||
+ | < | ||
+ | hard resource_list: | ||
+ | hard resource_list: | ||
+ | hard resource_list: | ||
+ | hard resource_list: | ||
+ | hard resource_list: | ||
+ | hard resource_list: | ||
+ | ==== Jak rezervovat více jader na stejném stroji pro 1 job ==== | ||
+ | < | ||
+ | qsub -pe smp <pocet jader> | ||
+ | </ | ||
===== Synchronizace úloh (v Perlu) ===== | ===== Synchronizace úloh (v Perlu) ===== | ||
Line 246: | Line 325: | ||
* Pokud '' | * Pokud '' | ||
* Celý příklad je k vidění v Czengu od V.N. | * Celý příklad je k vidění v Czengu od V.N. | ||
- |