Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
grid [2007/09/24 03:59] bojar nice a qsub, paralelni pristup ke sdilenym diskum |
grid [2017/09/26 11:54] popel |
||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== | + | ====== |
- | Cluster (shluk) neboli grid (mříž, síť) je skupina počítačů, na kterých běží software pro automatické umístění vašeho výpočtu na dosud nevytížený stroj. Cluster na ÚFALu se nazývá LRC (Linguistic Research Cluster) | + | LRC (Linguistic Research |
- | | + | If you need GPU processing, see a special page about our [[:gpu|GPU cluster called DLL]]. |
- | * fireball1 až 10 (na každém | + | |
- | * tauri1 až 10 (na každém 4 procesory | + | Cluster (shluk) neboli grid (mříž, síť) je skupina počítačů, |
- | * orion1 až 10 (na každém | + | |
- | | + | |
+ | * V následující tabulce je uveden seznam výpočetních uzlů clusteru | ||
+ | |||
+ | ^ Jméno | ||
+ | | andromeda[1-13] | ||
+ | | fireball[1-10] | ||
+ | | hyperion[1-10] | 2xCore2 | ||
+ | | lucifer[1-10] | 2xCore4 Intel Xeon 2.4 Ghz | 128 | Ubuntu 10.04 | | ||
+ | | orion[1-10] | ||
+ | | tauri[1-10] | ||
+ | | cosmos | ||
+ | | belzebub | ||
+ | | iridium | ||
+ | | twister[1,2] | 2xCore4 Intel Xeon 2.4 Ghz | 48 | Ubuntu 10.04 | | ||
+ | |||
+ | == Outside LRC cluster: == | ||
+ | ^ Jméno | ||
+ | | pandora[1-10] | ||
+ | | sol[1-8, | ||
+ | |||
+ | |||
+ | **Pandora machines** are in a special cluster and queue **ms-guests.q** available for our colleagues from KSVI and for students of [[http:// | ||
+ | **Sol machines** are for us - we can ssh there, submit jobs and also do computing (e.g. collecting statistics from the submitted jobs). | ||
Frontovací systém umožňuje: | Frontovací systém umožňuje: | ||
Line 24: | Line 46: | ||
< | < | ||
- | ssh lrc | + | ssh lrc2 |
# přihlašte se na hlavu clusteru | # přihlašte se na hlavu clusteru | ||
echo " | echo " | ||
Line 37: | Line 59: | ||
# Pořadí parametrů **je** důležité, | # Pořadí parametrů **je** důležité, | ||
qstat | qstat | ||
- | | + | qstat -u ' |
+ | | ||
# SGE chvíli čeká, než skript opravdu spustí. Pro malinké úlohy tedy SGE může představovat | # SGE chvíli čeká, než skript opravdu spustí. Pro malinké úlohy tedy SGE může představovat | ||
# zbytečné zpoždění. | # zbytečné zpoždění. | ||
+ | # -u ' | ||
cat skript.sh.oXXXXX | cat skript.sh.oXXXXX | ||
# vypište si výstup skriptu. XXXXX je ID jobu, které bylo přiděleno | # vypište si výstup skriptu. XXXXX je ID jobu, které bylo přiděleno | ||
Line 61: | Line 85: | ||
qsub -S /bin/bash | qsub -S /bin/bash | ||
# když chcete, aby skript běžel v bashi | # když chcete, aby skript běžel v bashi | ||
- | qdel all | + | qsub -V |
+ | # když chcete předat proměnné prostředí | ||
+ | qdel \* | ||
# když chcete zrušit všechny své joby (rušit cizí nesmíte) | # když chcete zrušit všechny své joby (rušit cizí nesmíte) | ||
</ | </ | ||
+ | |||
+ | |||
Line 72: | Line 100: | ||
* Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.) | * Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.) | ||
+ | * Interaktivní shell se dá získat příkazem '' | ||
Další doporučení: | Další doporučení: | ||
Line 78: | Line 107: | ||
* Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí. | * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí. | ||
* Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data. | * Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data. | ||
+ | * Informovat SGE, kolik paměti úloha žere, aby na strojích nedošla paměť (a používat " | ||
+ | |||
Víc pravidel není. | Víc pravidel není. | ||
+ | ===== Slušné chování ===== | ||
+ | |||
+ | Pokud chci spouštět úlohy, které poběží dlouhou dobu (hodiny, dny), nepustím je všechny najednou, aby cluster mohli využívat i ostatní. | ||
===== Triky a opentlení ===== | ===== Triky a opentlení ===== | ||
- | ==== ~bojar/ | + | |
+ | ==== ~bojar/ | ||
qsubmit je jako qsub, ale příjemnější: | qsubmit je jako qsub, ale příjemnější: | ||
- | * nemusíte vyrábět skript, vyrobí ho sám | + | * nemusíte vyrábět skript, vyrobí ho sám (pozn.: nemusíte vyrábět skript, když použijete přepínač '' |
* nemusíte připisovat '' | * nemusíte připisovat '' | ||
- | |||
< | < | ||
- | ~bojar/ | + | ~bojar/ |
</ | </ | ||
+ | lépe funguje '' | ||
+ | |||
+ | ==== ~zeman/ | ||
+ | |||
+ | Podobná věc pro '' | ||
+ | |||
+ | <code tcsh> | ||
+ | echo $* > $SCRIPTFILE | ||
+ | echo $* | ||
+ | echo qsub -cwd -V -S /bin/tcsh -m e $SCRIPTFILE | ||
+ | qsub -cwd -V -S /bin/tcsh -m e $SCRIPTFILE | ||
+ | qstat -u ' | ||
+ | rm $SCRIPTFILE</ | ||
+ | |||
+ | Příklad spuštění: | ||
+ | |||
+ | < | ||
+ | |||
+ | (Kdybych místo uvozovek použil apostrofy, nerozbalily by se mi proměnné. První argument (název skriptu) klidně mohl být v uvozovkách spolu s přesměrováním. Dal jsem ho ven jen proto, že potom '' | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ==== TectoMT: devel/ | ||
+ | |||
+ | Jako '' | ||
+ | |||
+ | | ||
+ | |||
+ | Skript zadanou hromádku souboru rozdělí do '' | ||
+ | |||
+ | Soubory možno zadat filelistem, nebo pomocí '' | ||
+ | |||
+ | Je nutné buď zadat '' | ||
+ | |||
+ | Parametr '' | ||
+ | |||
+ | Parametr '' | ||
+ | |||
+ | Výstup každého jobu jde do vlastního logu, '' | ||
+ | |||
+ | Parametr '' | ||
+ | |||
+ | Bez '' | ||
+ | |||
+ | ===== Monitorování úloh ===== | ||
+ | |||
+ | * '' | ||
+ | * '' | ||
+ | * ''/ | ||
+ | * ''/ | ||
+ | * ''/ | ||
+ | * mem_total: celkova pamet uzlu | ||
+ | * mem_free: tedy kolik je jeste volne pameti z pametove quoty uzlu | ||
+ | * act_mem_free: | ||
+ | * mem_used: kolik je pameti skutecne pouzito | ||
+ | * ''/ | ||
+ | * celkovy pocet jader, pocet vyuzitych jader | ||
+ | * celkova velikost RAM, kolik je ji fyzicky nepouzite, kolik je ji jeste nerezervovane | ||
+ | * po jednotlivych uzivatelich (zrovna pocitajicich) -- kolik jim bezi uloh, kolik jich maji ve fronte a kolik z nich je ve stavu hold | ||
+ | * '' | ||
+ | * [[https:// | ||
===== Časté a záludné problémy ===== | ===== Časté a záludné problémy ===== | ||
- | ==== Submitnutý job nesmí znovu submitovat ==== | ||
- | Pokud se nemýlím, není dovoleno použít '' | + | ==== Submitnutý job může znovu submitovat ==== |
+ | |||
+ | Danovy starší zkušenosti s clusterem PBS (nikoli SGE) říkaly, že tohle nejde. Ale jde to, aspoň u nás. Příkazy | ||
+ | |||
==== Proměnné prostředí, | ==== Proměnné prostředí, | ||
Line 108: | Line 208: | ||
Zatím nevím přesně, které ze souborů '' | Zatím nevím přesně, které ze souborů '' | ||
+ | |||
+ | Z toho například také vyplývá, že bez ošetření se jako **Java** používá | ||
+ | |||
+ | java version " | ||
+ | gij (GNU libgcj) version 4.1.2 20070502 (Red Hat 4.1.2-12) | ||
+ | |||
+ | Pokud chcete submittovaný program pouštět ve svém oblíbeném prostředí (např. nastavení '' | ||
==== Jiný shell ==== | ==== Jiný shell ==== | ||
Line 152: | Line 259: | ||
fi | fi | ||
</ | </ | ||
+ | |||
+ | ==== Jak zjistit, jaké zdroje jsem pro svou úlohu požadoval ==== | ||
+ | |||
+ | < | ||
+ | hard resource_list: | ||
+ | hard resource_list: | ||
+ | hard resource_list: | ||
+ | hard resource_list: | ||
+ | hard resource_list: | ||
+ | hard resource_list: | ||
+ | |||
+ | ==== Jak rezervovat více jader na stejném stroji pro 1 job ==== | ||
+ | |||
+ | < | ||
+ | qsub -pe smp <pocet jader> | ||
+ | </ | ||
+ | |||
+ | ===== Synchronizace úloh (v Perlu) ===== | ||
+ | |||
+ | Pokud chci paralelizovat část úlohy (zde '' | ||
+ | |||
+ | * Obalím svůj skript pro běh na gridu – vytvořím '' | ||
+ | < | ||
+ | #!/bin/bash | ||
+ | . / | ||
+ | |||
+ | qrsh -cwd -V -p -50 -l mf=5g -now no ' | ||
+ | </ | ||
+ | * Ve svém hlavním skriptu ho pak zavolám a posbírám výsledky: | ||
+ | < | ||
+ | use FileHandle; | ||
+ | use IPC::Open2; | ||
+ | use threads; | ||
+ | use threads:: | ||
+ | my @threads; | ||
+ | my @results; | ||
+ | share(@results); | ||
+ | for (@inputs) | ||
+ | my $t = async { | ||
+ | my $reader; my $writer; | ||
+ | my $pid = open2($reader, | ||
+ | die " | ||
+ | $writer-> | ||
+ | print $writer " | ||
+ | $writer-> | ||
+ | for (< | ||
+ | chomp; | ||
+ | { | ||
+ | lock @results; | ||
+ | push @results, $_; | ||
+ | } | ||
+ | } | ||
+ | waitpid $pid, 0; # Pockame s ukoncenim vlakna na ukonceni ulohy v gridu | ||
+ | return $? >> 8; # Pokusime se ziskat navratovou hodnotu (netestoval jsem) | ||
+ | }; | ||
+ | push @threads, $t; | ||
+ | } | ||
+ | for (@threads) | ||
+ | die "Child exited with non-zero exit code" if $_-> | ||
+ | } | ||
+ | </ | ||
+ | |||
+ | Poznámky: | ||
+ | * Pokud lze všechno předat parametry, nemusí se otevírat obousměrná roura a situace bude jednodušší | ||
+ | * Pokud '' | ||
+ | * Celý příklad je k vidění v Czengu od V.N. |