Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
grid [2011/06/27 11:17] ufal Aktualizace informací o výpočetním clusteru |
grid [2017/09/26 11:53] popel |
||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== | + | ====== |
- | Cluster (shluk) neboli grid (mříž, síť) je skupina počítačů, na kterých běží software pro automatické umístění vašeho výpočtu na dosud nevytížený stroj. Cluster na ÚFALu se nazývá LRC (Linguistic Research Cluster) | + | LRC (Linguistic Research |
- | | + | If you need GPU processing, see a special page about our [[:gpu|GPU cluster called DLL]]. |
- | * V následující tabulce je uveden seznam výpočetních uzlů clusteru (aktuální k 27.6.2011): | + | |
+ | Cluster (shluk) neboli grid (mříž, síť) je skupina počítačů, | ||
+ | |||
+ | | ||
+ | * V následující tabulce je uveden seznam výpočetních uzlů clusteru (aktuální k 6.4.2012): | ||
^ Jméno | ^ Jméno | ||
Line 10: | Line 14: | ||
| fireball[1-10] | | fireball[1-10] | ||
| hyperion[1-10] | | hyperion[1-10] | ||
+ | | lucifer[1-10] | ||
| orion[1-10] | | orion[1-10] | ||
- | | pandora[1-10] | ||
- | | sol[1-8, | ||
| tauri[1-10] | | tauri[1-10] | ||
+ | | cosmos | ||
+ | | belzebub | ||
+ | | iridium | ||
+ | | twister[1, | ||
| | ||
+ | Outside LRC cluster: | ||
+ | ^ Jméno | ||
+ | | pandora[1-10] | ||
+ | | sol[1-8, | ||
+ | |||
+ | |||
+ | **Pandora machines** are in a special cluster and queue **ms-guests.q** available for our colleagues from KSVI and for students of [[http:// | ||
+ | **Sol machines** are for us - we can ssh there, submit jobs and also do computing (e.g. collecting statistics from the submitted jobs). | ||
Frontovací systém umožňuje: | Frontovací systém umožňuje: | ||
Line 31: | Line 46: | ||
< | < | ||
- | ssh lrc-two | + | ssh lrc2 |
# přihlašte se na hlavu clusteru | # přihlašte se na hlavu clusteru | ||
echo " | echo " | ||
Line 72: | Line 87: | ||
qsub -V | qsub -V | ||
# když chcete předat proměnné prostředí | # když chcete předat proměnné prostředí | ||
- | qdel all | + | qdel \* |
# když chcete zrušit všechny své joby (rušit cizí nesmíte) | # když chcete zrušit všechny své joby (rušit cizí nesmíte) | ||
</ | </ | ||
- | |||
- | ** V.N.: "qdel all" mi nefunguje, nahradil jsem za:** | ||
- | qdel " | ||
Line 88: | Line 100: | ||
* Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.) | * Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.) | ||
+ | * Interaktivní shell se dá získat příkazem '' | ||
Další doporučení: | Další doporučení: | ||
Line 94: | Line 107: | ||
* Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí. | * Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí. | ||
* Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data. | * Vyhnout se hodně divokému paralelnímu přístupu ke sdíleným diskům. NFS server to pak nepěkně zpomalí pro všechny. Distribuujte tedy i data. | ||
- | * Informovat SGE, kolik paměti úloha žere, aby na strojích nedošla paměť: < | + | * Informovat SGE, kolik paměti úloha žere, aby na strojích nedošla paměť |
Line 162: | Line 175: | ||
Bez '' | Bez '' | ||
+ | |||
+ | ===== Monitorování úloh ===== | ||
+ | |||
+ | * '' | ||
+ | * '' | ||
+ | * ''/ | ||
+ | * ''/ | ||
+ | * ''/ | ||
+ | * mem_total: celkova pamet uzlu | ||
+ | * mem_free: tedy kolik je jeste volne pameti z pametove quoty uzlu | ||
+ | * act_mem_free: | ||
+ | * mem_used: kolik je pameti skutecne pouzito | ||
+ | * ''/ | ||
+ | * celkovy pocet jader, pocet vyuzitych jader | ||
+ | * celkova velikost RAM, kolik je ji fyzicky nepouzite, kolik je ji jeste nerezervovane | ||
+ | * po jednotlivych uzivatelich (zrovna pocitajicich) -- kolik jim bezi uloh, kolik jich maji ve fronte a kolik z nich je ve stavu hold | ||
+ | * '' | ||
+ | * [[https:// | ||
===== Časté a záludné problémy ===== | ===== Časté a záludné problémy ===== | ||
Line 238: | Line 269: | ||
hard resource_list: | hard resource_list: | ||
hard resource_list: | hard resource_list: | ||
+ | |||
+ | ==== Jak rezervovat více jader na stejném stroji pro 1 job ==== | ||
+ | |||
+ | < | ||
+ | qsub -pe smp <pocet jader> | ||
+ | </ | ||
===== Synchronizace úloh (v Perlu) ===== | ===== Synchronizace úloh (v Perlu) ===== |