Na počítačích sol* je zprovozněn frontovací systém. Umožňuje:

• využít na maximum výpočetní výkon
• poslat mnoho úloh k řešení najednou, úlohy budou ale spuštěny teprve, když na to bude čas
• “spravedlivě” dělit strojový čas mezi zájemce

Jednou za život musíte provést Základní nastavení SGE, abyste SGE mohli používat.

Základní pravidlo, které musíme všichni ctít, aby SGE plnilo svou úlohu dobře:

• Nespouštět úlohy ručně. (O ručně spuštěných úlohách SGE nemá informaci, klidně na daný uzel pošle ještě další úlohy z fronty.)
• Pokud možno používat nice.
• Uklízet po sobě lokální data, protože jinak si tam už nikdo nic užitečného nepustí.

Víc pravidel není.

Tato posloupnost příkazů ukazuje, jak užít SGE:

ssh sol7
  # přihlašte se na nějaký ze solů
echo "hostname; pwd" > skript.sh
  # vyrobte skript, který popisuje, co má úloha udělat
qsub -cwd -j y skript.sh
  # zařaďte úlohu do fronty.
  # Vlastně stačilo zavolat: qsub skript.sh
  # Ale dodatečné parametry zařídily:
  #  -cwd  ... skript bude spuštěn v aktuálním adresáři (a nikoli homu)
  #  -j y  ... standardní a chybový výstup bude spojen (jako to dělá nohup)
  # Pořadí parametrů **je** důležité, co je za jménem skriptu, to se předává skriptu.
qstat
  # Podívejme se, jaké úlohy běží.
  # SGE chvíli čeká, než skript opravdu spustí. Pro malinké úlohy tedy SGE může představovat
  # zbytečné zpoždění.
cat skript.sh.oXXXXX
  # vypište si výstup skriptu. XXXXX je ID jobu, které bylo přiděleno
  # qsubem. Čili druhé poslání do fronty starší log typicky nepřepíše.

A takto dopadl výstup našeho skriptu:

Warning: no access to tty (Bad file descriptor).
Thus no job control in this shell.
sol2.ufal.hide.ms.mff.cuni.cz
/export/home/bojar

Další užitečné příkazy a parametry:

qsub -o LOG.stdout -e LOG.stderr skript.sh
  # když chcete přesměrovat výstup skriptu do určených souborů
qsub -S /bin/bash
  # když chcete, aby skript běžel v bashi
qdel all
  # když chcete zrušit všechny své joby (rušit cizí nesmíte)

qsubmit je jako qsub, ale příjemnější:

• nemusíte vyrábět skript, vyrobí ho sám
• nemusíte připisovat -cwd -j y -S /bin/bash

~bojar/tools/qsubmit "bashovy_prikaz < prismeruj > presmeruj 2> atd..."

Pokud se nemýlím, není dovoleno použít qsub ve skriptu/programu, který je už přes qsub spuštěn.

SGE spouští skripty v čistém prostředí. Nebuďte proto překvapeni, když vám skript na konzoli poběží dobře, ale po submitnutí fungovat nebude. Třeba nenašel potřebné programy v $PATH

Zatím nevím přesně, které ze souborů .login, .bashrc ap. SGE spouští, jestli vůbec nějaké. Naopak, experimentálně jsem ověřil, že qsub -S /bin/bash skript nenačte žádný z .bashrc, .bash_profile, .login, ani .profile.

Abych mohl poslat nějakou úlohu do fronty, musím pro ni vyrobit vlastní skript. Budiž, vyrobil jsem vlastní skript:

#!/bin/bash
program > log.out 2> log.err

Když tento skript spustím, stane se očekávané. Přesměrují se výstupy z daného programu do souborů a je to.

Když takový skript submitnu, program se nespustí. V logu zjistím, že (standardní chybový) výstup shellu, který pouštěl můj skript praví kryptickou zprávu “Ambiguous redirect”.

Nebudu vás napínat, zde je vysvětlení: SGE ignoruje první řádek skriptu (ve skutečnosti je pravda horší, hledá v něm nějaké parametry pro sebe) a spouští skript v csh. Rozdíl mezi bashem a csh se v primitivních skriptech na první pohled nepozná, pozná se až v konstrukci if-then-else, a také v přesměrovávání. csh nerozumí přesměrování 2>

Takto SGE přinutíte, aby použilo bash:

  qsub -S /bin/bash skript

Jinou možností je přesměrovat stderr a stdout pomocí syntaxe csh:

( command >stdout_file ) >&stderr_file

Opsáno z http://www.sara.nl/userinfo/lisa/usage/batch/index.html.

It is important, that the files that are sourced during a login such as .bash_profile .profile .bashrc .login .cshrc don't produce any output when a non-interactive login is done. If they do, changes are that your job will run, but that the batch system is unable to deliver to you the standard output and error files. In that case the status of your job will be 'E' after the job is finished. Here is an example how you can test in a .bash_profile or .bashrc if this is an interactive login:

unset INTERACTIVE
/usr/bin/tty > /dev/null 2>&1
/usr/bin/test $? = 0 && INTERACTIVE=yes
...
if [ "$INTERACTIVE" ]; then
  ... commands only for truly interactive sessions ...
fi