Differences

This shows you the differences between two versions of the page.

--- grid [2008/10/20 15:02]
novak
+++ grid [2008/10/29 11:23]
bojar oprava odkazu
@@ Line 108: / Line 108: @@
 ~bojar/tools/shell/qsubmit "bashovy_prikaz < prismeruj > presmeruj 2> atd..."
 </code>
@@ Line 127: / Line 128: @@
 (Kdybych místo uvozovek použil apostrofy, nerozbalily by se mi proměnné. První argument (název skriptu) klidně mohl být v uvozovkách spolu s přesměrováním. Dal jsem ho ven jen proto, že potom ''qsub.csh'' podle něj pojmenuje job ve frontě.)
+==== TectoMT: devel/tools/cluster_utils/qrunblocks ====
+Jako ''$BRUNBLOCKS'', ale spouští úlohy na gridu (bez pomoci [[internal:jtred]]u).
+Skript zadanou hromádku souboru rozdělí do N jobu. Každý job na gridu pak projede své soubory danou sekvencí bloků.
+Je nutné buď zadat ''--tmt-root CESTA'', nebo mít nastaven ''$TMT_ROOT'' podle inicializace TectoMT.
+Parametr ''-E'' zpusobí, že se jobům z aktuálního prostředí procedí všechny proměnné ''TMT_PARAM_*'' (čili např. model parseru ap.). Případně je pomocí ''-e'' možné vyjmenovat některé (další) ručně.
+Parametr ''--sync'' způsobí, že skript navíc bude čekat, až všechny joby skončí.
+Výstup každého jobu jde do vlastního logu, ''JOBNAME.o123456''. Pokud JOBNAME nezadáte (parametr ''-N''), užije se defaultní ''qrunblocks''.
+Zatím není na závěr nijak testováno, jestli se analýzy povedly. Jediné, o co se snažím, je, aby na konci každého logu bylo napsáno ''Status: FAILED'', pokud se analýza toho kusu nepovedla.
+Urcite je tam jeste spousta nevychytanych much, zejm. s ruznym escapovanim ruznych veci...
 ===== Časté a záludné problémy =====
@@ Line 192: / Line 216: @@
 fi
 </code>
 ===== Synchronizace úloh (v Perlu) =====
-Pokud chci paralelizovat část úlohy (zde ''muj_skript.pl''), obvykle potřebuju po provedení paralelní části posbírat výsledky a hlavně počkat na dokončení všech paralelních větví. Jak na to jednodušše:
+Pokud chci paralelizovat část úlohy (zde ''muj_skript.pl''), obvykle potřebuju po provedení paralelní části posbírat výsledky a hlavně počkat na dokončení všech paralelních větví. Jak na to jednoduše:
   * Obalím svůj skript pro běh na gridu – vytvořím ''obaleno.sh'':
@@ Line 203: / Line 230: @@
 . /net/projects/SGE/user/sge_profile >/dev/null
-qrsh -cwd -V -p -50 -l mf=5g -now no 'renice 10 $$ >/dev/null; ./muj_skript.pl'
+qrsh -cwd -V -p -50 -l mf=5g -now no 'renice 10 $$ >/dev/null; ./muj_skript.pl $@'
 </code>
   * Ve svém hlavním skriptu ho pak zavolám a posbírám výsledky:
     <code>
+use FileHandle;
+use IPC::Open2;
 use threads;
 use threads::shared;
@@ Line 240: / Line 269: @@
   * Pokud lze všechno předat parametry, nemusí se otevírat obousměrná roura a situace bude jednodušší
   * Pokud ''muj_skript.pl'' začne psát na výstup dřív, než přečetl všechen vstup, dojde k deadlocku. Lze vyřešit obalením příkazy ''cat'' v ''obaleno.sh''.
-  * Celý příklad je použit v Czengu od V.N.
+  * Celý příklad je k vidění v Czengu od V.N.

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences