Differences

This shows you the differences between two versions of the page.

--- user:zeman:wmt [2012/01/18 16:53]
zeman Nová šablona (seed).
+++ user:zeman:wmt [2012/01/19 21:33]
zeman Pokusy s uvozovkami.
@@ Line 121: / Line 121: @@
 .1.2012 21:12: Pouštím znova pokus ''encs-stc-allcstem4-tmnews+parl-lmnews+parl-lm6-test2011''. Zřejmě to neobsahuje opravené uvozovky (v6b), ale potřebuju zjistit, zda se to vůbec rozběhne.
-===== Eman =====
+Nový průběh všech osmi starých pokusů (supervised truecasing, žádná normalizace uvozovek, nové je na nich paralelní počítání alignmentu, ale výsledek by měl být identický – nekontroloval jsem): ''$SRC$TGT-stc-allcstem4-tmnews+parl-lmnews+parl-lm6-test2011''
-Ondrův e-mail z&nbsp;4.2.2011:
+^ Jazyky ^ BLEU ^
+| en-cs | 0.1191 |
+| cs-en | 0.1692 |
+| en-de | 0.1337 |
+| de-en | 0.1885 |
+| en-es | 0.2573 |
+| es-en | 0.2446 |
+| en-fr | |
+| fr-en | 0.2243 |
-musim se pochlubit, ze (az na jeste par much) mam ukazku pouziti emana pro preklad i pro ty, kdo to jeste vubec nezkouseli:
+Od jara mám vytvořené také pokusy s korpusy, ve kterých jsou upravené uvozovky (verze 6b), takže je teď taky pustím. Je to spíš na oprášení starého kódu, ale bude se to muset pustit ještě jednou, protože momentálně se uvozovky opravují pouze v trénovacích datech, ale ne ve vývojových a testovacích. (Opravu testovacích dat bych si mohl ospravedlnit např. budoucím hodnocením lidmi. A nebo alespoň normalizovat testovací data tím brutálnějším skriptem od Philippa.)
-<code bash>svn co https://svn.ms.mff.cuni.cz/svn/statmt/trunk statmt
+''$SRC$TGT-stc-allemma-tmv6b-lmv6b-lm6-test2011''
-cd statmt/playground
-# podivejte se na README
-export PATH=$PATH:$(pwd)/../scripts
-eman init binaries
-  # to jen proto, abyste mohla potvrdit certifikat sourceforge
-# a pak uz podle readme spustit mikropokus
-SKIP_IRSTLM=yes eman clone --start < eman.samples/cs-en-mini.traceback</code>
-Prikaz:
-eman --man
-ukaze manualovou stranku
-==== Zakládání nových kroků ====
-Jako příklad viz eman.seeds/lm. Toto je šablona na všechny kroky, které vytvářejí jazykové modely. Povinně vyžaduje nastavit tyto vstupní proměnné:
-  * BINARIES: odkaz na krok, ve kterém byly zkompilovány externí nástroje, např. SRILM. Spustitelné binární soubory leží zřejmě přímo ve složce tohoto kroku jako výstupní soubor.
-  * CORP: zkrácený název trénovacího korpusu. I jednotlivým korpusům odpovídají kroky, které vyrábějí či zpřístupňují dotyčné datové soubory. Na to slouží mj. nový skript ''makecorp.pl'' (nebo tak nějak), který částečně přebírá práci staršího ''augment.pl''.
-  * CORPAUG: faktory dotyčného korpusu, které se mají použít pro trénování.
-  * ORDER: řád modelu (např. 3 pro trigram).
-Volitelně lze nastavit i další vstupní proměnné.
-Konstruktor (skript ''eman.seeds/lm'') vytvoří soubor ''eman.tag'', obsahující stručnou jednořádkovou charakteristiku kroku (v tomto případě zejména charakteristiku korpusu, ze kterého byl jazykový model vyroben).
-Dále vytvoří soubor ''eman.vars'', kam opíše všechny vstupní proměnné a jejich hodnoty ve formě přiřazení (tj. sourcnutí tohoto souboru umožní kdykoli zrekonstruovat příslušnou část prostředí).
-Dále vytvoří soubor ''eman.deps'', kde jsou názvy kroků, na kterých tento krok závisí, tj. dotyčné kroky musí úspěšně skončit ještě před spuštěním tohoto kroku. V případě jazykového modelu je závislost pouze na BINARIES (proč ne taky na trénovacím korpusu?) Pro korpus se v tomto případě sahá přímo do ''augmented_corpora'' – že by zastaralé použití? Pokud je seed skript puštěn v přípravném režimu a dotyčný korpus v ''augmented_corpora'' nevidí, skončí chybou.
-Teprve v přípravném režimu se také vyrobí hlavní skript ''eman.command'', který bude na clusteru vykonávat hlavní činnost kroku

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences