Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:wmt [2012/02/03 18:15] zeman Poznámky o Ondrových datech a o pokusech s Emanem. |
user:zeman:wmt [2012/02/04 17:21] zeman Úklid uvozovek. |
||
---|---|---|---|
Line 66: | Line 66: | ||
===== Pokusy s uvozovkami ===== | ===== Pokusy s uvozovkami ===== | ||
- | Na začátku léta 2011 jsem se pokoušel poloautomaticky opravit a sjednotit uvozovky ve všech jazycích WMT 2011. Myslím, že to nebylo dodělané, a momentálně to nemůžu najít. Šlo o úpravu trénovacích korpusů. Výsledkem měla být "v6b" | + | Paralelní data, která máme k& |
- | '' | + | <code bash>$STATMT/ |
- | a co historie loňských commitů? | + | |
- | Podle časových značek u korpusů v '' | + | Takhle se upraví |
- | UPDATE: Tohle jsem k uvozovkám našel v textovém souboru s průběžnými výsledky z loňského WMT (Makefilem se tam primárně myslí Makefile dat pro WMT, tedy '' | + | <code bash> |
+ | Do Makefile přidáme nově upravené korpusy, mající v& | ||
- | --------------------------------------- | + | <code bash>EUROPARL = $(foreach pair, |
- | Mám k dispozici trénovací data s opravenými uvozovkami, zatím jen pro angličtinu se španělštinou. | + | NEWSCOMM = $(foreach pair, |
- | Potřebuju je označkovat, | + | |
- | cd / | + | |
- | # Přidat do Makefile nově upravené korpusy mající v názvu " | + | |
- | EUROPARL = $(foreach pair, | + | |
- | NEWSCOMM = $(foreach pair, | + | |
- | # Ale pozor! Jestliže už jsme předtím zpracovali jiný jazykový pár, musíme ho z Makefile alespoň dočasně vyhodit! | + | |
- | # Jinak si novým zkopírováním zdrojových korpusů přepíšeme případnou označkovanou verzi korpusu! | + | |
- | make corpus CORPUS=europarl-v6b.fr-en LANGUAGE=fr | + | |
- | # Teď použijeme TectoMT a cluster k označkování nových korpusů. | + | |
- | cd /net/ | + | |
- | nohup nice make CORPUS=europarl-v6b.fr-en LANGUAGE=fr | + | |
- | nohup nice make CORPUS=europarl-v6b.fr-en LANGUAGE=en >& make-euro-fren-en.log & | + | |
- | nohup nice make CORPUS=news-commentary-v6b.fr-en LANGUAGE=fr >& make-news-fren-fr.log & | + | |
- | nohup nice make CORPUS=news-commentary-v6b.fr-en LANGUAGE=en >& make-news-fren-en.log & | + | |
- | # No a nyní již můžeme naklonovat nové pokusy. | + | |
- | # I když můžeme naklonovat oba směry (např. " | + | |
- | $STATMT/ | + | |
- | cd fren-stc-allemma-tmv6b-lmv6b-lm6-test2011 | + | |
- | $STATMT/ | + | |
- | vi scripts/ | + | |
- | $ac_tmtrain | + | |
- | Výsledky: | + | Ale pozor! Jestliže jsme už předtím zpracovali jiný jazykový pár, musíme ho z& |
- | Skóre " | + | |
- | Skóre " | + | |
- | Vylaďovací ani testovací data zatím nijak upravována nebyla. | + | |
- | Jejich úpravu bychom ale měli taky otestovat, protože např. teď obsahují samé ASCII uvozovky, které jsou pro Joshuu neznámým tokenem. | + | |
- | es-en: dříve 0.2452, nyní 0.2428 | + | <code bash> |
- | en-es: dříve 0.2590, nyní 0.2542 | + | |
- | ===== Inventura 16.1.2012 ===== | + | Teď použijeme TectoMT/ |
- | 16.1.2012 21:12: Pouštím znova pokus '' | + | <code bash>cd $TMT_ROOT/ |
+ | nohup nice make CORPUS=europarl-v6b.fr-en LANGUAGE=fr >& make-euro-fren-fr.log & | ||
+ | nohup nice make CORPUS=europarl-v6b.fr-en LANGUAGE=en >& make-euro-fren-en.log & | ||
+ | nohup nice make CORPUS=news-commentary-v6b.fr-en LANGUAGE=fr >& make-news-fren-fr.log & | ||
+ | nohup nice make CORPUS=news-commentary-v6b.fr-en LANGUAGE=en >& make-news-fren-en.log &</ | ||
- | Nový průběh všech osmi starých pokusů (supervised truecasing, | + | No a nyní již můžeme naklonovat |
- | ^ Jazyky ^ BLEU ^ | + | <code bash> |
- | | en-cs | 0.1191 | | + | cd fren-stc-allemma-tmv6b-lmv6b-lm6-test2011 |
- | | cs-en | 0.1692 | | + | $STATMT/ |
- | | en-de | 0.1337 | | + | vim scripts/ |
- | | de-en | 0.1885 | | + | $ac_tmtrain |
- | | en-es | 0.2573 | | + | |
- | | es-en | 0.2446 | | + | |
- | | en-fr | 0.2591 | | + | |
- | | fr-en | 0.2243 | | + | |
- | Od jara mám vytvořené také pokusy s korpusy, | + | Dotažení do konce: i vývojová a testovací data musí být ve verzi v6b. Můžeme přeskočit alignment a trénování jazykového modelu, ale musíme |
- | '' | + | <code bash>$STATMT/ |
+ | cd encs-stc-allemma-tmv6b-lmv6b-lm6-test2011v6b | ||
+ | $STATMT/ | ||
+ | vim scripts/ | ||
+ | $ac_dev | ||
+ | $ac_test | ||
+ | (qsub.pl) scripts/ | ||
+ | nohup nice $STATMT/ | ||
- | První výsledky jsou zatím bez záruky, protože v průběhu Gizy jsem narazil na kvótu. Procesy sice nespadly, ale nejsem si jistý, co prováděly těch několik hodin, kdy nemohly psát na disk. Takže raději pustit ještě jednou (ostatně jeden z nich dokonce nedoběhl). | + | Pokusy s& |
- | 24.1.2012 už mám i skoro všechny kontrolní výsledky druhého běhu, ale mezitím jsem zjistil chybu v počítání alignmentu, | + | Nový průběh |
- | ^ Jazyky ^ BLEU ^ Kontrolní běh ^ Třetí běh ^ | + | ^ Jazyky ^ v6 ^ v6b-tr |
- | | en-cs | FAILED | + | | en-cs | 0.1191 | 0.1246 |
- | | cs-en | 0.1748 | 0.1748 | + | | cs-en | 0.1692 | 0.1792 |
- | | en-de | 0.1268 | 0.1268 | + | | en-de | 0.1337 | 0.1274 |
- | | de-en | 0.1869 | 0.1869 | + | | de-en | 0.1885 | 0.1859 |
- | | en-es | 0.2542 | 0.2542 | + | | en-es | 0.2573 | 0.2531 |
- | | es-en | 0.2428 | FAILED | + | | es-en | 0.2446 | 0.2375 |
- | | en-fr | 0.2586 | 0.2628 | + | | en-fr | 0.2591 | 0.2619 |
- | | fr-en | 0.2294 | 0.2294 | 0.2285 | + | | fr-en | 0.2243 | 0.2285 | | |
===== Pokusy s Emanem ===== | ===== Pokusy s Emanem ===== |