Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:wmt [2012/01/16 14:56] zeman Infrastruktura pro Gizu++. |
user:zeman:wmt [2012/01/25 22:50] zeman Odstraněny zastaralé poznámky o časové náročnosti. |
||
---|---|---|---|
Line 16: | Line 16: | ||
* Při klonování experimentu se musí kopírovat mert/ | * Při klonování experimentu se musí kopírovat mert/ | ||
* Pro všechny jazykové páry používat všechna dostupná data, tedy i Europarl, neomezovat se na News Commentary. To mj. znamená, že musím pro všechny páry získat nové baseliny. | * Pro všechny jazykové páry používat všechna dostupná data, tedy i Europarl, neomezovat se na News Commentary. To mj. znamená, že musím pro všechny páry získat nové baseliny. | ||
+ | |||
+ | ===== Srovnávací testy mezi Joshuou 1.1 a 1.3: Je třeba otestovat nastavení maximální délky fráze 5 ===== | ||
+ | |||
+ | Po přechodu z Joshuy 1.1 na 1.3 u téměř všech pokusů pokleslo BLEU skóre. Je to sice malý pokles a pravděpodobně není statisticky významný, ale stejně mě to zaráží. Srovnání u češtiny ukázalo, že se liší extrahovaná gramatika. V konfiguraci se už teď nezadává, že maximální délka fráze má být 5. Hraje to nějakou roli? | ||
+ | |||
+ | ===== Staré záznamy ===== | ||
+ | |||
+ | obo-max: testuje na wmt102.test09, | ||
+ | obo-max3: testuje na wmt102.test10, | ||
+ | Oba používají Joshuu 1.3. | ||
+ | Oba používají Ondřejova velká data (7 miliónů párů vět z Czengu 0.92 na trénování, | ||
+ | |||
+ | 22.1.2012 '' | ||
+ | |||
+ | Nový výsledek 25.1.2012: '' | ||
+ | Nový výsledek 25.1.2012: '' | ||
+ | |||
+ | Výhledově chci přejmenovat '' | ||
===== Data ===== | ===== Data ===== | ||
Line 39: | Line 57: | ||
Testovací data by měl mít stejná jako já, tj. '' | Testovací data by měl mít stejná jako já, tj. '' | ||
- | |||
- | ===== Náročnost ===== | ||
- | |||
- | ==== obo-max ==== | ||
- | |||
- | Binarizace ve verzi 1.3 zahrnuje počítání tabulky lexikálních pravděpodobností a trvá asi 1:20 hodiny. Paměťová náročnost: | ||
- | |||
- | Extrakce gramatiky nabíhala přes 20 minut, vyčerpala 11 GB. Teď už běží vlastní extrakce, ale je hodně pomalá, jedna věta trvá třeba i 10 minut. Průměrný čas je zatím 3 minuty na 1 větu, takže 2500 vět by trvalo 5 dní. Paměť stoupla zatím na 15 GB. Chtělo by to paralelizovat minimálně na 20 procesů! | ||
===== Výsledky ===== | ===== Výsledky ===== | ||
Line 82: | Line 92: | ||
| fren-josh13 | 0.1861 | 0.2036 | | | 9.3.2010 | | | fren-josh13 | 0.1861 | 0.2036 | | | 9.3.2010 | | ||
- | Po přechodu z Joshuy 1.1 na 1.3 u téměř všech pokusů pokleslo BLEU skóre. Je to sice malý pokles a pravděpodobně není statisticky významný, ale stejně mě to zaráží. Srovnání u češtiny ukázalo, že se liší extrahovaná gramatika. V konfiguraci se už teď nezadává, že maximální délka fráze má být 5. Hraje to nějakou roli? | + | ===== Pokusy s uvozovkami ===== |
- | | **Pokus** | **Dev WMT08** | **Test WMT09** | **Test WMT10** | **Poznámka** | **Datum** | | + | Na začátku léta 2011 jsem se pokoušel poloautomaticky opravit a sjednotit uvozovky ve všech jazycích WMT 2011. Myslím, že to nebylo dodělané, a momentálně to nemůžu najít. Šlo o úpravu trénovacích korpusů. Výsledkem měla být " |
- | | obo-base1 (encs) | 0.1084 | 0.0990 | | | 3.3.2010 | | + | |
- | | obo-base3 (encs) | 0.1064 | 0.0990 | | Na rozdíl od obo-base1 použit | + | |
- | | obo-base3 (encs) | 0.1103 | 0.1012 | | Opravný pokus, tentokrát | + | |
- | | obo-max(-final) (encs) | 0.1344 | 0.1300 | 0.1357 (13.4/12.6) | Ondrův maximální paralelní | + | |
- | | obo-max3 (encs) | 0.1387 | | 0.1402 | Ondrův maximální paralelní korpus a šestigramový jazykový model. | 8.3.2010 | | + | |
- | Na konci srpna 2010 oživuju pokusy s& | + | '' |
+ | a co historie | ||
- | | **Pokus** | **Dev WMT08** | **Test WMT09** | **Test WMT10** | **Poznámka** | **Datum** | | + | Podle časových značek u korpusů v '' |
- | | encs: | + | |
- | | encs: | + | |
- | | encs: | + | |
- | | encs: | + | |
- | | encs: | + | |
- | | encs: | + | |
- | | encs: | + | |
- | | encs: | + | |
- | | encs: | + | |
- | ===== Pokusy s uvozovkami | + | ===== Inventura 16.1.2012 |
- | Na začátku léta 2011 jsem se pokoušel poloautomaticky opravit a sjednotit | + | 16.1.2012 21:12: Pouštím znova pokus '' |
+ | |||
+ | Nový průběh | ||
+ | |||
+ | ^ Jazyky ^ BLEU ^ | ||
+ | | en-cs | 0.1191 | | ||
+ | | cs-en | 0.1692 | | ||
+ | | en-de | 0.1337 | | ||
+ | | de-en | 0.1885 | | ||
+ | | en-es | 0.2573 | | ||
+ | | es-en | 0.2446 | | ||
+ | | en-fr | 0.2591 | | ||
+ | | fr-en | 0.2243 | | ||
+ | |||
+ | Od jara mám vytvořené také pokusy s korpusy, ve kterých jsou upravené uvozovky (verze 6b), takže je teď taky pustím. Je to spíš na oprášení starého kódu, ale bude se to muset pustit ještě jednou, protože | ||
+ | |||
+ | '' | ||
+ | |||
+ | První výsledky jsou zatím bez záruky, protože | ||
+ | |||
+ | 24.1.2012 už mám i skoro všechny | ||
- | ===== Infrastruktura a zarovnání ===== | + | ^ Jazyky ^ BLEU ^ Kontrolní běh ^ Třetí běh ^ |
+ | | en-cs | FAILED | 0.1267 | 0.1246 | | ||
+ | | cs-en | 0.1748 | 0.1748 | 0.1792 | | ||
+ | | en-de | 0.1268 | 0.1268 | 0.1274 | | ||
+ | | de-en | 0.1869 | 0.1869 | 0.1859 | | ||
+ | | en-es | 0.2542 | 0.2542 | | | ||
+ | | es-en | 0.2428 | FAILED | 0.2375 | | ||
+ | | en-fr | 0.2586 | 0.2628 | | | ||
+ | | fr-en | 0.2294 | 0.2294 | | | ||
- | Kromě toho jsem někdy v roce 2011 zkoušel předělat Joshuovy skripty, které pouštěly Gizu, aby mohly obě půlky běžet paralelně. Obávám se, že to zůstalo rozvrtané a nefunkční. |