Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:wmt [2012/02/04 17:25] zeman Odkaz na WMT 2012. |
user:zeman:wmt [2012/02/07 14:47] zeman Doběhlo cs-en v7. |
||
---|---|---|---|
Line 8: | Line 8: | ||
===== Aktuální úkoly ===== | ===== Aktuální úkoly ===== | ||
- | * Udělat | + | * V Emanovi zařídit, abych počítal BLEU skóre přesně stejným způsobem jako Ondra. |
- | * Najít | + | * Otestovat vliv omezení délky fráze na 5 tokenů (zkusit i default |
- | * Zopakovat tytéž pokusy, ale nad letos distribuovanými daty. | + | * Otestovat jiná vývojová data (k dispozici je newstest 2008, 2009 a 2010, nebo všechny |
- | * Převést | + | * Otestovat morfematickou segmentaci (ale musí se doimplementovat závěrečné slepování). |
- | * Konečně převést Joshuu pod Emana. | + | * Zopakovat tytéž |
- | * Převést všechny | + | * Pro všechny jazykové páry používat všechna dostupná data. Například velký Czeng pro češtinu, velké korpusy UN pro francouzštinu a španělštinu, gigawordy pro jazykové modely atd. |
- | * Dotáhnout do konce obo-max. | + | * Převést |
- | * Při klonování experimentu se musí kopírovat mert/ | + | |
- | * Pro všechny jazykové páry používat všechna dostupná data, tedy i Europarl, neomezovat se na News Commentary. To mj. znamená, že musím pro všechny | + | |
===== Srovnávací testy mezi Joshuou 1.1 a 1.3: Je třeba otestovat nastavení maximální délky fráze 5 ===== | ===== Srovnávací testy mezi Joshuou 1.1 a 1.3: Je třeba otestovat nastavení maximální délky fráze 5 ===== | ||
Line 54: | Line 52: | ||
Testovací data by měl mít stejná jako já, tj. '' | Testovací data by měl mít stejná jako já, tj. '' | ||
- | |||
- | ===== Výsledky ===== | ||
- | |||
- | Není-li řečeno jinak, váhy se ladí na newstest2008 a testuje se na newstest2009. Trénuje se zatím na news-commentary, | ||
- | |||
- | | **Pokus** | **Dev WMT08** | **Test WMT09** | **Test WMT10** | **Poznámka** | **Datum** | | ||
- | | decs-josh13 | 0.0935 | 0.0886 | | | 15.3.2010 | | ||
- | | escs-josh13 | 0.0922 | 0.0872 | | | 15.3.2010 | | ||
- | | frcs-josh13 | 0.0885 | 0.0818 | | Zřetelně menší trénovací data než pro encs, decs a escs. | 15.3.2010 | | ||
===== Pokusy s uvozovkami ===== | ===== Pokusy s uvozovkami ===== | ||
Line 89: | Line 78: | ||
nohup nice make CORPUS=europarl-v6b.fr-en LANGUAGE=en >& make-euro-fren-en.log & | nohup nice make CORPUS=europarl-v6b.fr-en LANGUAGE=en >& make-euro-fren-en.log & | ||
nohup nice make CORPUS=news-commentary-v6b.fr-en LANGUAGE=fr >& make-news-fren-fr.log & | nohup nice make CORPUS=news-commentary-v6b.fr-en LANGUAGE=fr >& make-news-fren-fr.log & | ||
- | nohup nice make CORPUS=news-commentary-v6b.fr-en LANGUAGE=en >& make-news-fren-en.log &</ | + | nohup nice make CORPUS=news-commentary-v6b.fr-en LANGUAGE=en >& make-news-fren-en.log & |
+ | for y in 2008 2009 2010 2011 ; do | ||
+ | for l in cs de en es fr ; do | ||
+ | nohup nice make CORPUS=newstest$y-v6b LANGUAGE=$l >& make-newstest$y-$l.log & | ||
+ | done | ||
+ | done</ | ||
No a nyní již můžeme naklonovat nové pokusy. I když můžeme naklonovat oba směry (např. " | No a nyní již můžeme naklonovat nové pokusy. I když můžeme naklonovat oba směry (např. " | ||
Line 112: | Line 106: | ||
Pokusy s& | Pokusy s& | ||
- | Nový průběh všech osmi starých pokusů (supervised truecasing, žádná normalizace uvozovek, nové je na nich paralelní počítání alignmentu, ale výsledek by měl být identický – nekontroloval jsem): '' | + | Nový průběh všech osmi starých pokusů (supervised truecasing, žádná normalizace uvozovek, nové je na nich paralelní počítání alignmentu, ale výsledek by měl být identický – nekontroloval jsem): '' |
- | ^ Jazyky ^ v6 ^ v6b-tr ^ v6b ^ | + | ^ Jazyky ^ v6 ^ v6b-tr ^ v6b ^ v7 ^ |
- | | en-cs | 0.1191 | 0.1246 | | | + | | en-cs | 0.1191 | 0.1246 |
- | | cs-en | 0.1692 | 0.1792 | | | + | | cs-en | 0.1692 | 0.1792 | 0.1801 | 0.1814 |
- | | en-de | 0.1337 | 0.1274 | | | + | | en-de | 0.1337 | 0.1274 |
- | | de-en | 0.1885 | 0.1859 | | | + | | de-en | 0.1885 | 0.1859 |
- | | en-es | 0.2573 | 0.2531 | | | + | | en-es | 0.2573 | 0.2531 |
- | | es-en | 0.2446 | 0.2375 | | | + | | es-en | 0.2446 | 0.2375 |
- | | en-fr | 0.2591 | 0.2619 | | | + | | en-fr | 0.2591 | 0.2619 |
- | | fr-en | 0.2243 | 0.2285 | | | + | | fr-en | 0.2243 | 0.2285 |
===== Pokusy s Emanem ===== | ===== Pokusy s Emanem ===== | ||
Line 168: | Line 162: | ||
(Ondřej měl s Mosesem asi 0.1230.) | (Ondřej měl s Mosesem asi 0.1230.) | ||
Ještě je potřeba to testovat stejným skriptem jako Ondřej, abychom použili stejnou tokenizaci a taky abychom dostali rozptyl skóre. | Ještě je potřeba to testovat stejným skriptem jako Ondřej, abychom použili stejnou tokenizaci a taky abychom dostali rozptyl skóre. | ||
+ | |||
+ | ===== Čeština s němčinou, španělštinou a francouzštinou ===== | ||
+ | |||
+ | Tyto jazykové páry nejsou součástí shared task. Organizátoři pro ně ani neposkytují trénovací data, ale ta je možné získat hledáním shodných vět v& | ||
+ | |||
+ | Není-li řečeno jinak, váhy se ladí na newstest2008 a testuje se na newstest2009. Trénuje se zatím na news-commentary, | ||
+ | |||
+ | | **Pokus** | **Dev WMT08** | **Test WMT09** | **Test WMT10** | **Poznámka** | **Datum** | | ||
+ | | decs-josh13 | 0.0935 | 0.0886 | | | 15.3.2010 | | ||
+ | | escs-josh13 | 0.0922 | 0.0872 | | | 15.3.2010 | | ||
+ | | frcs-josh13 | 0.0885 | 0.0818 | | Zřetelně menší trénovací data než pro encs, decs a escs. | 15.3.2010 | | ||