Differences

This shows you the differences between two versions of the page.

--- user:zeman:wmt [2012/02/05 14:27]
zeman Výsledky pokusů s uvozovkami včetně úpravy testovacích dat.
+++ user:zeman:wmt [2012/02/09 16:21]
zeman Doběhlo en-de v7.
@@ Line 8: / Line 8: @@
 ===== Aktuální úkoly =====
+  * V Emanovi zařídit, abych počítal BLEU skóre přesně stejným způsobem jako Ondra.
   * Otestovat vliv omezení délky fráze na 5 tokenů (zkusit i default a 10).
   * Otestovat jiná vývojová data (k dispozici je newstest 2008, 2009 a 2010, nebo všechny dohromady).
   * Otestovat morfematickou segmentaci (ale musí se doimplementovat závěrečné slepování).
-  * Dotáhnout do konce pokusy s uvozovkami (v6b), včetně testovacích dat.
   * Zopakovat tytéž pokusy, ale nad letos distribuovanými daty (v7).
   * Pro všechny jazykové páry používat všechna dostupná data. Například velký Czeng pro češtinu, velké korpusy UN pro francouzštinu a španělštinu, gigawordy pro jazykové modely atd.
@@ Line 106: / Line 106: @@
 Pokusy s&nbsp;uvozovkami začaly na jaře 2011. Tehdy jsem upravil pouze trénovací data (Europarl a News-Commentary) pro všechny čtyři jazykové páry. K&nbsp;poslední úpravě došlo 21.4.2011. Vracím se k&nbsp;tomu 16.1.2012. Nejdříve pouštím všechny tehdejší pokusy znova, potom přidám i úpravu vývojových a testovacích dat.
-Nový průběh všech osmi starých pokusů (supervised truecasing, žádná normalizace uvozovek, nové je na nich paralelní počítání alignmentu, ale výsledek by měl být identický – nekontroloval jsem): ''$SRC$TGT-stc-allcstem4-tmnews+parl-lmnews+parl-lm6-test2011'', v&nbsp;tabulce uvedeno jako "v6". Varianta, ve které byly uvozovky upraveny pouze v&nbsp;trénovacích datech (''$SRC$TGT-stc-allemma-tmv6b-lmv6b-lm6-test2011''), je označena "v6b-tr". Varianta, ve které úpravou uvozovek prošla i vývojová a testovací data (''$SRC$TGT-stc-allemma-tmv6b-lmv6b-lm6-test2011v6b''), je označena "v6b".
+Nový průběh všech osmi starých pokusů (supervised truecasing, žádná normalizace uvozovek, nové je na nich paralelní počítání alignmentu, ale výsledek by měl být identický – nekontroloval jsem): ''$SRC$TGT-stc-allcstem4-tmnews+parl-lmnews+parl-lm6-test2011'', v&nbsp;tabulce uvedeno jako "v6". Varianta, ve které byly uvozovky upraveny pouze v&nbsp;trénovacích datech (''$SRC$TGT-stc-allemma-tmv6b-lmv6b-lm6-test2011''), je označena "v6b-tr". Varianta, ve které úpravou uvozovek prošla i vývojová a testovací data (''$SRC$TGT-stc-allemma-tmv6b-lmv6b-lm6-test2011v6b''), je označena "v6b". Varianta "v7": nová trénovací data (verze 7 News Commentary a Europarlu pro WMT 2012) už jsou defaultně s&nbsp;upravenými uvozovkami; vývojová a testovací data jsou v tomto případě shodná s&nbsp;v6b.
-^ Jazyky ^ v6 ^ v6b-tr ^ v6b ^
+^ Jazyky ^ v6 ^ v6b-tr ^ v6b ^ v7 ^
-| en-cs | 0.1191 | 0.1246 | 0.1257 |
+| en-cs | 0.1191 | 0.1246 | 0.1257 | 0.1299 |
-| cs-en | 0.1692 | 0.1792 | 0.1801 |
+| cs-en | 0.1692 | 0.1792 | 0.1801 | 0.1814 |
-| en-de | 0.1337 | 0.1274 | 0.1334 |
+| en-de | 0.1337 | 0.1274 | 0.1334 | 0.1350 |
-| de-en | 0.1885 | 0.1859 | 0.1896 |
+| de-en | 0.1885 | 0.1859 | 0.1896 | |
-| en-es | 0.2573 | 0.2531 | 0.2627 |
+| en-es | 0.2573 | 0.2531 | 0.2627 | |
-| es-en | 0.2446 | 0.2375 | 0.2497 |
+| es-en | 0.2446 | 0.2375 | 0.2497 | |
-| en-fr | 0.2591 | 0.2619 | 0.2526 |
+| en-fr | 0.2591 | 0.2619 | 0.2526 | |
-| fr-en | 0.2243 | 0.2285 | 0.2384 |
+| fr-en | 0.2243 | 0.2285 | 0.2384 | |
 ===== Pokusy s Emanem =====

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences