Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:wmt [2010/03/04 18:44] zeman Náročnost binarizace velkého korpusu. |
user:zeman:wmt [2012/02/09 16:21] zeman Doběhlo en-de v7. |
||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== Danovy pokusy s Joshuou na WMT 2010 ====== | + | ====== Danovy pokusy s Joshuou na WMT 2012 ====== |
- | http:// | + | http:// |
+ | http:// | ||
http:// | http:// | ||
< | < | ||
- | ===== Příprava | + | ===== Aktuální úkoly ===== |
+ | |||
+ | * V Emanovi zařídit, abych počítal BLEU skóre přesně stejným způsobem jako Ondra. | ||
+ | * Otestovat vliv omezení délky fráze na 5 tokenů (zkusit i default a 10). | ||
+ | * Otestovat jiná vývojová data (k dispozici je newstest 2008, 2009 a 2010, nebo všechny dohromady). | ||
+ | * Otestovat morfematickou segmentaci (ale musí se doimplementovat závěrečné slepování). | ||
+ | * Zopakovat tytéž pokusy, ale nad letos distribuovanými daty (v7). | ||
+ | * Pro všechny jazykové páry používat všechna dostupná data. Například velký Czeng pro češtinu, velké korpusy UN pro francouzštinu a španělštinu, | ||
+ | * Převést všechny pokusy pod aktuální verzi Joshuy (ale bacha, možná bude hodně jiná). | ||
+ | |||
+ | ===== Srovnávací testy mezi Joshuou 1.1 a 1.3: Je třeba otestovat nastavení maximální délky fráze 5 ===== | ||
+ | |||
+ | Po přechodu z Joshuy 1.1 na 1.3 u téměř všech pokusů pokleslo BLEU skóre. Je to sice malý pokles a pravděpodobně není statisticky významný, ale stejně mě to zaráží. Srovnání u češtiny ukázalo, že se liší extrahovaná gramatika. V konfiguraci se už teď nezadává, že maximální délka fráze má být 5. Hraje to nějakou roli? | ||
+ | |||
+ | ===== obo-max ===== | ||
+ | |||
+ | Nejúspěšnější nastavení z& | ||
+ | |||
+ | Vytvořil jsem ještě i analogické '' | ||
+ | |||
+ | ^ Výsledek ^ Test 2009 ^ Test 2010 ^ Test 2011 ^ | ||
+ | | Starý (Joshua 1.1) | 0.1300 | 0.1402 | | | ||
+ | | Nový (25.1.2012, Joshua 1.3) | 0.1381 | 0.1477 | 0.1452 | | ||
+ | |||
+ | ===== Data ===== | ||
Vývojová data ('' | Vývojová data ('' | ||
- | ===== Náročnost ===== | + | ==== Ondřejova data ==== |
+ | |||
+ | Ondřejovy augmented corpora se nacházejí v& | ||
+ | |||
+ | Vysvětlení Ondrových pseudojazyků: | ||
+ | * Znaky za '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | |||
+ | Ondřejův maximální paralelní korpus navíc obsahuje další části Czengu a korpus Emea: '' | ||
+ | |||
+ | Pro český jazykový model chtěl Ondřej později ještě přidat korpusy '' | ||
+ | |||
+ | Testovací data by měl mít stejná jako já, tj. '' | ||
+ | |||
+ | ===== Pokusy s uvozovkami ===== | ||
+ | |||
+ | Paralelní data, která máme k& | ||
+ | |||
+ | <code bash> | ||
+ | |||
+ | Takhle se upraví korpus v& | ||
+ | |||
+ | <code bash>cd / | ||
+ | |||
+ | Do Makefile přidáme nově upravené korpusy, mající v& | ||
+ | |||
+ | <code bash> | ||
+ | NEWSCOMM = $(foreach pair, | ||
+ | |||
+ | Ale pozor! Jestliže jsme už předtím zpracovali jiný jazykový pár, musíme ho z& | ||
+ | |||
+ | <code bash> | ||
- | ==== obo-max ==== | + | Teď použijeme TectoMT/ |
- | Binarizace trvá zřejmě mnoho hodin (kvůli počítání tabulky lexikálních pravděpodobností). Paměťovou náročnost neznám, ale určitě je schopná spolykat nejméně 7,8 GB (viděl jsem, než jsem šel spát). Navíc momentálně padá na " | + | <code bash>cd $TMT_ROOT/ |
+ | nohup nice make CORPUS=europarl-v6b.fr-en LANGUAGE=fr >& make-euro-fren-fr.log & | ||
+ | nohup nice make CORPUS=europarl-v6b.fr-en LANGUAGE=en >& make-euro-fren-en.log & | ||
+ | nohup nice make CORPUS=news-commentary-v6b.fr-en LANGUAGE=fr >& make-news-fren-fr.log & | ||
+ | nohup nice make CORPUS=news-commentary-v6b.fr-en LANGUAGE=en >& make-news-fren-en.log & | ||
+ | for y in 2008 2009 2010 2011 ; do | ||
+ | for l in cs de en es fr ; do | ||
+ | nohup nice make CORPUS=newstest$y-v6b LANGUAGE=$l >& make-newstest$y-$l.log & | ||
+ | done | ||
+ | done</ | ||
- | ===== Výsledky ===== | + | No a nyní již můžeme naklonovat nové pokusy. I když můžeme naklonovat oba směry (např. " |
- | Není-li řečeno jinak, váhy se ladí na newstest2008 a testuje se na newstest2009. Trénuje se zatím na news-commentary, a to jak překladový, | + | <code bash> |
+ | cd fren-stc-allemma-tmv6b-lmv6b-lm6-test2011 | ||
+ | $STATMT/ | ||
+ | vim scripts/ | ||
+ | $ac_tmtrain | ||
- | | **Pokus** | **Dev BLEU** | **Test BLEU** | **Poznámka** | **Datum** | | + | Dotažení do konce: i vývojová a testovací data musí být ve verzi v6b. Můžeme přeskočit alignment a trénování jazykového modelu, ale musíme pustit '' |
- | | encs-allcstem4-tmnews-lmnews | 0.0918 | 0.0905 | | 24.2.2010 | | + | |
- | | csen-allcstem4-tmnews-lmnews | 0.1439 | 0.1471 | | 26.2.2010 | | + | |
- | | ende-allcstem4-tmnews-lmnews | 0.1168 | test havaroval | | 26.2.2010 | | + | |
- | | deen-allcstem4-tmnews-lmnews | 0.1725 | 0.1617 | | 26.2.2010 | | + | |
- | | enes-allcstem4-tmnews-lmnews | MERT havaroval | | | 26.2.2010 | | + | |
- | | esen-allcstem4-tmnews-lmnews | extrakce havarovala | | | 26.2.2010 | | + | |
- | | enfr-allcstem4-tmnews-lmnews | 0.1991 | test havaroval | | 26.2.2010 | | + | |
- | | fren-allcstem4-tmnews-lmnews | 0.1869 | 0.2020 | | 26.2.2010 | | + | |
- | ende test havaroval, protože jsem ho pustil dřív, než doběhla extrakce gramatiky pro testovací data. enfr ale padá i poté, a to proto, že některým částem | + | <code bash> |
+ | cd encs-stc-allemma-tmv6b-lmv6b-lm6-test2011v6b | ||
+ | $STATMT/ | ||
+ | vim scripts/ | ||
+ | $ac_dev | ||
+ | $ac_test | ||
+ | (qsub.pl) scripts/ | ||
+ | nohup nice $STATMT/ | ||
- | | **Pokus** | **Dev BLEU** | **Test BLEU** | **Poznámka** | **Datum** | | + | Pokusy s& |
- | | obo-base1 | + | |
- | ===== Ondřej ===== | + | Nový průběh všech osmi starých pokusů (supervised truecasing, žádná normalizace uvozovek, nové je na nich paralelní počítání alignmentu, ale výsledek by měl být identický – nekontroloval jsem): '' |
- | Ahoj. | + | ^ Jazyky ^ v6 ^ v6b-tr ^ v6b ^ v7 ^ |
+ | | en-cs | 0.1191 | 0.1246 | 0.1257 | 0.1299 | | ||
+ | | cs-en | 0.1692 | 0.1792 | 0.1801 | 0.1814 | | ||
+ | | en-de | 0.1337 | 0.1274 | 0.1334 | 0.1350 | | ||
+ | | de-en | 0.1885 | 0.1859 | 0.1896 | | | ||
+ | | en-es | 0.2573 | 0.2531 | 0.2627 | | | ||
+ | | es-en | 0.2446 | 0.2375 | 0.2497 | | | ||
+ | | en-fr | 0.2591 | 0.2619 | 0.2526 | | | ||
+ | | fr-en | 0.2243 | 0.2285 | 0.2384 | | | ||
- | S podobnymi podminkami souhlasim, aspon se dozvime vic. | + | ===== Pokusy s Emanem ===== |
- | Cili do WMT by mohl jit: | + | Tohle jsou data, která Ondřej použil pro svůj „malý pokus“: |
+ | SRCAUG=enNmT1+stc | ||
+ | TGTAUG=csNmT1+stc | ||
+ | ALILABEL=enNmT1-lemma-csNmT1-lemma | ||
+ | DEV: wmt10 | ||
+ | TEST: wmt11 | ||
- | - muj moses | + | Kopie příslušných korpusů jsou na mém hřišti v těchto krocích (ukázáno rovnou na inicializaci kroku dandata): |
- | - Tvuj joshua | + | |
- | - TectoMT | + | |
- | Moje augmented corpora jsou ~bojar/diplomka/granty/emplus/wmt10/ | + | < |
- | baseline korpus je | + | SRC=en TGT=cs IMPORTCORPUS=yes TRALS=s.corpus.60681730.20120201-2157 TRALT=s.corpus.892024c6.20120201-2157 TRTMS=s.corpus.402e5219.20120201-2302 TRTMT=s.corpus.d8e0b2d7.20120201-2157 TRLMT=s.corpus.d8e0b2d7.20120201-2157 DEVS=s.corpus.e46c791e.20120201-2159 DEVT=s.corpus.c3230ea2.20120201-2201 TESTS=s.corpus.7b9dc07b.20120201-2205 TESTT=s.corpus.d0ef157e.20120201-2208 eman init dandata |
- | czeng092-ne | + | s.dandata.1d1f8734.20120203-1125 |
- | (alignment enNa-lemma-csNa-lemma-gdfa) | + | |
- | maximalni paralelni korpus je | + | wmt10/ |
- | czeng092-ne+czeng092-eu+czeng092-fi+czeng092-te+czeng092-su+czeng092-we+emea2 | + | wmt10/ |
- | (alignment csNm-lemma-enNm-lemma-gdfa) | + | wmt11/ |
+ | wmt11/ | ||
- | korpusy | + | Korpusy |
+ | s.corpus.60681730.20120201-2157 | ||
+ | s.corpus.892024c6.20120201-2157 | ||
- | wmt10mono2 | + | GIZASTEP=s.mosesgiza.8a492679.20120202-1628 DATASTEP=s.dandata.1d1f8734.20120203-1125 ALISYM=gdfa eman init danalign |
+ | s.danalign.9fb3696a.20120203-1128 | ||
+ | JOSHUASTEP=s.joshua.2723ccd9.20120131-1031 ALIGNSTEP=s.danalign.9fb3696a.20120203-1128 eman init binarize --start --mem 31g | ||
+ | s.binarize.4576151d.20120203-1524 | ||
+ | BINARIZESTEP=s.binarize.4576151d.20120203-1524 FOR=dev eman init extract --start | ||
+ | s.extract.95792bfb.20120203-1528 | ||
+ | BINARIZESTEP=s.binarize.4576151d.20120203-1524 FOR=test eman init extract --start | ||
+ | s.extract.01f5693c.20120203-1528 | ||
+ | SRILMSTEP=s.srilm.e99247ad.20120201-0921 DATASTEP=s.dandata.1d1f8734.20120203-1125 ORDER=5 eman init danlm --start | ||
+ | s.danlm.06d337e0.20120203-1600 | ||
+ | LMSTEP=s.danlm.06d337e0.20120203-1600 EXTRACTSTEP=s.extract.95792bfb.20120203-1528 eman init zmert --start | ||
+ | s.zmert.884b636b.20120203-1602 | ||
+ | MERTSTEP=s.zmert.884b636b.20120203-1602 EXTRACTSTEP=s.extract.01f5693c.20120203-1528 eman init daneval --start | ||
+ | s.daneval.96709ff9.20120203-1603</ | ||
- | pozdeji budou pouzitelne wmt09mono, webcoll | + | Výsledek Danova pokusu s Ondřejovými malými daty: |
+ | BLEU = 0.1185 | ||
+ | (Ondřej měl s Mosesem asi 0.1230.) | ||
+ | Ještě je potřeba to testovat stejným skriptem jako Ondřej, abychom použili stejnou tokenizaci | ||
- | development korpus je wmt102.test08 | + | ===== Čeština s němčinou, španělštinou a francouzštinou ===== |
- | test korpus je wmt102.test09 | + | |
+ | Tyto jazykové páry nejsou součástí shared task. Organizátoři pro ně ani neposkytují trénovací data, ale ta je možné získat hledáním shodných vět v& | ||
- | Zdrojovy jazyk je pro mne enNa2+stc. | + | Není-li řečeno jinak, váhy se ladí na newstest2008 a testuje se na newstest2009. Trénuje se zatím na news-commentary, a to jak překladový, |
- | Cilovy jazyk je pro mne csN[ma]+stc (jsou identicke, ne pro kazdy korpus mam vyrobeno vsechno) | + | |
- | ' | + | | **Pokus** | **Dev WMT08** | **Test WMT09** | **Test WMT10** | **Poznámka** | **Datum** | |
+ | | decs-josh13 | 0.0935 | 0.0886 | | | 15.3.2010 | | ||
+ | | escs-josh13 | 0.0922 | 0.0872 | | | 15.3.2010 | | ||
+ | | frcs-josh13 | 0.0885 | 0.0818 | | Zřetelně menší trénovací data než pro encs, decs a escs. | 15.3.2010 | | ||
- | O. |