[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

This is an old revision of the document!


Table of Contents

Danovy pokusy s Joshuou na WMT 2010

http://www.statmt.org/wmt10/translation-task.html
http://svn.ms.mff.cuni.cz/projects/statmt/wiki/enhi/joshua

/net/work/people/zeman/wmt

Aktuální úkoly

Příprava korpusů

Vývojová data (news-test) jsou k dispozici ve formátu SGML. Obsahují pouze jeden referenční překlad, takže stačí vykopat obsah prvků <seg>. Výsledek strčit do augmented_corpora.

Náročnost

obo-base1

První pokus s Ondřejovými daty 3.3.2010, ale jen trigramový jazykový model. Proběhlo celkem bez potíží.

obo-base2

Snažím se vyrobit větší jazykové modely. Zatím (5.3.2010 dopoledne) doběhl čtyřgram, běží pentagram.

Trénování 4gramového jazykového modelu trvalo půl hodiny a spotřebovalo něco mezi 10 a 15 GB. Trénování pentagramu trvalo taky půl hodiny a spotřebovalo něco přes 18 GB.

obo-base3

Klon obo-base2. Používám Ondřejův hotový šestigramový model a pouštím rovnou MERT.

obo-max

Binarizace ve verzi 1.3 zahrnuje počítání tabulky lexikálních pravděpodobností a trvá asi 1:20 hodiny. Paměťová náročnost: až do počítání lexikálních pravděpodobností včetně vystačil s 9,8 GB. Pak se ale pustil do předpočítávání indexů nejčastějších frází a s pamětí vyletěl na 22 GB, což je strop, který jsem mu dal, takže je otázka, jestli by nedokázal využít i větší množství paměti. Podle Lanova vyjádření by mohl být problém s větami o 100 a více slovech, proto jsem z korpusu takové věty odstranil. Můj čistící skript vybral z 7 544 465 řádků 7 543 152 takových, které měly 1-99 tokenů.

Extrakce gramatiky nabíhala přes 20 minut, vyčerpala 11 GB. Teď už běží vlastní extrakce, ale je hodně pomalá, jedna věta trvá třeba i 10 minut. Průměrný čas je zatím 3 minuty na 1 větu, takže 2500 vět by trvalo 5 dní. Paměť stoupla zatím na 15 GB. Chtělo by to paralelizovat minimálně na 20 procesů!

Výsledky

Není-li řečeno jinak, váhy se ladí na newstest2008 a testuje se na newstest2009. Trénuje se zatím na news-commentary, a to jak překladový, tak jazykový model.

Pokus Dev BLEU Test BLEU Poznámka Datum
encs-allcstem4-tmnews-lmnews 0.0918 0.0905 24.2.2010
csen-allcstem4-tmnews-lmnews 0.1439 0.1471 26.2.2010
ende-allcstem4-tmnews-lmnews 0.1168 test havaroval 26.2.2010
deen-allcstem4-tmnews-lmnews 0.1725 0.1617 26.2.2010
enes-allcstem4-tmnews-lmnews MERT havaroval 26.2.2010
esen-allcstem4-tmnews-lmnews extrakce havarovala 26.2.2010
enfr-allcstem4-tmnews-lmnews 0.1991 test havaroval 26.2.2010
fren-allcstem4-tmnews-lmnews 0.1869 0.2020 26.2.2010

ende test havaroval, protože jsem ho pustil dřív, než doběhla extrakce gramatiky pro testovací data. enfr ale padá i poté, a to proto, že některým částem (15 a 18) nestačí paměť.

Pokus Dev BLEU Test BLEU Poznámka Datum
obo-base1 (encs) 0.1084 0.0990 3.3.2010

Ondřej

Ahoj.

S podobnymi podminkami souhlasim, aspon se dozvime vic.

Cili do WMT by mohl jit:

- muj moses
- Tvuj joshua
- TectoMT

Moje augmented corpora jsou ~bojar/diplomka/granty/emplus/wmt10/playground/augmented_corpora/

baseline korpus je
czeng092-ne
(alignment enNa-lemma-csNa-lemma-gdfa)

maximalni paralelni korpus je
czeng092-ne+czeng092-eu+czeng092-fi+czeng092-te+czeng092-su+czeng092-we+emea2
(alignment csNm-lemma-enNm-lemma-gdfa)

korpusy pro LM mam zatim rozhrabane a pouzivam zejmena:

wmt10mono2

pozdeji budou pouzitelne wmt09mono, webcoll a syn200x

development korpus je wmt102.test08
test korpus je wmt102.test09

Zdrojovy jazyk je pro mne enNa2+stc.
Cilovy jazyk je pro mne csN[ma]+stc (jsou identicke, ne pro kazdy korpus mam vyrobeno vsechno)

'stc' obecne znamena supervised truecasing, cili truecasovano podle lemmatu.

O.


[ Back to the navigation ] [ Back to the content ]