Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:wmt [2010/03/22 07:48] zeman Výsledky *-clean (Joshua 1.1, maxPhraseLength=5, vyřazeny věty o 100 a více slovech) |
user:zeman:wmt [2012/01/23 08:28] zeman Kontrolní běh uvozovek, čeština už je hotová. |
||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== Danovy pokusy s Joshuou na WMT 2010 ====== | + | ====== Danovy pokusy s Joshuou na WMT 2012 ====== |
http:// | http:// | ||
- | http:// | + | http:// |
http:// | http:// | ||
< | < | ||
- | |||
===== Aktuální úkoly ===== | ===== Aktuální úkoly ===== | ||
- | * Převést všechny pokusy pod Joshuu 1.3. | + | |
+ | * Najít a oživit loňské pokusy s interpunkcí, | ||
+ | | ||
+ | * Konečně převést Joshuu pod Emana. | ||
* Převést všechny pokusy na nové zacházení s velkými písmeny (viz Ondřej a čeština). | * Převést všechny pokusy na nové zacházení s velkými písmeny (viz Ondřej a čeština). | ||
* Dotáhnout do konce obo-max. | * Dotáhnout do konce obo-max. | ||
* Při klonování experimentu se musí kopírovat mert/ | * Při klonování experimentu se musí kopírovat mert/ | ||
- | * Upravit test.pl, aby před počítáním BLEU skóre odstraňoval přípony " | + | * Pro všechny jazykové páry používat všechna dostupná data, tedy i Europarl, neomezovat |
- | * Vyrobit end-to-end skript, abych mohl pouštět pokusy s menšími nároky na babysitting. | + | |
- | ===== Příprava korpusů | + | ===== Srovnávací testy mezi Joshuou 1.1 a 1.3 ===== |
- | Vývojová data ('' | + | 21.1.2012 se vracím k pokusu |
- | ===== Náročnost ===== | + | 22.1.2012 obdobně pouštím také '' |
- | ==== obo-base1 ==== | + | 22.1.2012 '' |
- | První pokus s Ondřejovými daty 3.3.2010, ale jen trigramový jazykový model. Proběhlo celkem bez potíží. | + | ==== Staré záznamy |
- | + | ||
- | ==== obo-base2 | + | |
- | + | ||
- | Snažím se vyrobit větší jazykové modely. Zatím (5.3.2010 dopoledne) doběhl čtyřgram, běží pentagram. | + | |
- | + | ||
- | Trénování 4gramového jazykového modelu trvalo půl hodiny a spotřebovalo něco mezi 10 a 15 GB. Trénování pentagramu trvalo asi 40 minut a spotřebovalo něco přes 18 GB. Hexagram trval hodinu a spotřeboval nejméně 23 GB (to byl poslední údaj, který jsem viděl, než jsem odešel). | + | |
- | + | ||
- | ==== obo-base3 ==== | + | |
- | + | ||
- | Klon obo-base2. Používám Ondřejův hotový šestigramový model a pouštím rovnou MERT. | + | |
- | + | ||
- | ==== obo-max ==== | + | |
- | + | ||
- | Binarizace ve verzi 1.3 zahrnuje počítání tabulky lexikálních pravděpodobností a trvá asi 1:20 hodiny. Paměťová náročnost: | + | |
- | + | ||
- | Extrakce gramatiky nabíhala přes 20 minut, vyčerpala 11 GB. Teď už běží vlastní extrakce, ale je hodně pomalá, jedna věta trvá třeba i 10 minut. Průměrný čas je zatím 3 minuty na 1 větu, takže 2500 vět by trvalo 5 dní. Paměť stoupla zatím na 15 GB. Chtělo by to paralelizovat minimálně na 20 procesů! | + | |
+ | Po přechodu z Joshuy 1.1 na 1.3 u téměř všech pokusů pokleslo BLEU skóre. Je to sice malý pokles a pravděpodobně není statisticky významný, ale stejně mě to zaráží. Srovnání u češtiny ukázalo, že se liší extrahovaná gramatika. V konfiguraci se už teď nezadává, že maximální délka fráze má být 5. Hraje to nějakou roli? | ||
+ | | **Pokus** | **Dev WMT08** | **Test WMT09** | **Test WMT10** | **Poznámka** | **Datum** | | ||
+ | | obo-base1 (encs) | 0.1084 | 0.0990 | | | 3.3.2010 | | ||
+ | | obo-base3 (encs) | 0.1064 | 0.0990 | | Na rozdíl od obo-base1 použit šestigramový jazykový model místo třígramového. Výsledek je velmi podezřelý (velmi podezřele podobný tomu třígramovému), | ||
+ | | obo-base3 (encs) | 0.1103 | 0.1012 | | Opravný pokus, tentokrát už dekodér snad ví, že máme šestigram. | 5.3.2010 | | ||
+ | | obo-max(-final) (encs) | 0.1344 | 0.1300 | 0.1357 (13.4/12.6) | Ondrův maximální paralelní korpus a třígramový jazykový model. | 7.3.2010 | | ||
+ | | obo-max3 (encs) | 0.1387 | | 0.1402 | Ondrův maximální paralelní korpus a šestigramový jazykový model. | 8.3.2010 | | ||
+ | Na konci srpna 2010 oživuju pokusy s& | ||
+ | | **Pokus** | **Dev WMT08** | **Test WMT09** | **Test WMT10** | **Poznámka** | **Datum** | | ||
+ | | encs: | ||
+ | | encs: | ||
+ | | encs: | ||
+ | | encs: | ||
+ | | encs: | ||
+ | | encs: | ||
+ | | encs: | ||
+ | | encs: | ||
+ | | encs: | ||
+ | ===== Data ===== | ||
+ | Vývojová data ('' | ||
+ | ==== Ondřejova data ==== | ||
+ | Ondřejovy augmented corpora se nacházejí v& | ||
+ | Vysvětlení Ondrových pseudojazyků: | ||
+ | * Znaky za '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | Ondřejův maximální paralelní korpus navíc obsahuje další části Czengu a korpus Emea: '' | ||
+ | Pro český jazykový model chtěl Ondřej později ještě přidat korpusy '' | ||
+ | Testovací data by měl mít stejná jako já, tj. '' | ||
+ | ===== Náročnost ===== | ||
+ | ==== obo-max ==== | ||
+ | Binarizace ve verzi 1.3 zahrnuje počítání tabulky lexikálních pravděpodobností a trvá asi 1:20 hodiny. Paměťová náročnost: | ||
+ | Extrakce gramatiky nabíhala přes 20 minut, vyčerpala 11 GB. Teď už běží vlastní extrakce, ale je hodně pomalá, jedna věta trvá třeba i 10 minut. Průměrný čas je zatím 3 minuty na 1 větu, takže 2500 vět by trvalo 5 dní. Paměť stoupla zatím na 15 GB. Chtělo by to paralelizovat minimálně na 20 procesů! | ||
===== Výsledky ===== | ===== Výsledky ===== | ||
Line 92: | Line 114: | ||
| fren-josh13 | 0.1861 | 0.2036 | | | 9.3.2010 | | | fren-josh13 | 0.1861 | 0.2036 | | | 9.3.2010 | | ||
- | Po přechodu z Joshuy 1.1 na 1.3 u téměř všech pokusů pokleslo BLEU skóre. Je to sice malý pokles a pravděpodobně není statisticky významný, ale stejně mě to zaráží. Srovnání u češtiny ukázalo, že se liší extrahovaná gramatika. V konfiguraci se už teď nezadává, že maximální délka fráze má být 5. Hraje to nějakou roli? | + | ===== Pokusy s uvozovkami |
- | + | ||
- | | **Pokus** | **Dev WMT08** | **Test WMT09** | **Test WMT10** | **Poznámka** | **Datum** | | + | |
- | | obo-base1 (encs) | 0.1084 | 0.0990 | | | 3.3.2010 | | + | |
- | | obo-base3 (encs) | 0.1064 | 0.0990 | | Na rozdíl od obo-base1 použit šestigramový jazykový model místo třígramového. Výsledek je velmi podezřelý (velmi podezřele podobný tomu třígramovému), | + | |
- | | obo-base3 (encs) | 0.1103 | 0.1012 | | Opravný pokus, tentokrát už dekodér snad ví, že máme šestigram. | 5.3.2010 | | + | |
- | | obo-max(-final) (encs) | 0.1344 | 0.1300 | 0.1357 (13.4/12.6) | Ondrův maximální paralelní korpus a třígramový jazykový model. | 7.3.2010 | | + | |
- | | obo-max3 (encs) | 0.1387 | | 0.1402 | Ondrův maximální paralelní korpus a šestigramový jazykový model. | 8.3.2010 | | + | |
- | + | ||
- | ===== Ondřej | + | |
- | + | ||
- | Ahoj. | + | |
- | + | ||
- | S podobnymi podminkami souhlasim, aspon se dozvime vic. | + | |
- | + | ||
- | Cili do WMT by mohl jit: | + | |
- | - muj moses | + | Na začátku léta 2011 jsem se pokoušel poloautomaticky opravit a sjednotit uvozovky ve všech jazycích WMT 2011. Myslím, že to nebylo dodělané, a momentálně to nemůžu najít. Šlo o úpravu trénovacích korpusů. Výsledkem měla být " |
- | - Tvuj joshua | + | |
- | - TectoMT | + | |
- | Moje augmented corpora jsou ~bojar/diplomka/ | + | '' |
+ | a co historie loňských commitů? | ||
- | baseline | + | Podle časových značek u korpusů v '' |
- | czeng092-ne | + | |
- | (alignment enNa-lemma-csNa-lemma-gdfa) | + | |
- | maximalni paralelni korpus je | + | ===== Inventura 16.1.2012 ===== |
- | czeng092-ne+czeng092-eu+czeng092-fi+czeng092-te+czeng092-su+czeng092-we+emea2 | + | |
- | (alignment csNm-lemma-enNm-lemma-gdfa) | + | |
- | korpusy pro LM mam zatim rozhrabane a pouzivam zejmena: | + | 16.1.2012 21:12: Pouštím znova pokus '' |
- | wmt10mono2 | + | Nový průběh všech osmi starých pokusů (supervised truecasing, žádná normalizace uvozovek, nové je na nich paralelní počítání alignmentu, ale výsledek by měl být identický – nekontroloval jsem): '' |
- | pozdeji budou pouzitelne wmt09mono, webcoll a syn200x | + | ^ Jazyky ^ BLEU ^ |
+ | | en-cs | 0.1191 | | ||
+ | | cs-en | 0.1692 | | ||
+ | | en-de | 0.1337 | | ||
+ | | de-en | 0.1885 | | ||
+ | | en-es | 0.2573 | | ||
+ | | es-en | 0.2446 | | ||
+ | | en-fr | 0.2591 | | ||
+ | | fr-en | 0.2243 | | ||
- | development korpus | + | Od jara mám vytvořené také pokusy s korpusy, ve kterých jsou upravené uvozovky (verze 6b), takže |
- | test korpus | + | |
+ | '' | ||
- | Zdrojovy jazyk je pro mne enNa2+stc. | + | První výsledky jsou zatím bez záruky, protože v průběhu Gizy jsem narazil na kvótu. Procesy sice nespadly, ale nejsem si jistý, co prováděly těch několik hodin, kdy nemohly psát na disk. Takže raději pustit |
- | Cilovy jazyk je pro mne csN[ma]+stc | + | |
- | ' | + | ^ Jazyky ^ BLEU ^ Kontrolní běh ^ |
+ | | en-cs | FAILED | 0.1267 | | ||
+ | | cs-en | 0.1748 | 0.1748 | | ||
+ | | en-de | 0.1268 | | | ||
+ | | de-en | 0.1869 | | | ||
+ | | en-es | 0.2542 | | | ||
+ | | es-en | 0.2428 | | | ||
+ | | en-fr | 0.2586 | | | ||
+ | | fr-en | 0.2294 | | | ||
- | O. |