Differences
This shows you the differences between two versions of the page.
| Both sides previous revision Previous revision Next revision | Previous revision | ||
|
user:zeman:wmt [2013/01/23 13:35] zeman Doplněno pár starých výsledků. |
user:zeman:wmt [2013/06/11 18:46] (current) zeman Appraise. |
||
|---|---|---|---|
| Line 3: | Line 3: | ||
| http:// | http:// | ||
| http:// | http:// | ||
| - | http://svn.ms.mff.cuni.cz/ | + | http://www.dfki.de/appraise/wmt13/ |
| < | < | ||
| ===== Aktuální úkoly ===== | ===== Aktuální úkoly ===== | ||
| - | * Data pro rok 2013 budou zveřejněna v lednu! | + | * Binarizace a prořezání jazykových modelů. Nějak prořezávat lze i paralelní trénovací data, Edinburgh loni něco takového použil a citoval. |
| - | * Přejít na hřiště verzované v Gitu (já mám stále jen to v svn). | + | * Proč mi letos vyšly tak špatně jazykové páry s češtinou bez angličtiny? Udělal jsem nějakou chybu při vyrábění průniku trénovacích dat? Jsou menší nebo špatně spárovaná? |
| - | * Rozpracované: | + | * Proč při překladu odkudkoliv do angličtiny to s jazykovým modelem na newsall (tj. starý, nevím jak je to s& |
| - | * Ještě by to chtělo zopakovat celý proces se značkováním korpusů OSN. Nejdřív se ale pokusím nechat alespoň jednou doběhnout současnou verzi. Původní korpus se nechtěl nechat označkovat a zdá se, že problém by mohl být v tom, že některé věty jsou příliš dlouhé. Pustil jsem tedy nejdřív čištění (pouze věty délky 1 až 99 slov), ale kvůli nějaké chybě má označkovaný korpus stejně původní | + | * danmake.pl na rozdíl od emana nerozlišuje kroky, které jsou OUTDATED nebo FAILED. Když mu eman select pro nějakou sadu požadavků najde několik kroků, z nichž první je nějak |
| + | * Nějak tu chybí | ||
| + | * Jazykové modely gigaword/ | ||
| + | * Velká paralelní data un, gigafren, czeng | ||
| * Pokusit se napodobit Ondrův nejlepší výsledek. | * Pokusit se napodobit Ondrův nejlepší výsledek. | ||
| * Použít stejná data jako on nebo lepší (to znamená přinejmenším celý Czeng a velká jednojazyčná data; Ondra ale prý vynechal Europarl, ten já vynechat nechci). | * Použít stejná data jako on nebo lepší (to znamená přinejmenším celý Czeng a velká jednojazyčná data; Ondra ale prý vynechal Europarl, ten já vynechat nechci). | ||
| Line 20: | Line 23: | ||
| * Pro všechny jazykové páry používat všechna dostupná data. Například velký Czeng pro češtinu, velké korpusy UN pro francouzštinu a španělštinu, | * Pro všechny jazykové páry používat všechna dostupná data. Například velký Czeng pro češtinu, velké korpusy UN pro francouzštinu a španělštinu, | ||
| * Převést všechny pokusy pod aktuální verzi Joshuy (ale bacha, možná bude hodně jiná). | * Převést všechny pokusy pod aktuální verzi Joshuy (ale bacha, možná bude hodně jiná). | ||
| + | * Dohnat pokusy s anglickým Gigawordem. | ||
| + | * Merty běží (1.5.2013), ale většina těchto modelů je příliš velkých (dekodérům nestačilo 120 GB paměti), takže se budou ještě dlouho přetahovat o '' | ||
| + | * Pokračovat v práci na gigafren. Překladový model je natrénovaný, | ||
| + | * Běží 4 obří merty... (přelom dubna a května 2013). Pokud nespadnou, budou se ještě řadu týdnů přetahovat o iridium, protože nikam jinam se nevejdou, ani jejich dekodéry ne. | ||
| + | * Nová data pro rok 2013. | ||
| + | * Modely s& | ||
| + | * Jsou tu nicméně data, která jsem zatím nepoužil vůbec (viz níže). Výhledově se podívat i na ně. Jde zejména korpus Common Crawl a přídavná ruská data (Yandex). | ||
| + | * Vývojová a testovací data: | ||
| + | * Kvůli ruštině musím pro nové pokusy (nad news8) přepnout DEV z 2010 na 2012. | ||
| + | * Od pondělního odpoledne 29.4.2013 všechny nové pokusy testovat na wmt2013. | ||
| + | * Inventura trénovacích dat: | ||
| + | * Europarl je stejný jako loni, tedy verze 7. | ||
| + | * News Commentary jsou nové a trochu větší, navíc s ruštinou, verze 8. | ||
| + | * Newsall je nové, protože přibyl rok 2012 a ruština. | ||
| + | * Korpus UN bude asi stejný, i když to na stránkách WMT výslovně nepíšou. Totéž gigafren. | ||
| + | * Gigawordy používám správné (ověřeno): | ||
| + | * Navíc je úplně nový korpus Common Crawl (prý je ale špinavý). Ten zatím nepoužívám a do termínu už to nestihnu. | ||
| ===== Srovnávací testy mezi Joshuou 1.1 a 1.3: Je třeba otestovat nastavení maximální délky fráze 5 ===== | ===== Srovnávací testy mezi Joshuou 1.1 a 1.3: Je třeba otestovat nastavení maximální délky fráze 5 ===== | ||
| Line 178: | Line 198: | ||
| Ještě je potřeba to testovat stejným skriptem jako Ondřej, abychom použili stejnou tokenizaci a taky abychom dostali rozptyl skóre. | Ještě je potřeba to testovat stejným skriptem jako Ondřej, abychom použili stejnou tokenizaci a taky abychom dostali rozptyl skóre. | ||
| + | ===== Jak zpracovat obří korpus Treexem, třeba označkovat Gigaword? ===== | ||
| + | |||
| + | Dosud jsem používal obyčejné treex -p, kde se přesměrovává standardní výstup do nějakého souboru. Pro velké korpusy, které se zpracovávají několik dní na půlce clusteru, tohle není ten nejvhodnější způsob. Vždy je pravděpodobné, | ||
| + | |||
| + | Martin preferuje jiný způsob. Tisíce vstupních souborů leží v nějaké adresářové struktuře, někdy i vícepatrové, | ||
| + | |||
| + | Martinův postup lze vykoukat z '' | ||