Differences
This shows you the differences between two versions of the page.
| Both sides previous revision Previous revision Next revision | Previous revision | ||
|
user:zeman:wmt [2013/04/15 12:14] zeman Odstraněn duplicitní úkol. |
user:zeman:wmt [2013/06/11 18:46] (current) zeman Appraise. |
||
|---|---|---|---|
| Line 3: | Line 3: | ||
| http:// | http:// | ||
| http:// | http:// | ||
| + | http:// | ||
| < | < | ||
| ===== Aktuální úkoly ===== | ===== Aktuální úkoly ===== | ||
| - | * Znova označkovat anglický Gigaword, tentokrát Featuramou. | + | * Binarizace a prořezání jazykových modelů. Nějak prořezávat lze i paralelní trénovací data, Edinburgh loni něco takového použil a citoval. |
| - | * Označkováno už je, dva dílčí dokumenty se musely značkovat dodatečně. Nyní (pondělí 15.4.2013) běží slévání výstupu. | + | * Proč mi letos vyšly tak špatně jazykové páry s češtinou bez angličtiny? Udělal jsem nějakou chybu při vyrábění průniku trénovacích dat? Jsou menší nebo špatně spárovaná? |
| - | * Vyrobit jazykový model z anglického Gigawordu (předtím se ještě bude sto let vyrábět faktor stc, tak bacha, zablokuje to konzoli). | + | * Proč při překladu odkudkoliv do angličtiny to s jazykovým modelem na newsall |
| - | * Všechny překlady do angličtiny | + | |
| - | * Pokračovat v práci na gigafren. Překladový model je natrénovaný, | + | |
| - | * Dokončit pokusy s korpusy un.es-en a un.fr-en. Běží merty, pak translate a evaluator. Pak kombinace un s jinými korpusy (newseuro a newsall). | + | |
| - | * Pokusy s překladovým modelem pouze na UN doběhly a moc se nevyznamenaly. Bez ohledu na to, že jazykový model obsahoval newsall i gigaword. | + | |
| - | * Ještě je ale potřeba vyzkoušet kombinovaný | + | |
| - | * Zkontrolovat data pro rok 2013. | + | |
| - | * Nejsou náhodou letos nové verze korpusů newseuro a newsall? | + | |
| - | * Europarl je stejný jako loni, tedy verze 7. | + | |
| - | * U News Commentary to není jisté, spíš asi budou nové. | + | |
| - | * Korpus UN bude asi stejný, i když to na stránkách WMT výslovně nepíšou. | + | |
| - | * Navíc je úplně nový korpus Common Crawl (prý je ale špinavý). | + | |
| - | * Nové by mělo být i newsall, protože přibyl rok 2012. | + | |
| - | * Používám správné verze Gigawordů? | + | |
| - | * O ruštině nemluvě... | + | |
| - | * Proč při překladu odkudkoliv do angličtiny to s jazykovým modelem na newsall dopadne malinko hůř než bez něj? Nemělo by to spíš dopadnout zřetelně líp? Co je s ním? Jak je velký? Jakou dostal váhu? Jak se po jeho přidání změnil výstup překladu? | + | |
| * danmake.pl na rozdíl od emana nerozlišuje kroky, které jsou OUTDATED nebo FAILED. Když mu eman select pro nějakou sadu požadavků najde několik kroků, z nichž první je nějak vadný a druhý je DONE, danmake klidně použije ten první a pak se diví. | * danmake.pl na rozdíl od emana nerozlišuje kroky, které jsou OUTDATED nebo FAILED. Když mu eman select pro nějakou sadu požadavků najde několik kroků, z nichž první je nějak vadný a druhý je DONE, danmake klidně použije ten první a pak se diví. | ||
| * Nějak tu chybí pořádná tabulka loňských výsledků. To je mám opisovat z& | * Nějak tu chybí pořádná tabulka loňských výsledků. To je mám opisovat z& | ||
| Line 37: | Line 23: | ||
| * Pro všechny jazykové páry používat všechna dostupná data. Například velký Czeng pro češtinu, velké korpusy UN pro francouzštinu a španělštinu, | * Pro všechny jazykové páry používat všechna dostupná data. Například velký Czeng pro češtinu, velké korpusy UN pro francouzštinu a španělštinu, | ||
| * Převést všechny pokusy pod aktuální verzi Joshuy (ale bacha, možná bude hodně jiná). | * Převést všechny pokusy pod aktuální verzi Joshuy (ale bacha, možná bude hodně jiná). | ||
| + | * Dohnat pokusy s anglickým Gigawordem. | ||
| + | * Merty běží (1.5.2013), ale většina těchto modelů je příliš velkých (dekodérům nestačilo 120 GB paměti), takže se budou ještě dlouho přetahovat o '' | ||
| + | * Pokračovat v práci na gigafren. Překladový model je natrénovaný, | ||
| + | * Běží 4 obří merty... (přelom dubna a května 2013). Pokud nespadnou, budou se ještě řadu týdnů přetahovat o iridium, protože nikam jinam se nevejdou, ani jejich dekodéry ne. | ||
| + | * Nová data pro rok 2013. | ||
| + | * Modely s& | ||
| + | * Jsou tu nicméně data, která jsem zatím nepoužil vůbec (viz níže). Výhledově se podívat i na ně. Jde zejména korpus Common Crawl a přídavná ruská data (Yandex). | ||
| + | * Vývojová a testovací data: | ||
| + | * Kvůli ruštině musím pro nové pokusy (nad news8) přepnout DEV z 2010 na 2012. | ||
| + | * Od pondělního odpoledne 29.4.2013 všechny nové pokusy testovat na wmt2013. | ||
| + | * Inventura trénovacích dat: | ||
| + | * Europarl je stejný jako loni, tedy verze 7. | ||
| + | * News Commentary jsou nové a trochu větší, navíc s ruštinou, verze 8. | ||
| + | * Newsall je nové, protože přibyl rok 2012 a ruština. | ||
| + | * Korpus UN bude asi stejný, i když to na stránkách WMT výslovně nepíšou. Totéž gigafren. | ||
| + | * Gigawordy používám správné (ověřeno): | ||
| + | * Navíc je úplně nový korpus Common Crawl (prý je ale špinavý). Ten zatím nepoužívám a do termínu už to nestihnu. | ||
| ===== Srovnávací testy mezi Joshuou 1.1 a 1.3: Je třeba otestovat nastavení maximální délky fráze 5 ===== | ===== Srovnávací testy mezi Joshuou 1.1 a 1.3: Je třeba otestovat nastavení maximální délky fráze 5 ===== | ||