[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
user:zeman:wmt [2013/04/16 11:26]
zeman Upřesnění aktuálních úkolů.
user:zeman:wmt [2013/06/11 18:46] (current)
zeman Appraise.
Line 3: Line 3:
 http://matrix.statmt.org/ http://matrix.statmt.org/
 http://www.statmt.org/wmt13/translation-task.html http://www.statmt.org/wmt13/translation-task.html
 +http://www.dfki.de/appraise/wmt13/
 <code>/net/work/people/zeman/wmt</code> <code>/net/work/people/zeman/wmt</code>
  
 ===== Aktuální úkoly ===== ===== Aktuální úkoly =====
  
-  * Dohnat pokusy s anglickým Gigawordem. +  * Binarizace a prořezání jazykových modelůNějak prořezávat lze paralelní trénovací data, Edinburgh loni co takového použil citoval
-    * Vyrábí se jazykový model z anglického Gigawordu (od 11:14 úterý 16.4.2013). +  * Proč mi letos vyšly tak špatně jazykové páry s češtinou bez angličtiny? Udělal jsem nějakou chybu i vyrábění průniku trénovacích datJsou menší nebo špatně spárovaná
-    * Všechny překlady do angličtiny zopakovat s Gigawordem. +  * Proč při překladu odkudkoliv do angličtiny to s jazykovým modelem na newsall (tj. starý, nevím jak je to s&nbsp;novým news8all) dopadne malinko hůř než bez něj? Nemělo by to spíš dopadnout zřetelně líp? Co je s ním? Jak je velký? Jakou dostal váhu? Jak se po jeho přidání změnil výstup překladu?
-  * Pokračovat v práci na gigafren. Překladový model je natrénovaný, je potřeba vyrobit kroky model, mert, translate a evaluator. +
-    * Počkat, až bude hotový jazykový model z anglického Gigawordu, abychom nemuseli zase něco jednorázově odkládat. +
-    * Pro oba směry (en-fr a fr-en) chci překlad s Gigawordem bez j, tj. TM:gigafren, LM:gigafren + newsall [+ gigaword]. +
-    * Pak chci ještě totéž, ale překladový model je kombinovaný s newseuro, případně i s un (ale un to asi moc nevylepší bude to nezvladatelně veliké)+
-  * Dokončit pokusy s korpusy un.es-en a un.fr-en. +
-    * Vyrobit kombinovaný překladový model (newseuro+un). Ten byl na minulém hřišti úspěšný. +
-    * Až bude také k dispozici jazykový model z anglického Gigawordu, pustit model, mert, translate a evaluator. +
-  * Obdobně mi chybí výsledky pro kombinaci Czengu a newseuro (oba směry en-cs i cs-en). +
-    * Slepit korpusy a alignmenty, vyrobit kombinovaný ekladový model. +
-    * Až bude také k dispozici jazykový model z anglického Gigawordu, pustit model, mert, translate a evaluator. +
-  * Zkontrolovat data pro rok 2013. +
-    * Nejsou náhodou letos nové verze korpusů newseuro a newsall? +
-      * Europarl je stejný jako loni, tedy verze 7. +
-      * U News Commentary to není jisté, spíš asi budou nové. +
-      * Korpus UN bude asi stejný, i když to na stránkách WMT výslovně nepíšou. +
-      * Navíc je úplně nový korpus Common Crawl (prý je ale špinavý). +
-      * Nové by mělo být i newsall, protože přibyl rok 2012. +
-    * Používám správné verze Gigawordů? +
-    * O ruštině nemluvě... +
-  * Proč při překladu odkudkoliv do angličtiny to s jazykovým modelem na newsall dopadne malinko hůř než bez něj? Nemělo by to spíš dopadnout zřetelně líp? Co je s ním? Jak je velký? Jakou dostal váhu? Jak se po jeho přidání změnil výstup překladu?+
   * danmake.pl na rozdíl od emana nerozlišuje kroky, které jsou OUTDATED nebo FAILED. Když mu eman select pro nějakou sadu požadavků najde několik kroků, z nichž první je nějak vadný a druhý je DONE, danmake klidně použije ten první a pak se diví.   * danmake.pl na rozdíl od emana nerozlišuje kroky, které jsou OUTDATED nebo FAILED. Když mu eman select pro nějakou sadu požadavků najde několik kroků, z nichž první je nějak vadný a druhý je DONE, danmake klidně použije ten první a pak se diví.
   * Nějak tu chybí pořádná tabulka loňských výsledků. To je mám opisovat z&nbsp;článku na WMT?   * Nějak tu chybí pořádná tabulka loňských výsledků. To je mám opisovat z&nbsp;článku na WMT?
Line 42: Line 23:
   * Pro všechny jazykové páry používat všechna dostupná data. Například velký Czeng pro češtinu, velké korpusy UN pro francouzštinu a španělštinu, gigawordy pro jazykové modely atd.   * Pro všechny jazykové páry používat všechna dostupná data. Například velký Czeng pro češtinu, velké korpusy UN pro francouzštinu a španělštinu, gigawordy pro jazykové modely atd.
   * Převést všechny pokusy pod aktuální verzi Joshuy (ale bacha, možná bude hodně jiná).   * Převést všechny pokusy pod aktuální verzi Joshuy (ale bacha, možná bude hodně jiná).
 +  * Dohnat pokusy s anglickým Gigawordem.
 +    * Merty běží (1.5.2013), ale většina těchto modelů je příliš velkých (dekodérům nestačilo 120 GB paměti), takže se budou ještě dlouho přetahovat o ''iridium'' a termín určitě nestihnou.
 +  * Pokračovat v práci na gigafren. Překladový model je natrénovaný, je potřeba vyrobit kroky model, mert, translate a evaluator.
 +    * Běží 4 obří merty... (přelom dubna a května 2013). Pokud nespadnou, budou se ještě řadu týdnů přetahovat o iridium, protože nikam jinam se nevejdou, ani jejich dekodéry ne.
 +  * Nová data pro rok 2013.
 +    * Modely s&nbsp;Gigawordem (zejména tím anglickým) ještě asi poběží několik týdnů, jsou příliš veliké. Ostatní je snad hotovo.
 +    * Jsou tu nicméně data, která jsem zatím nepoužil vůbec (viz níže). Výhledově se podívat i na ně. Jde zejména korpus Common Crawl a přídavná ruská data (Yandex).
 +    * Vývojová a testovací data:
 +      * Kvůli ruštině musím pro nové pokusy (nad news8) přepnout DEV z 2010 na 2012.
 +      * Od pondělního odpoledne 29.4.2013 všechny nové pokusy testovat na wmt2013.
 +    * Inventura trénovacích dat:
 +      * Europarl je stejný jako loni, tedy verze 7.
 +      * News Commentary jsou nové a trochu větší, navíc s ruštinou, verze 8.
 +      * Newsall je nové, protože přibyl rok 2012 a ruština.
 +      * Korpus UN bude asi stejný, i když to na stránkách WMT výslovně nepíšou. Totéž gigafren.
 +      * Gigawordy používám správné (ověřeno): en 5, es 3, fr 3.
 +      * Navíc je úplně nový korpus Common Crawl (prý je ale špinavý). Ten zatím nepoužívám a do termínu už to nestihnu.
  
 ===== Srovnávací testy mezi Joshuou 1.1 a 1.3: Je třeba otestovat nastavení maximální délky fráze 5 ===== ===== Srovnávací testy mezi Joshuou 1.1 a 1.3: Je třeba otestovat nastavení maximální délky fráze 5 =====

[ Back to the navigation ] [ Back to the content ]