Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:wmt [2013/04/15 13:47] zeman Kombinace newseuro-czeng. |
user:zeman:wmt [2013/04/30 09:09] zeman Aktualizace úkolů. |
||
---|---|---|---|
Line 7: | Line 7: | ||
===== Aktuální úkoly ===== | ===== Aktuální úkoly ===== | ||
- | * Znova označkovat anglický Gigaword, tentokrát Featuramou. | + | * Nová data pro rok 2013. |
- | * Označkováno už je, dva dílčí dokumenty | + | * Opravují |
- | * Vyrobit jazykový model z anglického Gigawordu (předtím se ještě bude sto let vyrábět faktor stc, tak bacha, zablokuje to konzoli). | + | * Vyrobit modely. Ale pozor, s novými DEV a TEST daty, viz níže! |
+ | * Vývojová a testovací data: | ||
+ | * Kvůli ruštině musím pro nové pokusy | ||
+ | * Od pondělního odpoledne 29.4.2013 | ||
+ | * Inventura trénovacích dat: | ||
+ | * Europarl je stejný jako loni, tedy verze 7. | ||
+ | * News Commentary jsou nové a trochu větší, navíc s ruštinou, verze 8. | ||
+ | * Newsall je nové, protože | ||
+ | * Korpus UN bude asi stejný, i když to na stránkách WMT výslovně nepíšou. Totéž gigafren. | ||
+ | * Gigawordy používám správné (ověřeno): | ||
+ | * Navíc je úplně nový korpus Common Crawl (prý je ale špinavý). Ten zatím nepoužívám a do termínu už to nestihnu. | ||
+ | * Dohnat pokusy s anglickým Gigawordem. | ||
+ | * Pouštím 4 merty se starým newseuro: cs-en, de-en, es-en a fr-en. | ||
* Všechny překlady do angličtiny zopakovat s Gigawordem. | * Všechny překlady do angličtiny zopakovat s Gigawordem. | ||
* Pokračovat v práci na gigafren. Překladový model je natrénovaný, | * Pokračovat v práci na gigafren. Překladový model je natrénovaný, | ||
+ | * Běží 4 obří merty... | ||
* Pro oba směry (en-fr a fr-en) chci překlad s Gigawordem i bez něj, tj. TM: | * Pro oba směry (en-fr a fr-en) chci překlad s Gigawordem i bez něj, tj. TM: | ||
* Pak chci ještě totéž, ale překladový model je kombinovaný s newseuro, případně i s un (ale un to asi moc nevylepší a bude to nezvladatelně veliké). | * Pak chci ještě totéž, ale překladový model je kombinovaný s newseuro, případně i s un (ale un to asi moc nevylepší a bude to nezvladatelně veliké). | ||
- | * Dokončit pokusy s korpusy un.es-en a un.fr-en. Běží merty, pak translate a evaluator. Pak kombinace un s jinými korpusy | + | * Dokončit pokusy s korpusy un.es-en a un.fr-en |
- | * Pokusy s překladovým modelem pouze na UN doběhly a moc se nevyznamenaly. Bez ohledu na to, že jazykový model obsahoval newsall i gigaword. | + | * Běží merty... |
- | * Ještě je ale potřeba vyzkoušet kombinovaný překladový model (newseuro+un). Ten byl na minulém hřišti úspěšný. | + | |
- | * Obdobně mi chybí výsledky pro kombinaci Czengu a newseuro (oba směry en-cs i cs-en). | + | |
- | * Zkontrolovat data pro rok 2013. | + | |
- | * Nejsou náhodou letos nové verze korpusů newseuro a newsall? | + | |
- | * Europarl je stejný jako loni, tedy verze 7. | + | |
- | * U News Commentary to není jisté, spíš asi budou nové. | + | |
- | * Korpus UN bude asi stejný, i když to na stránkách WMT výslovně nepíšou. | + | |
- | * Navíc je úplně nový korpus Common Crawl (prý je ale špinavý). | + | |
- | * Nové by mělo být i newsall, protože přibyl rok 2012. | + | |
- | * Používám správné verze Gigawordů? | + | |
- | * O ruštině nemluvě... | + | |
* Proč při překladu odkudkoliv do angličtiny to s jazykovým modelem na newsall dopadne malinko hůř než bez něj? Nemělo by to spíš dopadnout zřetelně líp? Co je s ním? Jak je velký? Jakou dostal váhu? Jak se po jeho přidání změnil výstup překladu? | * Proč při překladu odkudkoliv do angličtiny to s jazykovým modelem na newsall dopadne malinko hůř než bez něj? Nemělo by to spíš dopadnout zřetelně líp? Co je s ním? Jak je velký? Jakou dostal váhu? Jak se po jeho přidání změnil výstup překladu? | ||
* danmake.pl na rozdíl od emana nerozlišuje kroky, které jsou OUTDATED nebo FAILED. Když mu eman select pro nějakou sadu požadavků najde několik kroků, z nichž první je nějak vadný a druhý je DONE, danmake klidně použije ten první a pak se diví. | * danmake.pl na rozdíl od emana nerozlišuje kroky, které jsou OUTDATED nebo FAILED. Když mu eman select pro nějakou sadu požadavků najde několik kroků, z nichž první je nějak vadný a druhý je DONE, danmake klidně použije ten první a pak se diví. |