Differences

This shows you the differences between two versions of the page.

--- user:zeman:wmt [2013/04/15 09:43]
zeman S Ondřejem dořešeno. Vyhrál :-)
+++ user:zeman:wmt [2013/04/15 12:39]
zeman Plány s gigafren.
@@ Line 8: / Line 8: @@
   * Znova označkovat anglický Gigaword, tentokrát Featuramou.
+    * Označkováno už je, dva dílčí dokumenty se musely značkovat dodatečně. Nyní (pondělí 15.4.2013) běží slévání výstupu.
+    * Vyrobit jazykový model z anglického Gigawordu (předtím se ještě bude sto let vyrábět faktor stc, tak bacha, zablokuje to konzoli).
+    * Všechny překlady do angličtiny zopakovat s Gigawordem.
+  * Pokračovat v práci na gigafren. Překladový model je natrénovaný, je potřeba vyrobit kroky model, mert, translate a evaluator.
+    * Pro oba směry (en-fr a fr-en) chci překlad s Gigawordem i bez něj, tj. TM:gigafren, LM:gigafren + newsall [+ gigaword].
+    * Pak chci ještě totéž, ale překladový model je kombinovaný s newseuro, případně i s un (ale un to asi moc nevylepší a bude to nezvladatelně veliké).
   * Dokončit pokusy s korpusy un.es-en a un.fr-en. Běží merty, pak translate a evaluator. Pak kombinace un s jinými korpusy (newseuro a newsall).
+    * Pokusy s překladovým modelem pouze na UN doběhly a moc se nevyznamenaly. Bez ohledu na to, že jazykový model obsahoval newsall i gigaword.
+    * Ještě je ale potřeba vyzkoušet kombinovaný překladový model (newseuro+un). Ten byl na minulém hřišti úspěšný.
   * Zkontrolovat data pro rok 2013.
     * Nejsou náhodou letos nové verze korpusů newseuro a newsall?
@@ Line 19: / Line 27: @@
     * O ruštině nemluvě...
   * Proč při překladu odkudkoliv do angličtiny to s jazykovým modelem na newsall dopadne malinko hůř než bez něj? Nemělo by to spíš dopadnout zřetelně líp? Co je s ním? Jak je velký? Jakou dostal váhu? Jak se po jeho přidání změnil výstup překladu?
-  * Giga.fr-en: Stále ještě se vyrábí překladový model. Pokud se ale stihne vyrobit, musím z něj vyždímat nějaké výsledky.
   * danmake.pl na rozdíl od emana nerozlišuje kroky, které jsou OUTDATED nebo FAILED. Když mu eman select pro nějakou sadu požadavků najde několik kroků, z nichž první je nějak vadný a druhý je DONE, danmake klidně použije ten první a pak se diví.
   * Nějak tu chybí pořádná tabulka loňských výsledků. To je mám opisovat z&nbsp;článku na WMT?
@@ Line 190: / Line 197: @@
 Ještě je potřeba to testovat stejným skriptem jako Ondřej, abychom použili stejnou tokenizaci a taky abychom dostali rozptyl skóre.
+===== Jak zpracovat obří korpus Treexem, třeba označkovat Gigaword? =====
+Dosud jsem používal obyčejné treex -p, kde se přesměrovává standardní výstup do nějakého souboru. Pro velké korpusy, které se zpracovávají několik dní na půlce clusteru, tohle není ten nejvhodnější způsob. Vždy je pravděpodobné, že pár strojů umře a pro pár dokumentů nám bude výstup chybět. Potom se obtížně dohledává, které dokumenty to byly a jak je opravit.
+Martin preferuje jiný způsob. Tisíce vstupních souborů leží v nějaké adresářové struktuře, někdy i vícepatrové, aby se předešlo jedné složce, která obsahuje třeba 100000 souborů. Paralelní Treex nepíše na standardní výstup, který by se beztak musel ukládat do nějakých souborů s číslovanými jmény. Místo toho Treex vytváří výstupní adresářovou strukturu, která odpovídá té vstupní, ale vedle kopií vstupních souborů tam navíc leží i ty výstupní. Snadno se pak zjistí, který výstupní soubor chybí nebo je v nepořádku a který skript se má pustit znova.
+Martinův postup lze vykoukat z ''treex/devel/en2cs/mononews/Makefile''.

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences