Differences

This shows you the differences between two versions of the page.

--- user:zeman:wmt [2013/03/21 14:24]
zeman Aktualizace.
+++ user:zeman:wmt [2013/04/15 12:13]
zeman Aktuální úkoly.
@@ Line 7: / Line 7: @@
 ===== Aktuální úkoly =====
-  * Dořešit s Ondřejem, proč mu vadí to mazání nepořádku po předchozích neúspěšných pokusech v eman.seeds/eman.command. V nejhorším případě to nějak budu muset zdvojit alespoň v danmake.pl.
   * Znova označkovat anglický Gigaword, tentokrát Featuramou.
+    * Označkováno už je, dva dílčí dokumenty se musely značkovat dodatečně. Nyní (pondělí 15.4.2013) běží slévání výstupu.
+    * Vyrobit jazykový model z anglického Gigawordu (předtím se ještě bude sto let vyrábět faktor stc, tak bacha, zablokuje to konzoli).
+    * Všechny překlady do angličtiny zopakovat s Gigawordem.
+  * Pokračovat v práci na gigafren. Překladový model je natrénovaný, je potřeba vyrobit kroky model, mert, translate a evaluator.
   * Dokončit pokusy s korpusy un.es-en a un.fr-en. Běží merty, pak translate a evaluator. Pak kombinace un s jinými korpusy (newseuro a newsall).
+    * Pokusy s překladovým modelem pouze na UN doběhly a moc se nevyznamenaly. Bez ohledu na to, že jazykový model obsahoval newsall i gigaword.
+    * Ještě je ale potřeba vyzkoušet kombinovaný překladový model (newseuro+un). Ten byl na minulém hřišti úspěšný.
   * Zkontrolovat data pro rok 2013.
     * Nejsou náhodou letos nové verze korpusů newseuro a newsall?
@@ Line 191: / Line 196: @@
 Ještě je potřeba to testovat stejným skriptem jako Ondřej, abychom použili stejnou tokenizaci a taky abychom dostali rozptyl skóre.
+===== Jak zpracovat obří korpus Treexem, třeba označkovat Gigaword? =====
+Dosud jsem používal obyčejné treex -p, kde se přesměrovává standardní výstup do nějakého souboru. Pro velké korpusy, které se zpracovávají několik dní na půlce clusteru, tohle není ten nejvhodnější způsob. Vždy je pravděpodobné, že pár strojů umře a pro pár dokumentů nám bude výstup chybět. Potom se obtížně dohledává, které dokumenty to byly a jak je opravit.
+Martin preferuje jiný způsob. Tisíce vstupních souborů leží v nějaké adresářové struktuře, někdy i vícepatrové, aby se předešlo jedné složce, která obsahuje třeba 100000 souborů. Paralelní Treex nepíše na standardní výstup, který by se beztak musel ukládat do nějakých souborů s číslovanými jmény. Místo toho Treex vytváří výstupní adresářovou strukturu, která odpovídá té vstupní, ale vedle kopií vstupních souborů tam navíc leží i ty výstupní. Snadno se pak zjistí, který výstupní soubor chybí nebo je v nepořádku a který skript se má pustit znova.
+Martinův postup lze vykoukat z ''treex/devel/en2cs/mononews/Makefile''.

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences