Differences

This shows you the differences between two versions of the page.

--- user:zeman:morpho-challenge-2008 [2008/06/27 12:07]
zeman Stáhnout opravená anglická data.
+++ user:zeman:morpho-challenge-2008 [2008/06/27 14:01]
zeman Oprava cesty ke skriptu.
@@ Line 48: / Line 48: @@
 Skript ''vzorfiltr.pl'' jako vedlejší účinek vedle standardního výstupu tiše vyrobí soubory ''kmeny.txt'' a ''koncovky.txt''.
-===== Zbývá udělat =====
+===== Morfematická segmentace =====
-  * Stáhnout opravená anglická trénovací data a přetrénovat.
-  * Vzít testovací data a mnou natrénované kmeny a koncovky a provést morfematickou segmentaci testovacích dat. Jedno slovo může být rozebráno několika způsoby. Morfémy mohou být identifikovány libovolným řetězcem, takže je nemusíme převádět zpět do původního kódování, ale na výstupu je každopádně potřeba uvést původní nerozdělený slovní tvar v&nbsp;původním kódování.
-  * Vyzkoušet skórování.
-  * Pustit celý algoritmus na převrácená slova a získat předpony.
-  * Vymyslet způsob, jak využít četnosti slovních tvarů, které jsme dostali s&nbsp;trénovacími daty.
-==== Morfematická segmentace ====
 Mám natrénovaný seznam vzorů, resp. seznam kmenů a koncovek. Segmentace ve skutečnosti znamená najít takové dělení slova na dvě části, aby první část odpovídala známému kmenu a druhá část známé koncovce.
@@ Line 64: / Line 56: @@
 Rozklad slov na základě již vybudovaného seznamu vzorů se provede takto:
 <code>mchallenge.pl kmeny.txt koncovky.txt < wordlist.eng > en.dz.txt</code>
+<code>cd $MC/data/2008
+foreach l (ar de en fi tr)
+  $MC/mchallenge.pl $l.kmeny.txt $l.koncovky.txt < wordlist.$l.txt > $l.dz.txt
+end</code>
+===== Zbývá udělat =====
+  * Vzít testovací data a mnou natrénované kmeny a koncovky a provést morfematickou segmentaci testovacích dat. Jedno slovo může být rozebráno několika způsoby. Morfémy mohou být identifikovány libovolným řetězcem, takže je nemusíme převádět zpět do původního kódování, ale na výstupu je každopádně potřeba uvést původní nerozdělený slovní tvar v&nbsp;původním kódování.
+  * Vyzkoušet skórování.
+  * Pustit celý algoritmus na převrácená slova a získat předpony.
+  * Zkusit rozpoznat složená slova, resp. složené kmeny. Pouze jednoduchý přístup, snažit se najít uvnitř kmenu jiný existující kmen tak, aby to, co zbyde, byl také existující kmen nebo složenina.
+  * Stáhnout doplňující seznamy slov pro soutěž 2 (information retrieval) a celý postup pro ně zopakovat.
+  * Vymyslet způsob, jak využít četnosti slovních tvarů, které jsme dostali s&nbsp;trénovacími daty.
+  * Odeslat výsledky Mikkovi.

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences