Differences

This shows you the differences between two versions of the page.

--- user:zeman:morpho-challenge-2008 [2008/06/27 15:18]
zeman Úprava výstupu před odesláním.
+++ user:zeman:morpho-challenge-2008 [2008/06/27 22:25]
zeman Postřehy.
@@ Line 72: / Line 72: @@
 $MC/mc_convert.pl -t fi < fi.dz.txt | gzip -c > wordlist.fin.dz.gz
 $MC/mc_convert.pl -t tr < tr.dz.txt | gzip -c > wordlist.tur.dz.gz</code>
+===== Zpracování převrácených slov a hledání předpon =====
+<code># lrc
+cd $MC/data/2008
+foreach l (ar de en fi tr)
+  $MC/reverse.pl < $l.csts > $l.rev.csts
+  qsub.csh $MC/mc_jazyk.csh $l.rev
+end</code>
+<code>foreach l (ar de en fi tr)
+  cat $l.rev.kmeny.txt | $MC/reverse_line.pl > $l.kmeny1.txt
+  cat $l.rev.koncovky.txt | $MC/reverse_line.pl > $l.predpony.txt
+  $MC/mchallenge3.pl $l.predpony.txt $l.kmeny1.txt $l.kmeny.txt $l.koncovky.txt < wordlist.$l.txt > $l.dz3.txt
+end</code>
 ===== Zbývá udělat =====
-  * Vzít testovací data a mnou natrénované kmeny a koncovky a provést morfematickou segmentaci testovacích dat. Jedno slovo může být rozebráno několika způsoby. Morfémy mohou být identifikovány libovolným řetězcem, takže je nemusíme převádět zpět do původního kódování, ale na výstupu je každopádně potřeba uvést původní nerozdělený slovní tvar v&nbsp;původním kódování.
-  * Vyzkoušet skórování.
   * Pustit celý algoritmus na převrácená slova a získat předpony.
+  * Vyzkoušet skórování.
   * Zkusit rozpoznat složená slova, resp. složené kmeny. Pouze jednoduchý přístup, snažit se najít uvnitř kmenu jiný existující kmen tak, aby to, co zbyde, byl také existující kmen nebo složenina.
   * Stáhnout doplňující seznamy slov pro soutěž 2 (information retrieval) a celý postup pro ně zopakovat.
@@ Line 83: / Line 97: @@
   * Odeslat výsledky Mikkovi.
+===== Postřehy =====
+Předpony, zdá se, fungují, ale na rozdíl od přípon by to tu nechtělo dávat společná písmena ke kmeni, nýbrž k&nbsp;předponě.
+Jednopísmenné předpony jsou problém. Nemůžu je úplně zakázat (české //o-, u-//), ale ve výstupu se mi nezdravě množí.
+Segmentaci dělám hladově, i když by to chtělo chart parser. Problém: máme 2 seznamy kmenů (jeden zbytky po předponách, druhý po příponách). Který seznam použít?
+Algoritmus 3 (předpony + kmeny + přípony) nedělá to, co má. Jaktože nepoznal vzor //abrupt - abruptly - abruptness//, když všechna tato slova jsou v&nbsp;datech a //-ly// i //-ness// jsou běžné koncovky?

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences