Differences

This shows you the differences between two versions of the page.

--- user:zeman:morpho-challenge-2008 [2008/06/27 17:19]
zeman Oprava cesty ke skriptu.
+++ user:zeman:morpho-challenge-2008 [2008/07/28 14:41]
zeman Odkaz na pokyny pro vyhodnocování.
@@ Line 61: / Line 61: @@
   $MC/mchallenge.pl $l.kmeny.txt $l.koncovky.txt < wordlist.$l.txt > $l.dz.txt
 end</code>
 ===== Úprava výstupu před odesláním =====
@@ Line 71: / Line 72: @@
 $MC/mc_convert.pl -t en < en.dz.txt | gzip -c > wordlist.eng.dz.gz
 $MC/mc_convert.pl -t fi < fi.dz.txt | gzip -c > wordlist.fin.dz.gz
-$MC/mc_convert.pl -t tr < tr.dz.txt | gzip -c > wordlist.tur.dz.gz</code>
+$MC/mc_convert.pl -t tr < tr.dz.txt | gzip -c > wordlist.tur.dz.gz
+$MC/mc_convert.pl -t ar < ar.dz3.txt | gzip -c > wordlist.ara.dz3.gz
+$MC/mc_convert.pl -t de < de.dz3.txt | gzip -c > wordlist.ger.dz3.gz
+$MC/mc_convert.pl -t en < en.dz3.txt | gzip -c > wordlist.eng.dz3.gz
+$MC/mc_convert.pl -t fi < fi.dz3.txt | gzip -c > wordlist.fin.dz3.gz
+$MC/mc_convert.pl -t tr < tr.dz3.txt | gzip -c > wordlist.tur.dz3.gz</code>
 ===== Zpracování převrácených slov a hledání předpon =====
@@ Line 84: / Line 89: @@
 <code>foreach l (ar de en fi tr)
-  cat $l.rev.kmeny.txt | perl -pe 'reverse($_)' > $l.kmeny1.txt
+  cat $l.rev.kmeny.txt | $MC/reverse_line.pl > $l.kmeny1.txt
-  cat $l.rev.koncovky.txt | perl -pe 'reverse($_)' > $l.predpony.txt
+  cat $l.rev.koncovky.txt | $MC/reverse_line.pl > $l.predpony.txt
+  $MC/mchallenge3.pl $l.predpony.txt $l.kmeny1.txt $l.kmeny.txt $l.koncovky.txt < wordlist.$l.txt > $l.dz3.txt
 end</code>
 ===== Zbývá udělat =====
-  * Pustit celý algoritmus na převrácená slova a získat předpony.
   * Vyzkoušet skórování.
+  * Pustit celý algoritmus na převrácená slova a získat předpony.
   * Zkusit rozpoznat složená slova, resp. složené kmeny. Pouze jednoduchý přístup, snažit se najít uvnitř kmenu jiný existující kmen tak, aby to, co zbyde, byl také existující kmen nebo složenina.
-  * Stáhnout doplňující seznamy slov pro soutěž 2 (information retrieval) a celý postup pro ně zopakovat.
   * Vymyslet způsob, jak využít četnosti slovních tvarů, které jsme dostali s&nbsp;trénovacími daty.
   * Odeslat výsledky Mikkovi.
+===== Skórování =====
+Organizátoři poskytli program ''eval_morphemes.pl''. Pokyny pro správné vyhodnocování sepsali na stránce [[http://www.cis.hut.fi/morphochallenge2008/evaluation.shtml]].
+===== Postřehy =====
+Předpony, zdá se, fungují, ale na rozdíl od přípon by to tu nechtělo dávat společná písmena ke kmeni, nýbrž k&nbsp;předponě.
+Jednopísmenné předpony jsou problém. Nemůžu je úplně zakázat (české //o-, u-//), ale ve výstupu se mi nezdravě množí.
+Segmentaci dělám hladově, i když by to chtělo chart parser. Problém: máme 2 seznamy kmenů (jeden zbytky po předponách, druhý po příponách). Který seznam použít?
+Algoritmus 3 (předpony + kmeny + přípony) nedělá to, co má. Jaktože nepoznal vzor //abrupt - abruptly - abruptness//, když všechna tato slova jsou v&nbsp;datech a //-ly// i //-ness// jsou běžné koncovky?

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences