Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:morpho-challenge-2008 [2008/06/27 17:19] zeman Oprava cesty ke skriptu. |
user:zeman:morpho-challenge-2008 [2008/07/28 15:27] zeman Návod na vyhodnocování. |
||
---|---|---|---|
Line 61: | Line 61: | ||
$MC/ | $MC/ | ||
end</ | end</ | ||
+ | |||
===== Úprava výstupu před odesláním ===== | ===== Úprava výstupu před odesláním ===== | ||
Line 71: | Line 72: | ||
$MC/ | $MC/ | ||
$MC/ | $MC/ | ||
- | $MC/ | + | $MC/ |
+ | $MC/ | ||
+ | $MC/mc_convert.pl -t de < de.dz3.txt | gzip -c > wordlist.ger.dz3.gz | ||
+ | $MC/ | ||
+ | $MC/ | ||
+ | $MC/ | ||
===== Zpracování převrácených slov a hledání předpon ===== | ===== Zpracování převrácených slov a hledání předpon ===== | ||
Line 84: | Line 89: | ||
< | < | ||
- | cat $l.rev.kmeny.txt | perl -pe ' | + | cat $l.rev.kmeny.txt | $MC/ |
- | cat $l.rev.koncovky.txt | perl -pe ' | + | cat $l.rev.koncovky.txt | $MC/ |
+ | $MC/ | ||
end</ | end</ | ||
===== Zbývá udělat ===== | ===== Zbývá udělat ===== | ||
- | * Pustit celý algoritmus na převrácená slova a získat předpony. | ||
* Vyzkoušet skórování. | * Vyzkoušet skórování. | ||
+ | * Pustit celý algoritmus na převrácená slova a získat předpony. | ||
* Zkusit rozpoznat složená slova, resp. složené kmeny. Pouze jednoduchý přístup, snažit se najít uvnitř kmenu jiný existující kmen tak, aby to, co zbyde, byl také existující kmen nebo složenina. | * Zkusit rozpoznat složená slova, resp. složené kmeny. Pouze jednoduchý přístup, snažit se najít uvnitř kmenu jiný existující kmen tak, aby to, co zbyde, byl také existující kmen nebo složenina. | ||
- | * Stáhnout doplňující seznamy slov pro soutěž 2 (information retrieval) a celý postup pro ně zopakovat. | ||
* Vymyslet způsob, jak využít četnosti slovních tvarů, které jsme dostali s& | * Vymyslet způsob, jak využít četnosti slovních tvarů, které jsme dostali s& | ||
* Odeslat výsledky Mikkovi. | * Odeslat výsledky Mikkovi. | ||
+ | ===== Skórování ===== | ||
+ | |||
+ | Organizátoři poskytli program '' | ||
+ | |||
+ | Co ještě potřebujeme: | ||
+ | |||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | |||
+ | Jaký je tedy úplný postup při vyhodnocování? | ||
+ | |||
+ | - Stáhnout program '' | ||
+ | - Stáhnout program '' | ||
+ | - Pro jazyk, který chceme vyhodnocovat, | ||
+ | - Pro jazyk, který chceme vyhodnocovat, | ||
+ | - Z výstupu analyzátoru, | ||
+ | - Nejdříve vytvoříme seznam relevantních slov, tedy takových, která se vyskytují ve vzorových analýzách, | ||
+ | - Potom náhodně vybereme 100 relevantních slov z výstupu našeho analyzátoru. < | ||
+ | - Nyní již máme pohromadě všechny soubory potřebné jako vstupy pro vyhodnocovací program a můžeme spustit vyhodnocování: | ||
+ | < | ||
+ | |||
+ | ===== Postřehy ===== | ||
+ | |||
+ | Předpony, zdá se, fungují, ale na rozdíl od přípon by to tu nechtělo dávat společná písmena ke kmeni, nýbrž k& | ||
+ | |||
+ | Jednopísmenné předpony jsou problém. Nemůžu je úplně zakázat (české //o-, u-//), ale ve výstupu se mi nezdravě množí. | ||
+ | |||
+ | Segmentaci dělám hladově, i když by to chtělo chart parser. Problém: máme 2 seznamy kmenů (jeden zbytky po předponách, | ||
+ | |||
+ | Algoritmus 3 (předpony + kmeny + přípony) nedělá to, co má. Jaktože nepoznal vzor //abrupt - abruptly - abruptness//, |