| Both sides previous revision
Previous revision
|
Next revision
Both sides next revision
|
user:zeman:morpho-challenge-2008 [2008/07/31 13:32]
zeman Výsledky. |
user:zeman:morpho-challenge-2008 [2008/07/31 13:35]
zeman Přehození kapitol. |
| $MC/mc_convert.pl -t fi < fi.dz3.txt | gzip -c > wordlist.fin.dz3.gz | $MC/mc_convert.pl -t fi < fi.dz3.txt | gzip -c > wordlist.fin.dz3.gz |
| $MC/mc_convert.pl -t tr < tr.dz3.txt | gzip -c > wordlist.tur.dz3.gz</code> | $MC/mc_convert.pl -t tr < tr.dz3.txt | gzip -c > wordlist.tur.dz3.gz</code> |
| | |
| | ===== Skórování ===== |
| | |
| | Organizátoři poskytli program ''eval_morphemes.pl''. Pokyny pro správné vyhodnocování sepsali na stránce [[http://www.cis.hut.fi/morphochallenge2008/evaluation.shtml]]. Napsal jsem si kvůli tomu ''Makefile'', který je ve složce s daty a níže popsaný postup se z něj dá vyčíst. |
| | |
| | Co ještě potřebujeme: |
| | |
| | * ''wordpairs_goldstd'' ... vzorek dvojic slov ze zlatého standardu. Získá se programem ''sample_word_pairs.pl''. |
| | * ''wordpairs_proposed'' ... vzorek dvojic slov z výstupu analyzátoru. Získá se programem ''sample_word_pairs.pl''. |
| | * ''morphemeanalyses_goldstd'' ... vzorové analýzy slov (zlatý standard) |
| | * ''morphemeanalyses_proposed'' ... výstup analyzátoru |
| | |
| | Jaký je tedy úplný postup při vyhodnocování? |
| | |
| | - Stáhnout program ''eval_morphemes.pl'' z webu [[http://www.cis.hut.fi/morphochallenge2008/evaluation.shtml]]. |
| | - Stáhnout program ''sample_word_pairs.pl'' z téhož webu. |
| | - Pro jazyk, který chceme vyhodnocovat, stáhnout vzorovou analýzu. Organizátoři poskytují pro každý jazyk [[http://www.cis.hut.fi/morphochallenge2008/datasets.shtml#goldstdfiles|vzorové analýzy]] pro podmnožinu 500 slov (pravděpodobně prostě proto, že větší část vzorových analýz chtějí udržet v tajnosti, aby soutěž byla regulérní). Jmenuje se např. ''goldstdsample.ara'' (pro arabštinu) a je k dispozici na adrese [[http://www.cis.hut.fi/morphochallenge2008/datasets.shtml#download]]. |
| | - Pro jazyk, který chceme vyhodnocovat, stáhnout soubor náhodných dvojic slov ("random word pairs file"). Tento soubor obsahuje na každém řádku slovo (např. "abacus'", za tabulátorem pak jednu nebo více dvojic slovo2 [morfém], kde slovo2 je slovo, se kterým první slovo sdílí stejně pojmenovaný morfém, a [morfém] (uveden v hranatých závorkách) je označení tohoto sdíleného morfému. Např. pro "abacus'" jsou to dvojice "abacuses [abacus_N]" a "presbytery's [+GEN]". |
| | - Z výstupu analyzátoru, který chceme vyhodnotit, navzorkovat dvojice slov podobné těm, které jsme si stáhli pro gold standard. Zatímco ty stažené se použijí pro výpočet úplnosti, ty naše budou potřeba pro výpočet přesnosti. Námi zjištěná přesnost bude ve skutečnosti velmi hrubý odhad přesnosti, protože nemáme k dispozici celý gold standard. |
| | - Nejdříve vytvoříme seznam relevantních slov, tedy takových, která se vyskytují ve vzorových analýzách, které jsme dostali k dispozici. <code>cut -f1 goldstdfile > relevantwordsfile</code> |
| | - Potom náhodně vybereme 100 relevantních slov z výstupu našeho analyzátoru. <code>sample_word_pairs.pl -refwords relevantwordsfile < resultfile > wordpairsfile_result</code> |
| | - Nyní již máme pohromadě všechny soubory potřebné jako vstupy pro vyhodnocovací program a můžeme spustit vyhodnocování: |
| | <code>eval_morphemes.pl -trace wordpairsfile_goldstd wordpairsfile_result goldstdfile resultfile</code> |
| | |
| | <code>cut -f1 $MC/data/2008/goldstdsample.eng > $MC/data/2008/relevantwords.eng |
| | $MC/sample_word_pairs.pl -refwords $MC/data/2008/relevantwords.eng < $MC/data/2008/en.dz.txt > $MC/data/2008/wordpairs_result.eng |
| | $MC/eval_morphemes.pl -trace $MC/data/2008/samplepairs.goldstd.eng $MC/data/2008/wordpairs_result.eng $MC/data/2008/goldstdsample.eng $MC/data/2008/en.dz.txt</code> |
| |
| ===== Vyhodnocení ===== | ===== Vyhodnocení ===== |
| * Vymyslet způsob, jak využít četnosti slovních tvarů, které jsme dostali s trénovacími daty. | * Vymyslet způsob, jak využít četnosti slovních tvarů, které jsme dostali s trénovacími daty. |
| * Odeslat výsledky Mikkovi. | * Odeslat výsledky Mikkovi. |
| |
| ===== Skórování ===== | |
| |
| Organizátoři poskytli program ''eval_morphemes.pl''. Pokyny pro správné vyhodnocování sepsali na stránce [[http://www.cis.hut.fi/morphochallenge2008/evaluation.shtml]]. | |
| |
| Co ještě potřebujeme: | |
| |
| * ''wordpairs_goldstd'' ... vzorek dvojic slov ze zlatého standardu. Získá se programem ''sample_word_pairs.pl''. | |
| * ''wordpairs_proposed'' ... vzorek dvojic slov z výstupu analyzátoru. Získá se programem ''sample_word_pairs.pl''. | |
| * ''morphemeanalyses_goldstd'' ... vzorové analýzy slov (zlatý standard) | |
| * ''morphemeanalyses_proposed'' ... výstup analyzátoru | |
| |
| Jaký je tedy úplný postup při vyhodnocování? | |
| |
| - Stáhnout program ''eval_morphemes.pl'' z webu [[http://www.cis.hut.fi/morphochallenge2008/evaluation.shtml]]. | |
| - Stáhnout program ''sample_word_pairs.pl'' z téhož webu. | |
| - Pro jazyk, který chceme vyhodnocovat, stáhnout vzorovou analýzu. Organizátoři poskytují pro každý jazyk [[http://www.cis.hut.fi/morphochallenge2008/datasets.shtml#goldstdfiles|vzorové analýzy]] pro podmnožinu 500 slov (pravděpodobně prostě proto, že větší část vzorových analýz chtějí udržet v tajnosti, aby soutěž byla regulérní). Jmenuje se např. ''goldstdsample.ara'' (pro arabštinu) a je k dispozici na adrese [[http://www.cis.hut.fi/morphochallenge2008/datasets.shtml#download]]. | |
| - Pro jazyk, který chceme vyhodnocovat, stáhnout soubor náhodných dvojic slov ("random word pairs file"). Tento soubor obsahuje na každém řádku slovo (např. "abacus'", za tabulátorem pak jednu nebo více dvojic slovo2 [morfém], kde slovo2 je slovo, se kterým první slovo sdílí stejně pojmenovaný morfém, a [morfém] (uveden v hranatých závorkách) je označení tohoto sdíleného morfému. Např. pro "abacus'" jsou to dvojice "abacuses [abacus_N]" a "presbytery's [+GEN]". | |
| - Z výstupu analyzátoru, který chceme vyhodnotit, navzorkovat dvojice slov podobné těm, které jsme si stáhli pro gold standard. Zatímco ty stažené se použijí pro výpočet úplnosti, ty naše budou potřeba pro výpočet přesnosti. Námi zjištěná přesnost bude ve skutečnosti velmi hrubý odhad přesnosti, protože nemáme k dispozici celý gold standard. | |
| - Nejdříve vytvoříme seznam relevantních slov, tedy takových, která se vyskytují ve vzorových analýzách, které jsme dostali k dispozici. <code>cut -f1 goldstdfile > relevantwordsfile</code> | |
| - Potom náhodně vybereme 100 relevantních slov z výstupu našeho analyzátoru. <code>sample_word_pairs.pl -refwords relevantwordsfile < resultfile > wordpairsfile_result</code> | |
| - Nyní již máme pohromadě všechny soubory potřebné jako vstupy pro vyhodnocovací program a můžeme spustit vyhodnocování: | |
| <code>eval_morphemes.pl -trace wordpairsfile_goldstd wordpairsfile_result goldstdfile resultfile</code> | |
| |
| <code>cut -f1 $MC/data/2008/goldstdsample.eng > $MC/data/2008/relevantwords.eng | |
| $MC/sample_word_pairs.pl -refwords $MC/data/2008/relevantwords.eng < $MC/data/2008/en.dz.txt > $MC/data/2008/wordpairs_result.eng | |
| $MC/eval_morphemes.pl -trace $MC/data/2008/samplepairs.goldstd.eng $MC/data/2008/wordpairs_result.eng $MC/data/2008/goldstdsample.eng $MC/data/2008/en.dz.txt</code> | |
| |
| ===== Postřehy ===== | ===== Postřehy ===== |
