| Both sides previous revision
Previous revision
Next revision
|
Previous revision
Next revision
Both sides next revision
|
user:zeman:morpho-challenge-2008 [2008/07/31 13:32]
zeman Výsledky. |
user:zeman:morpho-challenge-2008 [2008/07/31 23:03]
zeman Pomlčky oddělují morfémy. |
| vzorfiltr.pl -okm en.kmeny.txt -okonc en.koncovky.txt < en.nefiltr > en.vzor</code> | vzorfiltr.pl -okm en.kmeny.txt -okonc en.koncovky.txt < en.nefiltr > en.vzor</code> |
| Skript ''vzorfiltr.pl'' jako vedlejší účinek vedle standardního výstupu tiše vyrobí soubory ''kmeny.txt'' a ''koncovky.txt''. | Skript ''vzorfiltr.pl'' jako vedlejší účinek vedle standardního výstupu tiše vyrobí soubory ''kmeny.txt'' a ''koncovky.txt''. |
| | |
| | |
| | |
| |
| ===== Morfematická segmentace ===== | ===== Morfematická segmentace ===== |
| $MC/mchallenge.pl $l.kmeny.txt $l.koncovky.txt < wordlist.$l.txt > $l.dz.txt | $MC/mchallenge.pl $l.kmeny.txt $l.koncovky.txt < wordlist.$l.txt > $l.dz.txt |
| end</code> | end</code> |
| | |
| | V úvahu přichází několik stupňů přísnosti při aplikaci vzorů na morfematickou segmentaci: |
| | - Slovo rozdělit pouze v případě, že toto dělení bylo viděno v trénovacích datech a proniklo filtrem mezi výsledné vzory. Jinými slovy, kmen i koncovka musí být známé a navíc musely být viděny spolu. |
| | - Kmen a koncovka nemusely být viděny přímo spolu. Stačí, když byl kmen viděn s N jinými koncovkami, které se s hledanou koncovkou společně vyskytují alespoň v jednom vzoru. |
| | - Další možnost by byla snažit se zjistit, zda slovo může náležet ke vzoru, který připouští danou koncovku. I když náš systém toto slovo zařadil k jinému slovu. Např. nejpřísnější metoda nerozdělila "a-com's" na "a-com" a "'s", přestože samostatné slovo "a-com" v datech bylo a koncovka "'s" je součástí mnoha vzorů. Dotyčná kombinace kmene a koncovky byla zřejmě nějak odfiltrována. Chtělo by to nějaký ladící režim. |
| | - Kmen i koncovka musí být známé, ale nemusely být viděny spolu. |
| | - Známá je koncovka, kmen známý být nemusí. |
| | - Známý je kmen, koncovka známá být nemusí. |
| | - Známý je kmen nebo koncovka, ale ne nutně obojí. |
| | Poslední tři body neumím uspořádat podle přísnosti, ale všechny tři jsou méně přísné než první dva body. Můj přístup z roku 2007 a oficiálně vyhodnocená metoda 1 z roku 2008 zkouší nejdřív bod 2, a pokud selže, tak bod 5. I když by popis na začátku této kapitoly mohl napovídat, že začínám podle bodu 1, není tomu tak. |
| |
| ===== Úprava výstupu před odesláním ===== | ===== Úprava výstupu před odesláním ===== |
| $MC/mc_convert.pl -t fi < fi.dz3.txt | gzip -c > wordlist.fin.dz3.gz | $MC/mc_convert.pl -t fi < fi.dz3.txt | gzip -c > wordlist.fin.dz3.gz |
| $MC/mc_convert.pl -t tr < tr.dz3.txt | gzip -c > wordlist.tur.dz3.gz</code> | $MC/mc_convert.pl -t tr < tr.dz3.txt | gzip -c > wordlist.tur.dz3.gz</code> |
| | |
| | ===== Skórování ===== |
| | |
| | Organizátoři poskytli program ''eval_morphemes.pl''. Pokyny pro správné vyhodnocování sepsali na stránce [[http://www.cis.hut.fi/morphochallenge2008/evaluation.shtml]]. Napsal jsem si kvůli tomu ''Makefile'', který je ve složce s daty a níže popsaný postup se z něj dá vyčíst. |
| | |
| | Co ještě potřebujeme: |
| | |
| | * ''wordpairs_goldstd'' ... vzorek dvojic slov ze zlatého standardu. Získá se programem ''sample_word_pairs.pl''. |
| | * ''wordpairs_proposed'' ... vzorek dvojic slov z výstupu analyzátoru. Získá se programem ''sample_word_pairs.pl''. |
| | * ''morphemeanalyses_goldstd'' ... vzorové analýzy slov (zlatý standard) |
| | * ''morphemeanalyses_proposed'' ... výstup analyzátoru |
| | |
| | Jaký je tedy úplný postup při vyhodnocování? |
| | |
| | - Stáhnout program ''eval_morphemes.pl'' z webu [[http://www.cis.hut.fi/morphochallenge2008/evaluation.shtml]]. |
| | - Stáhnout program ''sample_word_pairs.pl'' z téhož webu. |
| | - Pro jazyk, který chceme vyhodnocovat, stáhnout vzorovou analýzu. Organizátoři poskytují pro každý jazyk [[http://www.cis.hut.fi/morphochallenge2008/datasets.shtml#goldstdfiles|vzorové analýzy]] pro podmnožinu 500 slov (pravděpodobně prostě proto, že větší část vzorových analýz chtějí udržet v tajnosti, aby soutěž byla regulérní). Jmenuje se např. ''goldstdsample.ara'' (pro arabštinu) a je k dispozici na adrese [[http://www.cis.hut.fi/morphochallenge2008/datasets.shtml#download]]. |
| | - Pro jazyk, který chceme vyhodnocovat, stáhnout soubor náhodných dvojic slov ("random word pairs file"). Tento soubor obsahuje na každém řádku slovo (např. "abacus'", za tabulátorem pak jednu nebo více dvojic slovo2 [morfém], kde slovo2 je slovo, se kterým první slovo sdílí stejně pojmenovaný morfém, a [morfém] (uveden v hranatých závorkách) je označení tohoto sdíleného morfému. Např. pro "abacus'" jsou to dvojice "abacuses [abacus_N]" a "presbytery's [+GEN]". |
| | - Z výstupu analyzátoru, který chceme vyhodnotit, navzorkovat dvojice slov podobné těm, které jsme si stáhli pro gold standard. Zatímco ty stažené se použijí pro výpočet úplnosti, ty naše budou potřeba pro výpočet přesnosti. Námi zjištěná přesnost bude ve skutečnosti velmi hrubý odhad přesnosti, protože nemáme k dispozici celý gold standard. |
| | - Nejdříve vytvoříme seznam relevantních slov, tedy takových, která se vyskytují ve vzorových analýzách, které jsme dostali k dispozici. <code>cut -f1 goldstdfile > relevantwordsfile</code> |
| | - Potom náhodně vybereme 100 relevantních slov z výstupu našeho analyzátoru. <code>sample_word_pairs.pl -refwords relevantwordsfile < resultfile > wordpairsfile_result</code> |
| | - Nyní již máme pohromadě všechny soubory potřebné jako vstupy pro vyhodnocovací program a můžeme spustit vyhodnocování: |
| | <code>eval_morphemes.pl -trace wordpairsfile_goldstd wordpairsfile_result goldstdfile resultfile</code> |
| | |
| | <code>cut -f1 $MC/data/2008/goldstdsample.eng > $MC/data/2008/relevantwords.eng |
| | $MC/sample_word_pairs.pl -refwords $MC/data/2008/relevantwords.eng < $MC/data/2008/en.dz.txt > $MC/data/2008/wordpairs_result.eng |
| | $MC/eval_morphemes.pl -trace $MC/data/2008/samplepairs.goldstd.eng $MC/data/2008/wordpairs_result.eng $MC/data/2008/goldstdsample.eng $MC/data/2008/en.dz.txt</code> |
| |
| ===== Vyhodnocení ===== | ===== Vyhodnocení ===== |
| * Odeslat výsledky Mikkovi. | * Odeslat výsledky Mikkovi. |
| |
| ===== Skórování ===== | |
| |
| Organizátoři poskytli program ''eval_morphemes.pl''. Pokyny pro správné vyhodnocování sepsali na stránce [[http://www.cis.hut.fi/morphochallenge2008/evaluation.shtml]]. | |
| |
| Co ještě potřebujeme: | |
| |
| * ''wordpairs_goldstd'' ... vzorek dvojic slov ze zlatého standardu. Získá se programem ''sample_word_pairs.pl''. | |
| * ''wordpairs_proposed'' ... vzorek dvojic slov z výstupu analyzátoru. Získá se programem ''sample_word_pairs.pl''. | |
| * ''morphemeanalyses_goldstd'' ... vzorové analýzy slov (zlatý standard) | |
| * ''morphemeanalyses_proposed'' ... výstup analyzátoru | |
| |
| Jaký je tedy úplný postup při vyhodnocování? | |
| |
| - Stáhnout program ''eval_morphemes.pl'' z webu [[http://www.cis.hut.fi/morphochallenge2008/evaluation.shtml]]. | |
| - Stáhnout program ''sample_word_pairs.pl'' z téhož webu. | |
| - Pro jazyk, který chceme vyhodnocovat, stáhnout vzorovou analýzu. Organizátoři poskytují pro každý jazyk [[http://www.cis.hut.fi/morphochallenge2008/datasets.shtml#goldstdfiles|vzorové analýzy]] pro podmnožinu 500 slov (pravděpodobně prostě proto, že větší část vzorových analýz chtějí udržet v tajnosti, aby soutěž byla regulérní). Jmenuje se např. ''goldstdsample.ara'' (pro arabštinu) a je k dispozici na adrese [[http://www.cis.hut.fi/morphochallenge2008/datasets.shtml#download]]. | |
| - Pro jazyk, který chceme vyhodnocovat, stáhnout soubor náhodných dvojic slov ("random word pairs file"). Tento soubor obsahuje na každém řádku slovo (např. "abacus'", za tabulátorem pak jednu nebo více dvojic slovo2 [morfém], kde slovo2 je slovo, se kterým první slovo sdílí stejně pojmenovaný morfém, a [morfém] (uveden v hranatých závorkách) je označení tohoto sdíleného morfému. Např. pro "abacus'" jsou to dvojice "abacuses [abacus_N]" a "presbytery's [+GEN]". | |
| - Z výstupu analyzátoru, který chceme vyhodnotit, navzorkovat dvojice slov podobné těm, které jsme si stáhli pro gold standard. Zatímco ty stažené se použijí pro výpočet úplnosti, ty naše budou potřeba pro výpočet přesnosti. Námi zjištěná přesnost bude ve skutečnosti velmi hrubý odhad přesnosti, protože nemáme k dispozici celý gold standard. | |
| - Nejdříve vytvoříme seznam relevantních slov, tedy takových, která se vyskytují ve vzorových analýzách, které jsme dostali k dispozici. <code>cut -f1 goldstdfile > relevantwordsfile</code> | |
| - Potom náhodně vybereme 100 relevantních slov z výstupu našeho analyzátoru. <code>sample_word_pairs.pl -refwords relevantwordsfile < resultfile > wordpairsfile_result</code> | |
| - Nyní již máme pohromadě všechny soubory potřebné jako vstupy pro vyhodnocovací program a můžeme spustit vyhodnocování: | |
| <code>eval_morphemes.pl -trace wordpairsfile_goldstd wordpairsfile_result goldstdfile resultfile</code> | |
| |
| <code>cut -f1 $MC/data/2008/goldstdsample.eng > $MC/data/2008/relevantwords.eng | |
| $MC/sample_word_pairs.pl -refwords $MC/data/2008/relevantwords.eng < $MC/data/2008/en.dz.txt > $MC/data/2008/wordpairs_result.eng | |
| $MC/eval_morphemes.pl -trace $MC/data/2008/samplepairs.goldstd.eng $MC/data/2008/wordpairs_result.eng $MC/data/2008/goldstdsample.eng $MC/data/2008/en.dz.txt</code> | |
| |
| ===== Postřehy ===== | ===== Postřehy ===== |
| | |
| | Zkusit nejpřísnější segmentaci. Slovo se rozdělí pouze v případě, že kmen a koncovka byly viděny //spolu.// |
| |
| Předpony, zdá se, fungují, ale na rozdíl od přípon by to tu nechtělo dávat společná písmena ke kmeni, nýbrž k předponě. | Předpony, zdá se, fungují, ale na rozdíl od přípon by to tu nechtělo dávat společná písmena ke kmeni, nýbrž k předponě. |
| |
| Algoritmus 3 (předpony + kmeny + přípony) nedělá to, co má. Jaktože nepoznal vzor //abrupt - abruptly - abruptness//, když všechna tato slova jsou v datech a //-ly// i //-ness// jsou běžné koncovky? | Algoritmus 3 (předpony + kmeny + přípony) nedělá to, co má. Jaktože nepoznal vzor //abrupt - abruptly - abruptness//, když všechna tato slova jsou v datech a //-ly// i //-ness// jsou běžné koncovky? |
| | |
| | Četnost koncovek: u kolika slov (typů i výskytů) jsme viděli danou koncovku? Méně časté koncovky by měly mít ztížené uplatnění při segmentaci. Zatím ale nevím, jak jim ho ztížit jinak, než je úplně zakázat. |
| | |
| | Vzhledem ke způsobu vyhodnocení, který používá Morpho Challenge, by to chtělo sjednotit označení koncovek. Např. když téměř stejnou sadu koncovek uvidíme jednou jako "a, y, e, u, o, ou" a jindy jako "na, ny, ně, nu, no, nou". Nevím ale, jak to udělat. |
| | |
| | Jestliže slovo obsahuje pomlčku, je to téměř jistá hranice morfémů. Zkusil jsem při vypisování rozkladů nahradit pomlčky mezerami a v angličtině mi F stouplo asi o 2 body. |
| | |
| | Jak mám poznat podmnožinu, když se kvůli chybějícímu výskytu v trénovacích datech neposunulo písmeno? Například mám v němčině největší vzor "0,m,n,r,re,rem,ren,rer,res,s". Všechny kmeny končí na "e". Jak poznám, že kdybych toto "e" zahrnul do koncovek ("e,em,en,er,ere,erem,eren,erer,eres,es"), mohl bych do vzoru přilít jiný vzor, který je téměř jeho podmnožinou, akorát má navíc koncovku "0" (tedy bez toho "e")? Další věc: jak poznám složené koncovky? Tady by zrovna správná segmentace byla "aggressiv+er+e". Musel bych hledat podmnožinu množiny koncovek, která je v množině koncovek obsažena dvakrát, jednou s prefixem a podruhé bez. Hledání by muselo být fuzzy. |
| | |
| | Třetina slov v angličtině neprojde filtrováním vzorů. Na vstupu mám 385 tisíc slov, na výstupu 122 tisíc segmentací. (Ve skutečnosti jsem jich asi odfiltroval víc, protože na výstupu navíc mohou být i taková slova, která jsem vůbec neviděl. Můžou se tam dostat při slučování vzorů s nadmnožinami.) Otázka je, jak přesně k tomu došlo. Kdybych věděl, kde se slova ztrácejí, možná by mě napadlo, jak je neztratit úplně. To bych ale musel rozvinout ladění, abych dokázal stopovat slovo během celého procesu filtrování. |
