| Both sides previous revision
Previous revision
Next revision
|
Previous revision
|
user:zeman:morpho-challenge-2008 [2008/08/01 22:33]
zeman Nové slévání podmnožin. |
user:zeman:morpho-challenge-2008 [2008/08/04 13:07] (current)
zeman Daür, zürst. |
| * Vymyslet způsob, jak využít četnosti slovních tvarů, které jsme dostali s trénovacími daty. | * Vymyslet způsob, jak využít četnosti slovních tvarů, které jsme dostali s trénovacími daty. |
| |
| ===== Postřehy ===== | |
| |
| Předpony, zdá se, fungují, ale na rozdíl od přípon by to tu nechtělo dávat společná písmena ke kmeni, nýbrž k předponě. | |
| |
| Algoritmus 3 (předpony + kmeny + přípony) nedělá to, co má. Jaktože nepoznal vzor //abrupt - abruptly - abruptness//, když všechna tato slova jsou v datech a //-ly// i //-ness// jsou běžné koncovky? | ===== Postřehy ===== |
| | |
| | Pravidlová metoda pro předpony funguje mnohem lépe než ta reverzní. Obě metody se ale také podstatně liší způsobem použití naučených předpon při segmentaci. Chtělo by to oba způsoby prohodit a ověřit, zda rozdíl v úspěšnosti netkví ve skutečnosti zde. Kromě toho upravit reverzní metodu tak, aby společné písmeno neputovalo ke kmeni, ale k předponě. |
| |
| Jednopísmenné předpony jsou problém. Nemůžu je úplně zakázat (české //o-, u-//), ale ve výstupu se mi nezdravě množí. | Jednopísmenné předpony jsou problém. Nemůžu je úplně zakázat (české //o-, u-//), ale ve výstupu se mi nezdravě množí. |
| Jak mám poznat podmnožinu, když se kvůli chybějícímu výskytu v trénovacích datech neposunulo písmeno? Například mám v němčině největší vzor "0,m,n,r,re,rem,ren,rer,res,s". Všechny kmeny končí na "e". Jak poznám, že kdybych toto "e" zahrnul do koncovek ("e,em,en,er,ere,erem,eren,erer,eres,es"), mohl bych do vzoru přilít jiný vzor, který je téměř jeho podmnožinou, akorát má navíc koncovku "0" (tedy bez toho "e")? Další věc: jak poznám složené koncovky? Tady by zrovna správná segmentace byla "aggressiv+er+e". Musel bych hledat podmnožinu množiny koncovek, která je v množině koncovek obsažena dvakrát, jednou s prefixem a podruhé bez. Hledání by muselo být fuzzy. | Jak mám poznat podmnožinu, když se kvůli chybějícímu výskytu v trénovacích datech neposunulo písmeno? Například mám v němčině největší vzor "0,m,n,r,re,rem,ren,rer,res,s". Všechny kmeny končí na "e". Jak poznám, že kdybych toto "e" zahrnul do koncovek ("e,em,en,er,ere,erem,eren,erer,eres,es"), mohl bych do vzoru přilít jiný vzor, který je téměř jeho podmnožinou, akorát má navíc koncovku "0" (tedy bez toho "e")? Další věc: jak poznám složené koncovky? Tady by zrovna správná segmentace byla "aggressiv+er+e". Musel bych hledat podmnožinu množiny koncovek, která je v množině koncovek obsažena dvakrát, jednou s prefixem a podruhé bez. Hledání by muselo být fuzzy. |
| |
| Třetina slov v angličtině neprojde filtrováním vzorů. Na vstupu mám 385 tisíc slov, na výstupu 122 tisíc segmentací. (Ve skutečnosti jsem jich asi odfiltroval víc, protože na výstupu navíc mohou být i taková slova, která jsem vůbec neviděl. Můžou se tam dostat při slučování vzorů s nadmnožinami.) Otázka je, jak přesně k tomu došlo. Kdybych věděl, kde se slova ztrácejí, možná by mě napadlo, jak je neztratit úplně. To bych ale musel rozvinout ladění, abych dokázal stopovat slovo během celého procesu filtrování. | V němčině je problém s kódováním. Postupně zjišťuju, že zobrazení, které použili v Lipsku, není prosté. Nejdřív byl problém se slovem //guerilla// -> //gürilla//, to je v němčině cizí. Jenže ono se to objevuje i u některých německých slov: //dauer// -> //daür//, //zuerst// -> //zürst// atd. |
