[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
user:zeman:morpho-challenge-2008 [2008/08/01 22:33]
zeman Nové slévání podmnožin.
user:zeman:morpho-challenge-2008 [2008/08/04 13:07] (current)
zeman Daür, zürst.
Line 191: Line 191:
   * Vymyslet způsob, jak využít četnosti slovních tvarů, které jsme dostali s trénovacími daty.   * Vymyslet způsob, jak využít četnosti slovních tvarů, které jsme dostali s trénovacími daty.
  
-===== Postřehy ===== 
  
-Předpony, zdá se, fungují, ale na rozdíl od přípon by to tu nechtělo dávat společná písmena ke kmeni, nýbrž k předponě. 
  
-Algoritmus 3 (předpony + kmeny + ípony) nedělá to, co má. Jaktože nepoznal vzor //abrupt - abruptly - abruptness//, když echna tato slova jsou v datech a //-ly// i //-ness// jsou běžné koncovky?+===== Postřehy ===== 
 + 
 +Pravidlová metoda pro předpony funguje mnohem lépe než ta reverzní. Obě metody se ale také podstatně liší způsobem použití naučených edpon při segmentaci. Chtělo by to oba způsoby prohodit a ověřitzda rozdíl úspěšnosti netkví ve skutečnosti zde. Kromě toho upravit reverzní metodu tak, aby společné písmeno neputovalo ke kmeni, ale k předponě.
  
 Jednopísmenné předpony jsou problém. Nemůžu je úplně zakázat (české //o-, u-//), ale ve výstupu se mi nezdravě množí. Jednopísmenné předpony jsou problém. Nemůžu je úplně zakázat (české //o-, u-//), ale ve výstupu se mi nezdravě množí.
Line 207: Line 207:
 Jak mám poznat podmnožinu, když se kvůli chybějícímu výskytu v trénovacích datech neposunulo písmeno? Například mám v němčině největší vzor "0,m,n,r,re,rem,ren,rer,res,s". Všechny kmeny končí na "e". Jak poznám, že kdybych toto "e" zahrnul do koncovek ("e,em,en,er,ere,erem,eren,erer,eres,es"), mohl bych do vzoru přilít jiný vzor, který je téměř jeho podmnožinou, akorát má navíc koncovku "0" (tedy bez toho "e")? Další věc: jak poznám složené koncovky? Tady by zrovna správná segmentace byla "aggressiv+er+e". Musel bych hledat podmnožinu množiny koncovek, která je v množině koncovek obsažena dvakrát, jednou s prefixem a podruhé bez. Hledání by muselo být fuzzy. Jak mám poznat podmnožinu, když se kvůli chybějícímu výskytu v trénovacích datech neposunulo písmeno? Například mám v němčině největší vzor "0,m,n,r,re,rem,ren,rer,res,s". Všechny kmeny končí na "e". Jak poznám, že kdybych toto "e" zahrnul do koncovek ("e,em,en,er,ere,erem,eren,erer,eres,es"), mohl bych do vzoru přilít jiný vzor, který je téměř jeho podmnožinou, akorát má navíc koncovku "0" (tedy bez toho "e")? Další věc: jak poznám složené koncovky? Tady by zrovna správná segmentace byla "aggressiv+er+e". Musel bych hledat podmnožinu množiny koncovek, která je v množině koncovek obsažena dvakrát, jednou s prefixem a podruhé bez. Hledání by muselo být fuzzy.
  
-Třetina slov v angličtině neprojde filtrováním vzorůNa vstupu mám 385 tisíc slovna výstupu 122 tisíc segmentací. (Ve skutečnosti jsem jich asi odfiltroval víc, protože na výstupu navíc mohou být i taková slovakterá jsem vůbec nevidělMůžou se tam dostat při slučování vzorů s nadmnožinami.) Otázka je, jak přesně k tomu došlo. Kdybych děl, kde se slova ztrácejí, možná by mě napadlo, jak je neztratit úplně. To bych ale musel rozvinout laděníabych dokázal stopovat slovo během celého procesu filtrování.+V němčině je problém s kódovánímPostupně zjišťuju, že zobrazeníkteré použili Lipsku, není prostéNejdřív byl problém se slovem //guerilla// -> //gürilla//, to je v němčině cizí. Jenže ono se to objevuje i u některých německých slov: //dauer// -> //daür////zuerst// -> //zürst// atd. 

[ Back to the navigation ] [ Back to the content ]