Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:preklad-morfemu [2010/12/15 14:05] zeman Starší kopie Morfessora odstraněna. |
user:zeman:preklad-morfemu [2010/12/15 15:24] zeman |
||
---|---|---|---|
Line 6: | Line 6: | ||
* Předcházející pokusy proběhly v rámci přípravy výuky o neřízené morfematické segmentaci. | * Předcházející pokusy proběhly v rámci přípravy výuky o neřízené morfematické segmentaci. | ||
* / | * / | ||
- | * Do nástrojů vede odkaz z enlex. | ||
- | * Přesto je novější verze v TectoMT. | ||
- | * Je v ní také můj skript train.pl. | ||
* Rozebrat Morfessorem všechna anglická a česká trénovací, | * Rozebrat Morfessorem všechna anglická a česká trénovací, | ||
* Vybrat vhodný malý pokus s malými daty, na kterých se to provede. | * Vybrat vhodný malý pokus s malými daty, na kterých se to provede. | ||
Line 28: | Line 25: | ||
Pak ještě potřebujeme program, který načte Morfessorem navržené dělení trénovacích slov, zapamatuje si ho a aplikuje ho na libovolný tokenizovaný vstupní text. Tímto programem potom proženeme naše paralelní data. | Pak ještě potřebujeme program, který načte Morfessorem navržené dělení trénovacích slov, zapamatuje si ho a aplikuje ho na libovolný tokenizovaný vstupní text. Tímto programem potom proženeme naše paralelní data. | ||
+ | |||
+ | * Uvést cestu k& | ||
+ | * Uvést kód jazyka, který chceme rozebrat. | ||
+ | * Vyjmenovat korpusy, ze kterých chceme texty v& | ||
+ | * Postupně otevřít (včetně rozgzipování) všechny korpusy a prohnat je frekvenčním slovníkem. | ||
+ | * '' | ||
+ | * Pro Morfessor je ještě třeba prohodit sloupce (nejdřív četnost, pak slovo). | ||
+ | * <code perl> | ||
+ | * Potom zavolat Morfessor: | ||
+ | * '' | ||
+ | * To celé raději pouštět na clusteru. | ||