Differences
This shows you the differences between two versions of the page.
Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:preklad-morfemu [2010/12/14 17:44] zeman vytvořeno |
user:zeman:preklad-morfemu [2010/12/15 15:29] zeman Umístění souborů. |
||
---|---|---|---|
Line 1: | Line 1: | ||
====== Překlad morfémů ====== | ====== Překlad morfémů ====== | ||
+ | |||
+ | ===== Zbývá udělat ===== | ||
* Znova rozchodit Morfessor. | * Znova rozchodit Morfessor. | ||
* Předcházející pokusy proběhly v rámci přípravy výuky o neřízené morfematické segmentaci. | * Předcházející pokusy proběhly v rámci přípravy výuky o neřízené morfematické segmentaci. | ||
* / | * / | ||
- | * Vlastní Morfessor mám na dvou místech, jednak v / | ||
- | * Do nástrojů vede odkaz z enlex. | ||
- | * Přesto je novější verze v TectoMT. | ||
- | * Je v ní také můj skript train.pl. | ||
* Rozebrat Morfessorem všechna anglická a česká trénovací, | * Rozebrat Morfessorem všechna anglická a česká trénovací, | ||
* Vybrat vhodný malý pokus s malými daty, na kterých se to provede. | * Vybrat vhodný malý pokus s malými daty, na kterých se to provede. | ||
Line 13: | Line 11: | ||
* Pustit Joshuu včetně Gizy. | * Pustit Joshuu včetně Gizy. | ||
* Prozkoumat, co vypadlo z Gizy, protože to bude hlavní zajímavost do článku. | * Prozkoumat, co vypadlo z Gizy, protože to bude hlavní zajímavost do článku. | ||
+ | |||
+ | ===== Morfessor ===== | ||
+ | |||
+ | Morfessor mám momentálně v& | ||
+ | * '' | ||
+ | * ''/ | ||
+ | |||
+ | Verze v& | ||
+ | |||
+ | ===== Umístění souborů ===== | ||
+ | |||
+ | Umístění programových souborů Morfessora nebo s& | ||
+ | |||
+ | Paralelní data, na která se to celé bude aplikovat, typicky leží v& | ||
+ | |||
+ | Pracovní složka pro Morfessora a všechna data, která souvisejí s& | ||
+ | |||
+ | ===== Předzpracování paralelních dat Morfessorem ===== | ||
+ | |||
+ | Morfessor čte frekvenční slovník (na každém řádku četnost, mezera, slovo). Nejdříve mu ho tedy musíme vyrobit z& | ||
+ | |||
+ | Pak ještě potřebujeme program, který načte Morfessorem navržené dělení trénovacích slov, zapamatuje si ho a aplikuje ho na libovolný tokenizovaný vstupní text. Tímto programem potom proženeme naše paralelní data. | ||
+ | |||
+ | * Uvést cestu k& | ||
+ | * Uvést kód jazyka, který chceme rozebrat. | ||
+ | * Vyjmenovat korpusy, ze kterých chceme texty v& | ||
+ | * Postupně otevřít (včetně rozgzipování) všechny korpusy a prohnat je frekvenčním slovníkem. | ||
+ | * '' | ||
+ | * Pro Morfessor je ještě třeba prohodit sloupce (nejdřív četnost, pak slovo). | ||
+ | * <code perl> | ||
+ | * Potom zavolat Morfessor: | ||
+ | * '' | ||
+ | * To celé raději pouštět na clusteru. | ||