Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:preklad-morfemu [2010/12/15 13:57] zeman Předzpracování paralelních dat. |
user:zeman:preklad-morfemu [2010/12/15 15:29] zeman Umístění souborů. |
||
---|---|---|---|
Line 6: | Line 6: | ||
* Předcházející pokusy proběhly v rámci přípravy výuky o neřízené morfematické segmentaci. | * Předcházející pokusy proběhly v rámci přípravy výuky o neřízené morfematické segmentaci. | ||
* / | * / | ||
- | * Do nástrojů vede odkaz z enlex. | ||
- | * Přesto je novější verze v TectoMT. | ||
- | * Je v ní také můj skript train.pl. | ||
* Rozebrat Morfessorem všechna anglická a česká trénovací, | * Rozebrat Morfessorem všechna anglická a česká trénovací, | ||
* Vybrat vhodný malý pokus s malými daty, na kterých se to provede. | * Vybrat vhodný malý pokus s malými daty, na kterých se to provede. | ||
Line 17: | Line 14: | ||
===== Morfessor ===== | ===== Morfessor ===== | ||
- | Morfessor mám momentálně na dvou místech: | + | Morfessor mám momentálně |
- | * ''/ | + | |
* '' | * '' | ||
+ | * ''/ | ||
- | Verze v& | + | Verze v& |
+ | |||
+ | ===== Umístění souborů ===== | ||
+ | |||
+ | Umístění programových souborů Morfessora nebo s& | ||
+ | |||
+ | Paralelní data, na která se to celé bude aplikovat, typicky leží v& | ||
+ | |||
+ | Pracovní složka pro Morfessora a všechna data, která souvisejí s& | ||
===== Předzpracování paralelních dat Morfessorem ===== | ===== Předzpracování paralelních dat Morfessorem ===== | ||
Line 28: | Line 33: | ||
Pak ještě potřebujeme program, který načte Morfessorem navržené dělení trénovacích slov, zapamatuje si ho a aplikuje ho na libovolný tokenizovaný vstupní text. Tímto programem potom proženeme naše paralelní data. | Pak ještě potřebujeme program, který načte Morfessorem navržené dělení trénovacích slov, zapamatuje si ho a aplikuje ho na libovolný tokenizovaný vstupní text. Tímto programem potom proženeme naše paralelní data. | ||
+ | |||
+ | * Uvést cestu k& | ||
+ | * Uvést kód jazyka, který chceme rozebrat. | ||
+ | * Vyjmenovat korpusy, ze kterých chceme texty v& | ||
+ | * Postupně otevřít (včetně rozgzipování) všechny korpusy a prohnat je frekvenčním slovníkem. | ||
+ | * '' | ||
+ | * Pro Morfessor je ještě třeba prohodit sloupce (nejdřív četnost, pak slovo). | ||
+ | * <code perl> | ||
+ | * Potom zavolat Morfessor: | ||
+ | * '' | ||
+ | * To celé raději pouštět na clusteru. | ||