[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » user » zeman » preklad-morfemu

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
Next revision Both sides next revision
user:zeman:preklad-morfemu [2010/12/15 14:05]
zeman Starší kopie Morfessora odstraněna. 		user:zeman:preklad-morfemu [2010/12/15 15:29]
zeman Umístění souborů.
Line 6: Line 6:
   * Předcházející pokusy proběhly v rámci přípravy výuky o neřízené morfematické segmentaci.   * Předcházející pokusy proběhly v rámci přípravy výuky o neřízené morfematické segmentaci.
     * /net/work/people/zeman/enlex     * /net/work/people/zeman/enlex
-    * Do nástrojů vede odkaz z enlex. 
-    * Přesto je novější verze v TectoMT. 
-    * Je v ní také můj skript train.pl. 
   * Rozebrat Morfessorem všechna anglická a česká trénovací, vývojová i testovací data.   * Rozebrat Morfessorem všechna anglická a česká trénovací, vývojová i testovací data.
     * Vybrat vhodný malý pokus s malými daty, na kterých se to provede.     * Vybrat vhodný malý pokus s malými daty, na kterých se to provede.
Line 22: Line 19:
  
 Verze v TectoMT obsahuje moje úpravy Morfessora (např. práce s texty v UTF-8) a také můj obalovací skript ''train.pl''. Verze v TectoMT obsahuje moje úpravy Morfessora (např. práce s texty v UTF-8) a také můj obalovací skript ''train.pl''.
 +
 +===== Umístění souborů =====
 +
 +Umístění programových souborů Morfessora nebo s Morfessorem souvisejících je popsáno výše.
 +
 +Paralelní data, na která se to celé bude aplikovat, typicky leží v příslušné složce ''augmented_corpora''. Předpokládám, že tam také budou ležet segmentované verze těchto korpusů po průchodu Morfessorem.
 +
 +Pracovní složka pro Morfessora a všechna data, která souvisejí s konkrétním jazykem, ale nikoli s konkrétním korpusem pro tento jazyk, by měla ležet jinde. Asi by to mohlo být ''/net/work/people/zeman/morfessor'', kam by se přesunuly i současné složky ''cslex'' a ''enlex''.
  
 ===== Předzpracování paralelních dat Morfessorem ===== ===== Předzpracování paralelních dat Morfessorem =====
Line 28: Line 33:
  
 Pak ještě potřebujeme program, který načte Morfessorem navržené dělení trénovacích slov, zapamatuje si ho a aplikuje ho na libovolný tokenizovaný vstupní text. Tímto programem potom proženeme naše paralelní data. Pak ještě potřebujeme program, který načte Morfessorem navržené dělení trénovacích slov, zapamatuje si ho a aplikuje ho na libovolný tokenizovaný vstupní text. Tímto programem potom proženeme naše paralelní data.
 +
 +  * Uvést cestu k ''augmented_corpora''.
 +  * Uvést kód jazyka, který chceme rozebrat.
 +  * Vyjmenovat korpusy, ze kterých chceme texty v tomto jazyce použít.
 +  * Postupně otevřít (včetně rozgzipování) všechny korpusy a prohnat je frekvenčním slovníkem.
 +  * ''$STATMT/scripts/freqdict.pl''
 +    * Pro Morfessor je ještě třeba prohodit sloupce (nejdřív četnost, pak slovo).
 +    * <code perl>perl -pe 's/\r?\n$//; s/^(.*?)\t(\d+)/$2 $1\n/;' < freqdict.txt > formorfessor.txt</code>
 +  * Potom zavolat Morfessor:
 +  * ''$TMT_ROOT/personal/zeman/morfessor/bin/train.pl < formorfessor.txt > freqdict.morfessor.txt''
 +  * To celé raději pouštět na clusteru.
  

[ Back to the navigation ] [ Back to the content ]