Differences

This shows you the differences between two versions of the page.

--- user:pecina:mt-exp [2012/09/26 09:33]
pecina
+++ user:pecina:mt-exp [2012/09/26 12:35]
pecina
@@ Line 36: / Line 36: @@
   * paralelní trénovací data — v baseline experimentu použijeme jen část CzEngu, na závěr potom celý
   * monolinguální trénovací data pro LM a GM — POS tagged data pro LM_lemma, LM_POS + GM
-  * filtrováni GM -> nejdříve filtrování překladové tabulky na základě testovacích dat, potom filtrování generovací tabulky na zakládě cílové strany překladové tabulky.
+  * filtrováni GM -> nejdříve filtrování překladové tabulky na základě testovacích dat, potom filtrování generovací tabulky na zakládě lemmat cílové strany překladové tabulky.
 **Data**
-  * generovací tabulka je zde: ''/net/data/all-czech-words-2012/generation.1,2-0.gz''
+  * data od JH jsou zde: ''/net/data/all-czech-words-2012/allforms.gz''
-  * Vznikla  takto: ''zcat allforms.gz| uconv -f iso-8859-2 -t utf8 | ./gen_table.pl | gzip > generation.1,2-0.gz''
+  * generovací tabulka je prozatim zde: ''/net/cluster/TMP/pecina/mt-exp/generation.1,2-0.gz''
+  * Vznikla  takto: ''zcat /net/data/all-czech-words-2012/allforms.gz | uconv -f iso-8859-2 -t utf8 | ./gen_table.pl | gzip > generation.1,2-0.gz''
   * dopředná podmíněná pravděpodobnost je vždy 1, zpětná je uniformní dle skutečného stavu.
   * Je možné ji filtrovat tak, že se odstraní nespisovné výrazy, případně vlastní jména (viz řádek 16 a 17 v ''gen_table.pl'').
+  * Tabulka bez nespisovných výrazů je zde: ''generation-no-coloq.1,2-0.gz''

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences