Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:pecina:mt-exp [2012/09/26 09:26] pecina |
user:pecina:mt-exp [2012/09/26 12:53] pecina |
||
---|---|---|---|
Line 36: | Line 36: | ||
* paralelní trénovací data — v baseline experimentu použijeme jen část CzEngu, na závěr potom celý | * paralelní trénovací data — v baseline experimentu použijeme jen část CzEngu, na závěr potom celý | ||
* monolinguální trénovací data pro LM a GM — POS tagged data pro LM_lemma, LM_POS + GM | * monolinguální trénovací data pro LM a GM — POS tagged data pro LM_lemma, LM_POS + GM | ||
- | * filtrováni GM -> nejdříve filtrování překladové tabulky na základě testovacích dat, potom filtrování generovací tabulky na zakládě cílové strany překladové tabulky. | + | * filtrováni GM -> nejdříve filtrování překladové tabulky na základě testovacích dat, potom filtrování generovací tabulky na zakládě |
+ | * druhá možnost (obecné) filtrace je v odstranění forem, které se nevyskytují často (na základě značek, které se nevyskytují v nějakých velkých označkovaných datech) | ||
+ | * pozor na neznámá slova (X@-------------) | ||
+ | |||
+ | **Data** | ||
+ | * data od JH jsou zde: ''/ | ||
+ | * neobsahují ovšem technické suffixy, je tedy třeba upravit trenovací data a technické suffixy odstranit | ||
+ | * generovací tabulka je prozatim zde: ''/ | ||
+ | * vznikla | ||
+ | * dopředná podmíněná pravděpodobnost je vždy 1, zpětná je uniformní dle skutečného stavu. | ||
+ | * Je možné ji filtrovat tak, že se odstraní nespisovné výrazy, případně vlastní jména (viz řádek 16 a 17 v '' |