Differences

This shows you the differences between two versions of the page.

--- user:pecina:mt-exp [2012/09/26 09:46]
pecina
+++ user:pecina:mt-exp [2013/01/31 10:26] (current)
pecina
@@ Line 19: / Line 19: @@
 ''t: lemma->lemma'' (a testování na lematizovaných referenčních datech)
-  * //hypotéza 1// nezávislý překlad lemmat a forem bude kvalitou někde mezi //baseline 2// a //upperline//
+  * //hypotéza 1// nezávislý překlad lemmat a znacek bude kvalitou někde mezi //baseline 2// a //upperline//
 ''t: lemma→lemma, tag→tag'' (a testování na lematizovaných+značkovaných referenčních datech)
@@ Line 37: / Line 37: @@
   * monolinguální trénovací data pro LM a GM — POS tagged data pro LM_lemma, LM_POS + GM
   * filtrováni GM -> nejdříve filtrování překladové tabulky na základě testovacích dat, potom filtrování generovací tabulky na zakládě lemmat cílové strany překladové tabulky.
+  * druhá možnost (obecné) filtrace je v odstranění forem, které se nevyskytují často (na základě značek, které se nevyskytují v nějakých velkých označkovaných datech)
+  * pozor na neznámá slova (X@-------------)
 **Data**
-  * generovací tabulka je zde: ''/net/data/all-czech-words-2012/generation.1,2-0.gz''
+  * data od JH jsou zde: ''/net/data/all-czech-words-2013/allforms.gz'' (mapováni lemma+tag -> forma není jednoznačné)
-  * Vznikla  takto: ''zcat allforms.gz| uconv -f iso-8859-2 -t utf8 | ./gen_table.pl | gzip > generation.1,2-0.gz''
+  * neobsahují ovšem technické suffixy, je tedy třeba upravit trenovací data a technické suffixy odstranit
-  * dopředná podmíněná pravděpodobnost je vždy 1, zpětná je uniformní dle skutečného stavu.
+  * generovací tabulka je prozatim zde: ''/net/cluster/TMP/pecina/mt-exp/generation-no-coloq.1,2-0.gz'' (bez nespisovných výrazů)
-  * Je možné ji filtrovat tak, že se odstraní nespisovné výrazy, případně vlastní jména (viz řádek 16 a 17 v ''gen_table.pl'').
+  * vznikla  takto: ''zcat /net/data/all-czech-words-2013/allforms.gz | uconv -f iso-8859-2 -t utf8 | ./generate_gtable.pl | gzip > generation-no-coloq.1,2-0.gz''
+  * obě rozdělení jsou uniformní
+  * tabulka lineárně interpolovaná s ''/a/merkur3/TMP/tamchyna/mono-gen/playground/gen-table-czeng-1m-news/model/generation.1,2-0.gz'' je tady: ''/net/cluster/TMP/pecina/mt-exp/generation-no-coloq-int-9.1,2-0.gz'' a vznikla takto ''./interpol_gtables.pl /a/merkur3/TMP/tamchyna/mono-gen/playground/gen-table-czeng-1m-news/model/generation.1,2-0.gz generation-no-coloq.1,2-0.gz 0.9 | gzip > generation-no-coloq-int-9.1,2-0.gz
+''

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences