Differences

This shows you the differences between two versions of the page.

--- user:pecina:mt-exp [2012/09/26 09:05]
pecina vytvořeno
+++ user:pecina:mt-exp [2012/09/26 09:26]
pecina
@@ Line 1: / Line 1: @@
-=== 1) Factored phrase-based SMT with full morphological generation ===
+=== A) Factored Phrase-Based SMT with full morphological generation ===
-Překládáme nezávisle do lemmat a POS značek a z nich potom vygenerujeme patřičnou formu pomoci morfologického slovníku.
+Překládáme nezávisle do lemmat a POS značek a z nich potom vygenerujeme patřičnou formu pomoci morfologického slovníku. V úvahu přicházejí tyto překladové scénáře:
+  * ''t:lemma→lemma, t:tag→tag''
-V úvahu přicházejí tyto překladové scénáře:
+  *''t:forma→lemma, t:forma→tag''
-t:lemma→lemma, t:tag→tag,
-t:forma→lemma, t:forma→tag,
 A generovací model:
-g:lemma|tag→forma
+  *''g:lemma,tag→forma''
-Generování bude dle  morfologického slovníku Jarky Hlaváčové. Měli bychom dostat jednoznačné mapování lemma|tag->forma.
+Generování bude dle  morfologického slovníku Jarky Hlaváčové. Měli bychom dostat jednoznačné mapování z lemat a značky na formu.
 **Experimenty:**
-a) baseline 1: čistý frázový překlad a formách s nějakými "state-of-the-art" parametry (max délka frází, řád jazykového modelu)
+  * //baseline 1//: čistý frázový překlad na formách s nějakými "state-of-the-art" parametry (max phrase length, order of language model)
-t: forma->forma
+''t: forma->forma''
+  * //baseline 2//: vylepšená baseline všemi prostředky, které nesouvisí s hlavní myšlenkou (zejména alignment na lemmatech, případně formách na zdrojové straně a lemmatech na cílové straně). Předpoklad je, že BLEU se oproti //baseline 1// zvýší.
-b) baseline 2: vylepšená baseline všemi prostředky, které nesouvisí s hlavní myšlenkou (zejména alignment na lemmatech, případně formách na zdrojové straně a lemmatech na cílové straně). Předpoklad je, že BLEU se oproti a) zvýší.
+''t:forma->forma''
-t: forma->forma
+''a:lemma->lemma''
-a:lemma->lemma
+''a:forma->lemma''
-a:forma->lemma
+  * //upperline//: překlad na lematech, který je mnohem lepší než na formách,  BLEU bude mnohem vyšší než v //baseline 2//.
+''t: lemma->lemma'' (a testování na lematizovaných referenčních datech)
-c) motivace: překlad na lematech je mnohem lepší než na formách a BLEU bude mnohem vyšší než v b)
-t: lemma->lemma (a testování na lematizovaných referenčních datech)
-d) hypotéza 1: nezávislý překlad lemmat a forem bude kvalitou někde mezi b) a c)
+  * //hypotéza 1// nezávislý překlad lemmat a forem bude kvalitou někde mezi //baseline 2// a //upperline//
-t: lemma→lemma, tag→tag (a testování na lematizovaných+značkovaných referenčních datech)
+''t: lemma→lemma, tag→tag'' (a testování na lematizovaných+značkovaných referenčních datech)
-r) hypotéza 2: nezávislý překlad lemmat a forem a následné generování podle modelu z trénovacích dat nebude tak úspěšné (minimálně kvůli neznámým formám), BLEU lze čekat menší než v d). Předchozí experimenty nepotvrdily, že tento přístup je výrazně lepší než b).
+  * //hypotéza 2//: nezávislý překlad lemmat a forem a následné generování podle modelu z trénovacích dat nebude tak úspěšné (minimálně kvůli neznámým formám), BLEU lze čekat menší než u //hypotézy 1//. Předchozí experimenty nepotvrdily, že tento přístup je výrazně lepší než //baseline 2//.
-t: lemma→lemma, tag→tag g:lemma|tag→forma (target side of parallel data, target language model)
+''t: lemma→lemma, tag→tag g:lemma,tag→forma'' (target side of parallel data, target language model)
-f) hypotéza 3: nezávislý překlad lemmat a forem a následně generování podle modelu z morfologického slovníku bude lepší než b) (umíme generovat i formy, které nejsou v datech), teoreticky bychom se s BLEU měli dostat na hodnoty z d)
+  * //hypotéza 3//: nezávislý překlad lemmat a forem a následně generování podle modelu z morfologického slovníku bude lepší než //baseline 2// (umíme generovat i formy, které nejsou v datech), teoreticky bychom se s BLEU měli dostat na hodnoty z //hypotézy 1//
-t: lemma→lemma, tag→tag g:lemma|tag→forma (morphological analysis)
+''t: lemma→lemma, tag→tag g:lemma,tag→forma (morphological analysis)''
 **Rizika:**
-i) hypotéza 1 nebude platit. Riziko relativně velké. Není úplně jasné, jestli překlad do značek povede ke těm "správným" značkám. Je ověřeno, že překlad do lemmat funguje --  teoreticky bychom se mohli pokusit pouze o překlad do značek a podívat se, co to dělá. Celou hypotézu ověří experiment. Je možné, že k ověření bude třeba větších trénovacích dat. Pokud se hypotéza nepotvrdí, naskytuje se možnost zředit značky (prostor tam jistě je, viz experiment c) a pokusit se dogenerovat formy následně (mapování už nebude 1:1). Navíc je tu prostor pro podmíněně tvořené faktory (viz další nápad).
+  * Hypotéza 1 nebude platit. Riziko relativně velké. Není úplně jasné, jestli překlad do značek povede ke těm "správným" značkám. Je ověřeno, že překlad do lemmat funguje --  teoreticky bychom se mohli pokusit pouze o překlad do značek a podívat se, co to dělá. Celou hypotézu ověří experiment. Je možné, že k ověření bude třeba větších trénovacích dat. Pokud se hypotéza nepotvrdí, naskytuje se možnost zředit značky (prostor tam jistě je, viz experiment //hypotézy 2// a pokusit se dogenerovat formy následně (mapování už nebude 1:1). Navíc je tu prostor pro podmíněně tvořené faktory (viz další nápad).
-ii) hypotéza 3 nebude platit (ale hypotéza 1 ano). Riziko je malé, mapování by mělo být jednoznačné, pokrytí vysoké. Může se ale stát, že to (z nějakého důvodu) nezvládne Moses, v tom případě bychom ale mohly generování dělat po překladu nezávisle na Mosesovi.
+  * Hypotéza 3 nebude platit (ale //hypotéza 1// ano). Riziko je malé, mapování by mělo být jednoznačné, pokrytí vysoké. Může se ale stát, že to (z nějakého důvodu) nezvládne Moses, v tom případě bychom ale mohly generování dělat po překladu nezávisle na Mosesovi.
 **Technické detaily:**
-* paralelní trénovací data — v baseline experimentu použijeme jen část CzEngu, na závěr potom celý
+  * paralelní trénovací data — v baseline experimentu použijeme jen část CzEngu, na závěr potom celý
-* monolinguální trénovací data pro LM a GM — POS tagged data pro LM_lemma, LM_POS + GM
+  * monolinguální trénovací data pro LM a GM — POS tagged data pro LM_lemma, LM_POS + GM
-* filtrováni GM -> nejdříve filtrování
+  * filtrováni GM -> nejdříve filtrování překladové tabulky na základě testovacích dat, potom filtrování generovací tabulky na zakládě cílové strany překladové tabulky.
-překladové tabulky na základě testovacích dat, potom filtrování generovací tabulky na zakládě cílové strany překladové tabulky

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences