Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Last revision Both sides next revision | ||
user:zeman:giza [2009/06/02 12:26] zeman Zase ten vykřičník :-( |
user:zeman:giza [2009/06/03 15:31] zeman Moje pokusné volání. |
||
---|---|---|---|
Line 47: | Line 47: | ||
Ohlásilo to, že z 50000 vět zbylo 42737. | Ohlásilo to, že z 50000 vět zbylo 42737. | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
Line 54: | Line 61: | ||
Než zavoláme Gizu, musíme mít z nějakého důvodu hotový [[SRILM|jazykový model]]< | Než zavoláme Gizu, musíme mít z nějakého důvodu hotový [[SRILM|jazykový model]]< | ||
- | Moses obsahuje skript, který hezky obaluje volání mkcls a Gizy++ a generuje frázové a přeskládávací tabulky, které potřebuje dekodér. Volá se takhle: | + | Pro konkrétní pokusy s hindštinou už mám upravené volání Gizy++ nachystané ve skriptu '' |
+ | |||
+ | Moses obsahuje skript, který hezky obaluje volání mkcls a Gizy++ a generuje frázové a přeskládávací tabulky, které potřebuje dekodér. Volá se takhle | ||
< | < | ||
-scripts-root-dir $MOSES/ | -scripts-root-dir $MOSES/ | ||
- | -root-dir | + | -root-dir |
-corpus ./ | -corpus ./ | ||
-alignment grow-diag-final-and \ | -alignment grow-diag-final-and \ | ||
-reordering msd-bidirectional-fe \ | -reordering msd-bidirectional-fe \ | ||
- | -lm 0:3:/home/jschroe1/demo/work/lm/news-commentary.lm \ | + | -lm 0:3:/net/work/people/zeman/ |
- | >& | + | >& training.out & |
</ | </ | ||
+ | |||
+ | Uvedený skript se mi zasekl krátce před vytvořením vlastního symetrického párování, | ||
+ | |||
+ | Uvedený trénovací skript Mosese má na starosti mnohem více úkonů než jen volání Gizy. Úkony jsou rozdělené do kroků a můžeme provést jen některé kroky. Kroky jsou následující: | ||
+ | |||
+ | - prepare() - pracuje s faktory, nahrazuje slova v korpusu číselnými odkazy do slovníku, volá '' | ||
+ | - run_giza() - pustí paralelně 2 alignovací procesy, ze zdroje na cíl a z cíle na zdroj | ||
+ | - word_align() - zkombinuje výsledky obou Giz, aby získal jedno slovní párování. Volá '' | ||
+ | - get_lexical_factored() | ||
+ | - extract_phrase_factored() | ||
+ | - score_phrase_factored() | ||
+ | - get_reordering_factored() | ||
+ | - get_generation_factored() | ||
+ | - create_ini() | ||
+ | |||
+ | Pokud to děláme kvůli Joshuovi, potřebujeme pustit jen prvních pár kroků. | ||
+ | |||
+ | **Pozor!** Jestliže pustíme Gizu opakovaně ve stejné složce, bude mít tendenci využít staré mezisoubory a nevytvářet je znova, aby ušetřila čas. To ale není vždy žádoucí! Jestliže jsme např. měli vedle sebe dvě verze korpusu, train.lowercased (50000 vět na každé straně) a train.clean (podmnožina 42737 vět na každé straně), nejdříve jsme pustili Gizu na train.lowercased a pak jsme si vzpomněli, že jsme vlastně chtěli train.clean, |