Differences

This shows you the differences between two versions of the page.

--- user:zeman:joshua [2009/06/02 22:03]
zeman Extrakce gramatiky.
+++ user:zeman:joshua [2009/06/03 19:03]
zeman
@@ Line 96: / Line 96: @@
 -32 34-33</code>
-A takhle pustíme Joshuu, aby z trénovacích dat extrahoval gramatiku:
+A takhle pustíme Joshuu, aby z trénovacích dat extrahoval gramatiku. Joshua z nějakého důvodu vyžaduje také testovací soubor se zdrojovým jazykem. Soudě podle příkladu, který dodali, stačí zkopírovat první větu ze zdrojových trénovacích dat. Gramatiku je pak ještě třeba seřadit, vyházet duplicitní pravidla a zagzipovat.
-<code>cd $JOSHUA
+<code>cd /net/work/people/zeman/hindstina
-java -cp bin joshua.prefix_tree.ExtractRules \
+setenv SRC corpus/train.clean.en
-    --source=corpus/train.clean.en \
+setenv TGT corpus/train.clean.hi
-    --target=corpus/train.clean.hi \
+setenv ALI model/aligned.grow-diag-final-and
-    --alignments=model/aligned.grow-diag-final-and \
+setenv TST corpus/train.clean.en.1
-    --test=corpus/train.clean.en \
+setenv GRM en-hi.grammar
-    --output=en-hi.grammar.unsorted \
+head -1 $SRC > $TST
-    --maxPhraseLength=5 \
+java -cp $JOSHUA/bin joshua.prefix_tree.ExtractRules --source=$SRC --target=$TGT --alignments=$ALI --test=$TST --output=$GRM.unsorted --maxPhraseLength=5
-    --print-rules=false</code>
+sort -u $GRM.unsorted > $GRM
+gzip $GRM</code>
+V příkladu v INSTALL.txt měli navíc ještě volbu ''--print-rules=false'', nevím proč. Výsledná gramatika totiž byla prázdná, a když jsem tuto volbu odstranil, gramatika se vygenerovala.
+Pozor, je poměrně snadné vyčerpat paměť. Tomu se dá čelit jednak tím, že se přesuneme na stroj, který má více paměti, jednak že zvolíme postup, který je složitější, ale k paměti šetrnější.
+Binarizovat zdrojovou část korpusu.
+<code>java -cp bin joshua.corpus.suffix_array.SuffixArray $WORK/corpus/train.clean.en $WORK/model/vocab.en.bin $WORK/model/corpus.en.bin $WORK/model/suffixes.en.bin</code>
+<code bash>java -Xmx2000m -Xms2000m -cp $JOSHUA/bin --binary-source=true --binary-target=true --source=model/corpus.en.bin --target=model/corpus.hi.bin --source-vocab=model/vocab.en.bin --target-vocab=model/vocab.hi.bin --source-suffixes=model/suffixes.en.bin --target-suffixes=model/suffixes.hi.bin --alignmentsType=MemoryMappedAlignmentGrids --alignments=model/alignments.bin --test=corpus/test.lowercased.en --output=model/en-hi.grammar.unsorted --maxPhraseLength=5</code>

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences