[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
Next revision Both sides next revision
user:zeman:joshua [2009/06/03 22:35]
zeman Konfigurační soubor Joshuy.
user:zeman:joshua [2009/06/04 09:30]
zeman Jak získat 1-best výstup?
Line 120: Line 120:
  
 <code bash>java -Xmx2000m -Xms2000m -cp $JOSHUA/bin joshua.prefix_tree.ExtractRules --binary-source=true --binary-target=true --source=model/corpus.en.bin --target=model/corpus.hi.bin --source-vocab=model/vocab.en.bin --target-vocab=model/vocab.hi.bin --source-suffixes=model/suffixes.en.bin --target-suffixes=model/suffixes.hi.bin --alignmentsType=MemoryMappedAlignmentGrids --alignments=model/alignments.bin --test=corpus/test.lowercased.en --output=model/en-hi.grammar.unsorted --maxPhraseLength=5</code> <code bash>java -Xmx2000m -Xms2000m -cp $JOSHUA/bin joshua.prefix_tree.ExtractRules --binary-source=true --binary-target=true --source=model/corpus.en.bin --target=model/corpus.hi.bin --source-vocab=model/vocab.en.bin --target-vocab=model/vocab.hi.bin --source-suffixes=model/suffixes.en.bin --target-suffixes=model/suffixes.hi.bin --alignmentsType=MemoryMappedAlignmentGrids --alignments=model/alignments.bin --test=corpus/test.lowercased.en --output=model/en-hi.grammar.unsorted --maxPhraseLength=5</code>
 +
  
 ===== Decoding ===== ===== Decoding =====
Line 196: Line 197:
 #wordpenalty weight #wordpenalty weight
 wordpenalty -2.844814</code> wordpenalty -2.844814</code>
 +
 +No a nakonec příkaz, kterým pustíme Joshuu s naším konfiguračním souborem (na clusteru):
 +
 +<code>qsub.csh "java -Xmx1200m -Xms1200m -cp $JOSHUA/bin joshua.decoder.JoshuaDecoder ~zeman/projekty/hindstina/joshua-config-tides-dev.txt $HINDI/corpus/dev.lowercased.en $HINDI/dev.nbest.out"</code>
 +
 +I když si v konfiguračním souboru řekneme, že chceme N-best výstup pro N=1, dostaneme ho ve formátu, který je připraven na více hypotéz (každý překlad např. obsahuje skóre a váhy). Abychom z toho dostali obyčejný 1-best překlad, můžeme použít Zhifeiův skript, který je k Joshuovi přibalen ve složce example2:
 +
 +<code>$JOSHUA/example2/get_1best_from_Nbest.pl $HINDI/dev.nbest.out $HINDI/dev.1best.out</code>

[ Back to the navigation ] [ Back to the content ]