Differences
This shows you the differences between two versions of the page.
Both sides previous revision
Previous revision
Next revision
|
Previous revision
Next revision
Both sides next revision
|
user:zeman:joshua [2009/06/03 22:35] zeman Konfigurační soubor Joshuy. |
user:zeman:joshua [2009/06/04 09:30] zeman Jak získat 1-best výstup? |
| |
<code bash>java -Xmx2000m -Xms2000m -cp $JOSHUA/bin joshua.prefix_tree.ExtractRules --binary-source=true --binary-target=true --source=model/corpus.en.bin --target=model/corpus.hi.bin --source-vocab=model/vocab.en.bin --target-vocab=model/vocab.hi.bin --source-suffixes=model/suffixes.en.bin --target-suffixes=model/suffixes.hi.bin --alignmentsType=MemoryMappedAlignmentGrids --alignments=model/alignments.bin --test=corpus/test.lowercased.en --output=model/en-hi.grammar.unsorted --maxPhraseLength=5</code> | <code bash>java -Xmx2000m -Xms2000m -cp $JOSHUA/bin joshua.prefix_tree.ExtractRules --binary-source=true --binary-target=true --source=model/corpus.en.bin --target=model/corpus.hi.bin --source-vocab=model/vocab.en.bin --target-vocab=model/vocab.hi.bin --source-suffixes=model/suffixes.en.bin --target-suffixes=model/suffixes.hi.bin --alignmentsType=MemoryMappedAlignmentGrids --alignments=model/alignments.bin --test=corpus/test.lowercased.en --output=model/en-hi.grammar.unsorted --maxPhraseLength=5</code> |
| |
| |
===== Decoding ===== | ===== Decoding ===== |
#wordpenalty weight | #wordpenalty weight |
wordpenalty -2.844814</code> | wordpenalty -2.844814</code> |
| |
| No a nakonec příkaz, kterým pustíme Joshuu s naším konfiguračním souborem (na clusteru): |
| |
| <code>qsub.csh "java -Xmx1200m -Xms1200m -cp $JOSHUA/bin joshua.decoder.JoshuaDecoder ~zeman/projekty/hindstina/joshua-config-tides-dev.txt $HINDI/corpus/dev.lowercased.en $HINDI/dev.nbest.out"</code> |
| |
| I když si v konfiguračním souboru řekneme, že chceme N-best výstup pro N=1, dostaneme ho ve formátu, který je připraven na více hypotéz (každý překlad např. obsahuje skóre a váhy). Abychom z toho dostali obyčejný 1-best překlad, můžeme použít Zhifeiův skript, který je k Joshuovi přibalen ve složce example2: |
| |
| <code>$JOSHUA/example2/get_1best_from_Nbest.pl $HINDI/dev.nbest.out $HINDI/dev.1best.out</code> |