| Both sides previous revision
Previous revision
Next revision
|
Previous revision
Next revision
Both sides next revision
|
user:zeman:moses-na-questu [2014/02/06 14:26]
zeman |
user:zeman:moses-na-questu [2014/02/06 15:31]
zeman |
| ln -s ../s.mert.20cd7b2b.20130418-1358/lmodel-file.2.gz . | ln -s ../s.mert.20cd7b2b.20130418-1358/lmodel-file.2.gz . |
| ln -s ../s.tm.c45f438c.20131221-0815/model/phrase-table.0-0.gz ./ttable-file.1.gz | ln -s ../s.tm.c45f438c.20131221-0815/model/phrase-table.0-0.gz ./ttable-file.1.gz |
| | ln -s moses.hardlink moses |
| | cd .. |
| | # es-cs |
| | cd s.translate.5ad5995f.20131223-0739 |
| | rm lmodel-file.1.gz lmodel-file.2.gz ttable-file.1.gz moses |
| | ln -s ../s.mert.20cd7b2b.20130418-1358/lmodel-file.1.gz . |
| | ln -s ../s.mert.20cd7b2b.20130418-1358/lmodel-file.2.gz . |
| | ln -s ../s.tm.f0b0d576.20131221-0816/model/phrase-table.0-0.gz ./ttable-file.1.gz |
| | ln -s moses.hardlink moses |
| | cd .. |
| | # fr-cs |
| | cd s.translate.32442a28.20131223-0742 |
| | rm lmodel-file.1.gz lmodel-file.2.gz ttable-file.1.gz moses |
| | ln -s ../s.mert.20cd7b2b.20130418-1358/lmodel-file.1.gz . |
| | ln -s ../s.mert.20cd7b2b.20130418-1358/lmodel-file.2.gz . |
| | ln -s ../s.tm.78273296.20131221-0816/model/phrase-table.0-0.gz ./ttable-file.1.gz |
| ln -s moses.hardlink moses | ln -s moses.hardlink moses |
| cd ..</code> | cd ..</code> |
| <code bash>gunzip -c ttable-file.1.gz | perl -e 'use utf8; binmode STDIN, ":utf8"; binmode STDOUT, ":utf8"; while(<>) {if(m/^(.*?\|\|\|.*?\|\|\|)/){my $prefix = $1; my @preftokens = split(/\s+/, $prefix); if(scalar(@preftokens)>7){next;}} print;}' | gzip -c > ttable-xxx.gz</code> | <code bash>gunzip -c ttable-file.1.gz | perl -e 'use utf8; binmode STDIN, ":utf8"; binmode STDOUT, ":utf8"; while(<>) {if(m/^(.*?\|\|\|.*?\|\|\|)/){my $prefix = $1; my @preftokens = split(/\s+/, $prefix); if(scalar(@preftokens)>7){next;}} print;}' | gzip -c > ttable-xxx.gz</code> |
| |
| | O spuštění Mosese se správným modelem se stará skript $QCGI/moses-envelope.pl. (Teď nevím, jestli mám jeho kopii i někde mimo quest, potažmo v nějakém repozitáři.) Tento skript zatím sahal automaticky pro angličtinu. Nyní ho budeme muset upravit, aby podle volby vstupního jazyka vybral správný model. Zevnitř se mj. volá tohle: |
| | |
| | <code bash>date ; $traindir/filter-model-given-input.pl $wdir/filtered $translatedir/filtered-for-eval/moses.ini $wdir/corpus.src ; date</code> |
| | |
| | Sahá se tam do složky ''filtered-for-eval'', kde je symbolický odkaz na správnou frázovou tabulku a konfigurační soubor ''moses.ini'', ve kterém jsou rovněž cesty k jazykovým a překladovým modelům. Jde o absolutní cesty z vnitřní sítě, takže je potřebujeme opravit, aby fungovaly na questu! Mělo by stačit nahradit všechny výskyty cesty ''/a/LRC_TMP/zeman/statmt/playground'' cestou ''/home/zeman/cgi/czechmate/ufal-smt-playground/playground'': |
| | |
| | <code bash>cat filtered-for-eval/moses.ini | sed 's:/a/LRC_TMP/zeman/statmt/playground:/home/zeman/cgi/czechmate/ufal-smt-playground/playground:g' > filtered-for-eval/moses1.ini |
| | mv filtered-for-eval/moses1.ini filtered-for-eval/moses.ini</code> |
