Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Last revision Both sides next revision | ||
user:zeman:moses-na-questu [2014/02/06 12:56] zeman |
user:zeman:moses-na-questu [2014/02/06 15:37] zeman |
||
---|---|---|---|
Line 21: | Line 21: | ||
scp zen: | scp zen: | ||
unzip pro_quest.zip</ | unzip pro_quest.zip</ | ||
+ | |||
+ | Zkopírované kroky jsou plné symbolických odkazů na jazykové a překladové modely, ale tyto odkazy na questu nefungují. Musíme je opravit: | ||
+ | |||
+ | <code bash># de-cs | ||
+ | cd s.translate.b83a43c4.20131223-0735 | ||
+ | rm lmodel-file.1.gz lmodel-file.2.gz ttable-file.1.gz moses | ||
+ | ln -s ../ | ||
+ | ln -s ../ | ||
+ | ln -s ../ | ||
+ | ln -s moses.hardlink moses | ||
+ | cd .. | ||
+ | # es-cs | ||
+ | cd s.translate.5ad5995f.20131223-0739 | ||
+ | rm lmodel-file.1.gz lmodel-file.2.gz ttable-file.1.gz moses | ||
+ | ln -s ../ | ||
+ | ln -s ../ | ||
+ | ln -s ../ | ||
+ | ln -s moses.hardlink moses | ||
+ | cd .. | ||
+ | # fr-cs | ||
+ | cd s.translate.32442a28.20131223-0742 | ||
+ | rm lmodel-file.1.gz lmodel-file.2.gz ttable-file.1.gz moses | ||
+ | ln -s ../ | ||
+ | ln -s ../ | ||
+ | ln -s ../ | ||
+ | ln -s moses.hardlink moses | ||
+ | cd ..</ | ||
+ | |||
+ | Frázová tabulka je pro quest příliš velká. Její filtrování pro konkrétní test set trvá nepřijatelně dlouho (klidně přes čtvrt hodiny) a výsledná tabulka je stejně tak velká, že se nevejde do paměti. Proto je potřeba ji prořezat. Samozřejmě bychom měli fráze na vyhození vybírat nějak inteligentně a u těch zbývajících přepočítat pravděpodobnosti. Rychlá metoda hrubé síly je tato: Pokud mají zdrojová a cílová fráze dohromady větší než předem stanovený počet tokenů, vyhodit. Dlouhý příkaz níže stanovuje maximální počet tokenů na 7. | ||
+ | |||
+ | <code bash> | ||
+ | |||
+ | O spuštění Mosese se správným modelem se stará skript $QCGI/ | ||
+ | |||
+ | <code bash> | ||
+ | |||
+ | Sahá se tam do složky '' | ||
+ | |||
+ | <code bash>cd filtered-for-eval | ||
+ | cat moses.ini | sed ' | ||
+ | mv moses1.ini moses.ini | ||
+ | mv phrase-table.0-0.1.1.gz xxl-phrase-table.0-0.1.1.gz | ||
+ | ln -s ../ | ||
+ | cd ..</ |