Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:joshua [2009/06/01 17:18] zeman SRILM. |
user:zeman:joshua [2009/06/01 21:37] zeman Na clusteru to nefunguje. |
||
---|---|---|---|
Line 6: | Line 6: | ||
* Soubory '' | * Soubory '' | ||
- | ===== Instalace | + | ===== Instalace ===== |
- | SRILM je nástroj | + | Prerekvizity: |
+ | * Ant: kompilátor a make Javy. Máme ho v ''/ | ||
+ | * Swig: nástroj | ||
+ | * [[SRILM]]: nástroj Andrease Stolckeho na trénování | ||
- | Získat balík | + | Nastavit důležité proměnné (to by se hodilo přidat do '' |
- | Stažený balík srilm.tgz má asi 49 MB! Pozor, rozbaluje se do aktuální složky, takže před rozbalováním vytvořit složku | + | < |
+ | setenv SRILM / | ||
+ | setenv JOSHUA_HOME / | ||
- | < | + | Stáhnout aktuální verzi Joshuy: |
- | cd srilm | + | |
- | unzip.pl ../ | + | |
- | nebo | + | < |
+ | svn co https:// | ||
- | < | + | Přeložit Joshuu: |
- | Přečíst si soubor README, je tam mnoho tipů. Upravit Makefile, aby obsahoval cestu do mé složky. | + | < |
+ | ant compile</ | ||
- | < | + | Kdyby bylo potřeba v budoucnosti překompilovat Joshuu načisto, již zkompilované moduly se dají odstranit pomocí |
- | vi Makefile</ | + | |
- | diff: | + | < |
- | < | + | Otestujeme, že je Joshua funkční: |
- | < # SRILM = / | + | |
- | --- | + | |
- | > SRILM = / | + | |
- | Není tam popsaný akorát tento zádrhel: z neznámých důvodů SRILM očekává grafickou knihovnu TCL. Pokud tato knihovna není k dispozici, musíme mu říct, že se na ni má vykašlat. K tomu je potřeba ve složce SRILM vlézt do common, najít dílčí Makefile pro naši architekturu (lze zjistit pomocí '' | + | < |
+ | ./ | ||
+ | ./example/ | ||
- | < | + | Joshuu jsem překládal na zenu. Teď je ještě potřeba otestovat, že funguje i na clusteru, třeba na počítači sol1. A ejhle, na 64 bitech přestala fungovat spolupráce se SRILM. |
- | # TCL_INCLUDE = | + | |
- | # TCL_LIBRARY = -ltcl | + | |
- | NO_TCL = x</ | + | |
- | Nyní jsme připraveni přeložit SRILM. Pokud nejsme v kořenové složce '' | + | < |
- | + | Jun 1, 2009 9:35:43 PM joshua.decoder.JoshuaConfiguration readConfigFile | |
- | < | + | INFO: you use a LM feature function, so make sure you have a LM grammar |
- | + | Exception in thread " | |
- | Nyní bychom měli otestovat, že SRILM je přeložen a běží správně. K tomu ho musíme přidat do své cesty (i když pro použití s Mosesem a Joshuou to zřejmě není potřeba). Musíme do cesty přidat jednak bin, jednak jeho podsložku pro naši architekturu. | + | at java.lang.ClassLoader$NativeLibrary.load(Native Method) |
- | + | at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1767) | |
- | < | + | at java.lang.ClassLoader.loadLibrary(ClassLoader.java: |
- | cd test | + | at java.lang.Runtime.loadLibrary0(Runtime.java: |
- | make all</ | + | at java.lang.System.loadLibrary(System.java: |
- | + | at joshua.corpus.vocab.SrilmSymbol.<init>(SrilmSymbol.java:46) | |
- | Prohlédneme si výstup, budeme hledat zprávy IDENTICAL a DIFFERS. Občas se může stát, že není vše identické, ale přesto lze poznat, jestli nástroj funguje, nebo padá. | + | at joshua.decoder.JoshuaDecoder.initializeSymbolTable(JoshuaDecoder.java: |
- | + | at joshua.decoder.JoshuaDecoder.initialize(JoshuaDecoder.java: | |
- | ===== Instalace ===== | + | at joshua.decoder.JoshuaDecoder.< |
- | + | at joshua.decoder.JoshuaDecoder.main(JoshuaDecoder.java: | |
- | Pozor, aby to běželo na clusteru LRC, je potřeba to překládat pro 64bitovou architekturu. V nejhorším případě přímo na clusteru samém. | + | |
- | + | ||
- | Stáhnout aktuální verzi Joshuy: | + | |
- | + | ||
- | < | + | |
- | svn co https://joshua.svn.sourceforge.net/svnroot/joshua/trunk joshua</code> | + | |
- | + | ||
- | Nastavit důležité proměnné | + | |
- | + | ||
- | <code>setenv JAVA_HOME /opt/jdk1.6 | + | |
- | which ant # / | + | |
- | which swig # / | + | |
- | # install SRILM</ | + |