[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
user:zeman:joshua [2009/06/01 21:13]
zeman JOSHUA_HOME
user:zeman:joshua [2010/08/31 15:55] (current)
zeman Překlep.
Line 1: Line 1:
 ====== Joshua ====== ====== Joshua ======
  
-Toto jsou Danovy poznámky k práci s hierarchickým překladovým dekodérem Joshuou (reimplementace Hiera (David Chiang) v Javě od lidí z JHU).+Toto jsou Danovy poznámky k práci s hierarchickým překladovým dekodérem Joshuou (reimplementace Hiera (David Chiang) v Javě od lidí z JHU (Zhifei Li)).
  
 Zdroje informací: Zdroje informací:
   * Soubory ''INSTALL'' a ''README'' přímo v balíčku s Joshuou.   * Soubory ''INSTALL'' a ''README'' přímo v balíčku s Joshuou.
 +  * http://www.clsp.jhu.edu/wiki2/JosHUa_-_JHU_Open_Source_Architecture - wiki Joshuy na JHU, jenže jak sami říkají, zastaralá
 +  * http://www.clsp.jhu.edu/wiki2/Joshua_Lab - cvičení s Joshuou na JHU, všechno už mají nainstalováno, ale u nich. Nicméně z toho vyplývá, že to pouštějí na clusteru 64bitových strojů (dokonce něco mají zkompilováno pro ně a nepoběží to jinde) se Sun Grid Engine
 +  * http://joshua.sourceforge.net/ - download, trocha dokumentace (hlavně té automaticky vygenerované, javadoc)
 +  * http://sourceforge.net/projects/joshua - kupodivu ne totéž jako nahoře. Download (ale viz též níže), jinak toho tu moc není
 +  * http://cs.jhu.edu/~ccb/joshua/ - step-by-step instructions by Chris Callison-Burch (v budoucnosti se stanou součástí oficiální dokumentace v PDF)
  
-===== Instalace SRILM =====+===== Instalace =====
  
-SRILM je nástroj pro jazykové modelováníse kterým pracují mnohé ekladače včetně Mosese a Joshuy. Je napsaný v céčkuZpůsob, jak ho získat a přeložit, je popsaný tutoriálu k Mosesovi(Ten není na webu normálně vidětale jeden odkaz na něj vede např. z Trac wiki Gaurav.Stručně zde opakuji:+Prerekvizity: 
 +  * Ant: kompilátor a make Javy. Máme ho v ''/usr/bin/ant'' 
 +  * Swig: nástroj na propojení kódu napsaného v různých jazycíchv tomto ípadě Joshuy (Java) na SRILM (céčko)Máme ho v ''/usr/bin/swig'' 
 +  * [[SRILM]]: nástroj Andrease Stolckeho na trénování používání jazykových modelů, běžně používaný se strojovými ekladačijako je Pharaoh, Hiero, Moses, Joshua. Máme nainstalováno nejspíš mnohokrát, podstatě si každý instaluje svou kopiiPodrobnosti o instalaci viz odkaz na začátku tohoto bodu. Pozoraby instalace fungovala na stroji (architektuře), na kterém chceme překládat (podrobnosti viz tamtéž).
  
-Získat balík se SRILM lze zde: http://www.speech.sri.com/projects/srilm/download.html+Nastavit důležité proměnné (to by se hodilo přidat do ''.cshrc'' nebo nějakého podobného konfiguračního souboru).
  
-Stažený balík srilm.tgz má asi 49 MB<nowiki>!</nowikiPozor, rozbaluje se do aktuální složky, takže před rozbalováním vytvořit složku srilm a vlézt do ní.+<code>setenv JAVA_HOME /opt/jdk1.6 
 +setenv SRILM /home/zeman/nastroje/srilm 
 +setenv JOSHUA /net/work/people/zeman/joshua</code>
  
-<code>mkdir srilm +Stáhnout aktuální verzi Joshuy:
-cd srilm +
-unzip.pl ../srilm.tgz</code>+
  
-nebo+<code>cd $JOSHUA 
 +svn co https://joshua.svn.sourceforge.net/svnroot/joshua/trunk joshua</code>
  
-<code>tar -xzvf ../srilm.tgz</code>+Poznámka: Na začátku června 2009 jsem měl problémy se zdrojáky získanými přímo z SVN (třída SuffixArray neobsahovala metodu main()), ale možná to byl jen dočasný výpadek dokumentace, protože šlo o věci, které se vzápětí v nové release verzi dělají jinakKaždopádně mi vždy fungovalo, když jsem si ze
  
-Přečíst si soubor README, je tam mnoho tipůUpravit Makefile, aby obsahoval cestu do mé složky.+http://joshua.sourceforge.net/
  
-<code>chmod +w Makefile +přešel na link Download a stáhnul si aktuální release verzi.
-vi Makefile</code>+
  
-diff:+Přeložit Joshuu:
  
-<code>7c7 +<code>cd $JOSHUA 
-< # SRILM = /home/speech/stolcke/project/srilm/devel +ant compile</code>
---- +
-> SRILM = /home/zeman/nastroje/srilm</code>+
  
-Není tam popsaný akorát tento zádrhel: z neznámých důvodů SRILM očekává grafickou knihovnu TCL. Pokud tato knihovna není k dispozici, musíme mu říct, že se na ni má vykašlat. K tomu je potřeba ve složce SRILM vlézt do common, najít dílčí Makefile pro naši architekturu (lze zjistit pomocí ''$SRILM/sbin/machine-type''), otevřít ho nějakém editoru a upravit 3 řádky: zakomentovat 2 začínající na TCL a zajistit, že je tam ten třetí (NO_TCL):+Kdyby bylo potřeba v budoucnosti překompilovat Joshuu načistojiž zkompilované moduly se dají odstranit pomocí
  
-<code># Tcl support (standard in Linux) +<code>ant clean</code>
-# TCL_INCLUDE = +
-# TCL_LIBRARY = -ltcl +
-NO_TCL = x</code>+
  
-Nyní jsme připraveni přeložit SRILM. Pokud nejsme v kořenové složce ''srilm'', vrátíme se do ní a spustíme:+Otestujeme, že je Joshua funkční:
  
-<code>make World</code>+<code>ant test 
 +./example/decode_example_javalm.sh 
 +./example/decode_example_srilm.sh</code>
  
-Nyní bychom měli otestovat, že SRILM je přeložen a běží správně. K tomu ho musíme přidat do své cesty (když pro použití s Mosesem a Joshuou to zřejmě není potřeba)Musíme do cesty idat jednak bin, jednak jeho podsložku pro naši architekturu.+Joshuu jsem překládal na zenu. Teď je ještě potřeba otestovat, že funguje na clusteru, třeba na počítači sol1A ejhle, na 64 bitech estala fungovat spolupráce se SRILM.
  
-<code>setenv PATH /home/zeman/nastroje/srilm/bin/i686:/home/zeman/nastroje/srilm/bin:${PATH} +<code>21:35 sol1:/ha/work/people/zeman/joshua> ./example/decode_example_srilm.sh 
-cd test +Jun 1, 2009 9:35:43 PM joshua.decoder.JoshuaConfiguration readConfigFile 
-make all</code>+INFO: you use a LM feature function, so make sure you have a LM grammar 
 +Exception in thread "main" java.lang.UnsatisfiedLinkError: /ha/work/people/zeman/joshua/lib/libsrilm.so: /ha/work/people/zeman/joshua/lib/libsrilm.sowrong ELF class: ELFCLASS32 (Possible cause: architecture word width mismatch) 
 +        at java.lang.ClassLoader$NativeLibrary.load(Native Method) 
 +        at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1767) 
 +        at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1692) 
 +        at java.lang.Runtime.loadLibrary0(Runtime.java:840) 
 +        at java.lang.System.loadLibrary(System.java:1047) 
 +        at joshua.corpus.vocab.SrilmSymbol.<init>(SrilmSymbol.java:46) 
 +        at joshua.decoder.JoshuaDecoder.initializeSymbolTable(JoshuaDecoder.java:322) 
 +        at joshua.decoder.JoshuaDecoder.initialize(JoshuaDecoder.java:259) 
 +        at joshua.decoder.JoshuaDecoder.<init>(JoshuaDecoder.java:108) 
 +        at joshua.decoder.JoshuaDecoder.main(JoshuaDecoder.java:684)</code>
  
-Josh Schroeder: "Prohlédneme si výstup, budeme hledat zprávy IDENTICAL a DIFFERS. Občas se může státže není vše identické, ale esto lze poznatjestli nástroj funguje, nebo padá." Dan: Úplně všechny testy mi hlásily DIFFERSale zdá se miže problém je spíš v pojmenování souborů (mnou vygenerované výstupy mají ve jménu navíc ".unknown"; namátkou jsem zkusil jeden z nich porovnat se vzorem byl identický).+Přestože SRILMkterý nebyl eložen na 64 bitechběží jak na 32tak na 64 bitechs Joshuou na 64 bitech spolupracovat neumí (na 32 ano)Nepomůže ani když překlad Joshuy pustím až na 64 bitech (při spolupráci s 32bitovým SRILM).
  
-==== Kompatibilita architektur ====+**Nicméně se zdá, že pomohlo následující:** 
 +  * Nalogoval jsem se na sol1 (aby kompilace probíhala na clusterové 64bitové architektuře). 
 +  * Upravil jsem $SRILM/sbin/machine-type tak, aby vracel i686-m64 (teď byl upravený, aby i zde dával jen i686). 
 +  * Vlezl jsem do $SRILM/common/Makefile.machine.i686-m64. TCL proměnné tam byly v pořádku, ale přidal jsem do voleb překladu (ADDITIONAL_CFLAGS i ADDITIONAL_CXXFLAGS) volbu -fPIC. Pokud by se to přeložilo bez ní, knihovny SRILM by pak nešly slinkovat přes Swig s Joshuou. 
 +  * make clean, pak make World 
 +  * Vrátil jsem se do $JOSHUA_HOME a pustil ant clean, pak ant compile, nakonec ant test a hlavně ten ./example/decode_example_srilm.sh.
  
-Předpokládal bych, že když něco přeložím pro 32bitový počítač, poběží to i na 64bitovém, ale není to tak. Přeložil jsem SRILM na zenu a úspěšně jsem ho otestoval. Potom jsem se pokusil tentýž test zopakovat na luciferovi (lucifer.ufal.hide). Hlásilo to následující chybu:+==== Cluster ====
  
-<code>ngram: /usr/lib/libstdc++.so.6: version `GLIBCXX_3.4.9' not found (required by ngram)</code>+Ke spuštění Joshuy na clusteru se hodí napřOndrova obálka (nebo i ta moje vlastní, ale tu bych neměl nutit napřGauravovi, když jako jeden z mála pořád pracuju s tcsh).
  
-Jako kdyby na luciferovi byla jiná verze céčka (a standardních knihoven) než na zenu.+<code>kinit 
 +ssh lrc-two 
 +cd $JOSHUA 
 +~bojar/tools/shell/qsubmit ./example/decode_example_srilm.sh 
 +qstat -u '*'</code>
  
-**zen:** 
  
-<code>17:38 zen:/ha/home/zeman/nastroje/srilm/test> gcc -v +===== Extrakce gramatiky =====
-Using built-in specs. +
-Target: i486-linux-gnu +
-Configured with: ../src/configure -v --enable-languages=c,c++,fortran,objc,obj-c++,treelang --prefix=/usr --enable-shared --with-system-zlib --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --enable-nls --with-gxx-include-dir=/usr/include/c++/4.2 --program-suffix=-4.2 --enable-clocale=gnu --enable-libstdcxx-debug --enable-objc-gc --enable-mpfr --enable-targets=all --enable-checking=release --build=i486-linux-gnu --host=i486-linux-gnu --target=i486-linux-gnu +
-Thread model: posix +
-gcc version 4.2.4 (Ubuntu 4.2.4-1ubuntu3)</code>+
  
-**lucifer:**+Joshua je nainstalován a funguje. Nyní se musíme naučit, jak ho trénovat a jak ho použít k překladu.
  
-<code>17:37 lucifer:/ha/home/zeman/nastroje/srilm/test> gcc -v +Nejdříve potřebujeme získat paralelní data, to je úkol mimo Joshuu. 
-Using built-in specs+  * Tokenizovaný a segmentovaný text ve zdrojovém jazyce (en)
-Target: x86_64-redhat-linux +  * Tokenizovaný a segmentovaný text v cílovém jazyce (hi). 
-Configured with: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --enable-shared --enable-threads=posix --enable-checking=release --with-system-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-languages=c,c++,objc,obj-c++,java,fortran,ada --enable-java-awt=gtk --disable-dssi --enable-plugin --with-java-home=/usr/lib/jvm/java-1.5.0-gcj-1.5.0.0/jre --enable-libgcj-multifile --enable-java-maintainer-mode --with-ecj-jar=/usr/share/java/eclipse-ecj.jar --with-cpu=generic --host=x86_64-redhat-linux +  * Párování vyrobíme [[Giza++|Gizou++]]. Správný soubor s párováním má stejný počet řádků jako zdrojový a cílový text (co řádekto věta)ale místo slov má na každém řádku posloupnost dvojic čísel (např. "2-0 2-1 2-2 2-1-4")Čísla vyjadřují, kolikáté slovo zdrojové věty je spárované s kolikátým slovem cílové větyTen správný soubor s takovýmto obsahem z Gizy++ obvykle vypadne pod jménem ''model/aligned.grow-diag-final-and'' nebo nějakým podobným.
-Thread model: posix +
-gcc version 4.1.2 20070925 (Red Hat 4.1.2-33)</code>+
  
-Možná je problém v tom, že na luciferovi ještě není Ubuntu, ale Red Hat. Zkusíme to tedy přímo na clusteru, např. **sol1:**+==== Zastaralý návod ====
  
-<code>17:42 sol1:/ha/work/people/zeman/zeh/zeman/tectomt/devel/external_code_compilation> gcc -v +**Pozornásledující poznámky pocházejí z&nbsp;dobykdy jsem se učil pracovat s&nbsp;první verzí Joshuya jsou zastaralé! Níže je kopie mailu od Lana Schwartzekde je vysvětlen postup pro Joshuu 1.3.**
-Using built-in specs. +
-Target: x86_64-linux-gnu +
-Configured with: ../src/configure -v --enable-languages=c,c++,fortran,objc,obj-c++,treelang --prefix=/usr --enable-shared --with-system-zlib --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --enable-nls --with-gxx-include-dir=/usr/include/c++/4.2 --program-suffix=-4.2 --enable-clocale=gnu --enable-libstdcxx-debug --enable-objc-gc --enable-mpfr --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=x86_64-linux-gnu +
-Thread model: posix +
-gcc version 4.2.4 (Ubuntu 4.2.4-1ubuntu3)</code>+
  
-Tentokrát test běží bez chyb!+A takhle pustíme Joshuu, aby z trénovacích dat extrahoval gramatiku. Joshua z nějakého důvodu vyžaduje také testovací soubor se zdrojovým jazykem. Soudě podle příkladu, který dodali, stačí zkopírovat první větu ze zdrojových trénovacích dat. Gramatiku je pak ještě třeba seřadit, vyházet duplicitní pravidla a zagzipovat.
  
 +<code>cd /net/work/people/zeman/hindstina
 +setenv SRC corpus/train.clean.en
 +setenv TGT corpus/train.clean.hi
 +setenv ALI model/aligned.grow-diag-final-and
 +setenv TST corpus/train.clean.en.1
 +setenv GRM en-hi.grammar
 +head -1 $SRC > $TST
 +java -cp $JOSHUA/bin joshua.prefix_tree.ExtractRules \
 +    --source=$SRC --target=$TGT --alignments=$ALI --test=$TST \
 +    --output=$GRM.unsorted --maxPhraseLength=5
 +sort -u $GRM.unsorted > $GRM
 +gzip $GRM</code>
  
-===== Instalace =====+V příkladu v INSTALL.txt měli navíc ještě volbu ''--print-rules=false'', nevím proč. Výsledná gramatika totiž byla prázdná, a když jsem tuto volbu odstranil, gramatika se vygenerovala.
  
-Pozor, aby to běželo na clusteru LRC, je potřeba to překládat pro 64bitovou architekturu. V nejhorším případě přímo na clusteru samém.+Pozor, je poměrně snadné vyčerpat paměť. Tomu se dá čelit jednak tím, že se přesuneme na strojkterý má více paměti, jednak že zvolíme postup, který je složitější, ale k paměti šetrnější.
  
-Stáhnout aktuální verzi Joshuy:+Binarizovat zdrojovou část korpusu.
  
-<code>setenv JOSHUA_HOME /net/work/people/zeman/joshua +<code>java -cp $JOSHUA/bin joshua.corpus.suffix_array.SuffixArray \ 
-cd $JOSHUA_HOME +    $WORK/corpus/train.clean.en \ 
-svn co https://joshua.svn.sourceforge.net/svnroot/joshua/trunk joshua</code>+    $WORK/model/vocab.en.bin \ 
 +    $WORK/model/corpus.en.bin \ 
 +    $WORK/model/suffixes.en.bin 
 +java -cp $JOSHUA/bin joshua.corpus.suffix_array.SuffixArray \ 
 +    $WORK/corpus/train.clean.hi \ 
 +    $WORK/model/vocab.hi.bin \ 
 +    $WORK/model/corpus.hi.bin \ 
 +    $WORK/model/suffixes.hi.bin 
 +java -cp $JOSHUA/bin joshua.corpus.alignment.AlignmentGrids \ 
 +    $WORK/model/aligned.grow-diag-final-and \ 
 +    $WORK/model/alignments.bin</code>
  
-Nastavit důležité proměnné (to by se hodilo idat do ''.cshrc'' nebo nějakého podobného konfiguračního souboru) a zkontrolovat, že máme nainstalované prerekvizityAnt je překladač nebo spíš make pro JavuSwig je nástroj, který umí propojovat kód napsaný různých jazycích, v tomto ípadě jde o napojení céčkového SRILM (jazykové modelovánína zbytek Joshuy, který je v Javě.+Takto se extrahuje gramatika pro konkrétní testovací data s pomocí binarizovaného korpusu: 
 + 
 +<code>java -Xmx2000m -Xms2000m -cp $JOSHUA/bin joshua.prefix_tree.ExtractRules \ 
 +    --binary-source=true --binary-target=true \ 
 +    --source=model/corpus.en.bin --target=model/corpus.hi.bin \ 
 +    --source-vocab=model/vocab.en.bin --target-vocab=model/vocab.hi.bin \ 
 +    --source-suffixes=model/suffixes.en.bin --target-suffixes=model/suffixes.hi.bin \ 
 +    --alignmentsType=MemoryMappedAlignmentGrids --alignments=model/alignments.bin \ 
 +    --test=corpus/test.lowercased.en \ 
 +    --output=model/en-hi.grammar.unsorted \ 
 +    --maxPhraseLength=5</code> 
 + 
 +==== Nový návod pro Joshuu 1.3 ==== 
 + 
 +Následuje výtah z&nbsp;mailu od Lana Schwartze, který vysvětluje, jak zadávat parametry i extrakci gramatiky s&nbsp;Joshuou 1.3. V&nbsp;dokumentaci u Joshuy jsem to nenašel. 
 + 
 +The recommended way to extract a grammar is to configure an ant XML file for ExtractRules. All available parameters can be configured using that technique. The main method is meant now to just be a simple version for use if you don't need any custom configuration. 
 + 
 +The current version of ExtractRules and its parameters are documented in my and Chris's paper at the most recent MT Marathon: 
 +http://www.mtmarathon2010.info/web/Program_files/art-schwartz-callison-burch.pdf 
 + 
 +The ant file should look something like this: 
 + 
 +extract.xml: 
 + 
 +<code xml><project name="JoshuaTasks"> 
 + 
 + <!-- Define the path to Joshua class files --> 
 + <property name="classes.dir"  
 + value="/path/to/joshua/bin"/> 
 + 
 + <!-- Define the ant task to compile a corpus into binary memory-mappable files --> 
 + <taskdef name="compileJosh"  
 + classname="joshua.corpus.suffix_array.Compile"  
 + classpath="${classes.dir}"/> 
 + 
 + <!-- Define the ant task to extract rules --> 
 + <taskdef name="extractRules"  
 + classname="joshua.prefix_tree.ExtractRules"  
 + classpath="${classes.dir}"/> 
 + 
 +  
 + <!-- Declare a target to compile a corpus --> 
 + <target name="compile_de-en"  
 +                      description="Compile josh dir for German-English"> 
 + <compileJosh 
 + sourceCorpus="/path/to/train.de" 
 + targetCorpus="/path/to/train.en" 
 + alignments="/path/to/train.de-en.aln" 
 + outputDir="/path/to/output/de-en.josh" 
 + /> 
 + </target> 
 + 
 + 
 + <!-- Declare a target to extract a grammar --> 
 + <target name="extract_de-en" 
 +                      description="Extract grammar for German-English"> 
 + <extractRules 
 + joshDir="/path/to/output/de-en.josh" 
 + outputFile="/path/to/output/de-en.grammar" 
 + testFile="/path/to/test.de" 
 + /> 
 + </target> 
 + 
 + 
 + <!-- Declare a target to extract a grammar with other parameters--> 
 + <target name="extract_de-en-custom" 
 +                      description="Extract grammar for German-English"> 
 + <extractRules 
 + joshDir="/path/to/output/de-en.josh" 
 + outputFile="/path/to/output/de-en.grammar" 
 + testFile="/path/to/test.de" 
 + maxPhraseSpan="5" 
 + maxPhraseLength="5" 
 + requireTightSpans="true" 
 + edgeXViolates="false" 
 + sentenceInitialX="false" 
 + sentenceFinalX="false" 
 + ruleSampleSize="200" 
 + maxNonterminals="2" 
 + /> 
 + </target> 
 + 
 +</project></code> 
 + 
 +You can call this, with any of the targets that you define in extract.xml, using ant: 
 + 
 +<code bash># Compile the corpus 
 +ant -f extract.xml compile_de-en 
 + 
 +# Extract rules using defaults 
 +ant -f extract.xml extract_de-en 
 + 
 +# Extract rules using custom settings 
 +ant -f extract.xml extract_de-en-custom</code> 
 + 
 +===== Decoding ===== 
 + 
 +Jakmile máme gramatiku (tj. překladový model), můžeme dekódovat neboli překládat. Bývá sice zvykem ještě nejdříve vyladit váhy jednotlivých komponent pomocí MERTu, ale MERT sám už dekódování používá a teoreticky se můžeme spokojit s dekódováním pomocí odhadnutých, nevyladěných vah. 
 + 
 +Parametry dekódování se zadávají prostřednictvím konfiguračního souboru. Vytvoříme si ho třeba tak, že zkopírujeme a upravíme konfigurační soubor, který byl přibalen k Joshuovi v jednom z příkladů (example2). Konfigurační soubor obsahuje následující parametry: 
 + 
 +Cesta k souboru s jazykovým modelem. Zatím předpokládám, že to má být soubor ve formátu SRILM, i když SRILM nepoužijeme místo něj použijeme javovské jazykové modelováníkteré je součástí Joshuy. Jazykový model může být zagzipovánCesta k souboru může být relativní. 
 + 
 +<code>lm_file=$WORK/lm/train.lowercased.hi.lm</code> 
 + 
 +Cesta k souboru s překladovým modelem, tedy s gramatikou vyextrahovanou pro daný testovací soubor. Formát má být stejný, jako produkuje Hiero. Předpokládám, že je to i defaultní formát, který produkuje Joshua, po setřídění s odstraněním duplicit a po zagzipování. 
 + 
 +<code>tm_file=$WORK/model/en-hi-dev.grammar.gz 
 +tm_format=hiero</code> 
 + 
 +Jakýsi spojovací soubor, glue_file. Vůbec nevím, co to je. Joshua ale jeden obsahuje a vypadá dost obecně, takže možná nezávisí na konkrétních trénovacích datech. 
 + 
 +<code>glue_file=$JOSHUA/grammars/hiero.glue 
 +glue_format=hiero</code> 
 + 
 +Konfigurace jazykového modelu. Kopíruju ji z example2, akorát měním order na 3, protože jsem trénoval trigramy, nikoli čtyřgramy. 
 + 
 +<code>#lm config 
 +use_srilm=false 
 +lm_ceiling_cost=100 
 +use_left_euqivalent_state=false 
 +use_right_euqivalent_state=false 
 +order=3</code> 
 + 
 +Konfigurace ekladového modelu. Kopíruju ji z example2, aniž bych tušil, co znamená. 
 + 
 +<code>#tm config 
 +span_limit=10 
 +phrase_owner=pt 
 +mono_owner=mono 
 +begin_mono_owner=begin_mono 
 +default_non_terminal=X 
 + 
 +#pruning config 
 +fuzz1=0.1 
 +fuzz2=0.1 
 +max_n_items=30 
 +relative_threshold=10.0 
 +max_n_rules=50 
 +rule_relative_threshold=10.0</code> 
 + 
 +Konfigurace N-best listu (dekodér vrací N překladových hypotéz, které se mu jeví jako nejlepší, seřazených podle skóre, které jim přiřadil). Pro MERT potřebujeme N nejlepších hypotéz, abychom mohli každou z nich porovnat s referenčními překlady, spočítat BLEU skóre a případně upravit váhy, pokud má nejlepší BLEU skóre hypotéza, která se celkovým skóre nedostala na začátek seznamu, ale při jiném vyvážení komponent by se tam mohla dostat. Pro závěrečný překlad testovacích dat obvykle N nejlepších hypotéz nepotřebujeme, chceme znát rovnou tu, kterou systém považuje za úplně nejlepší. 
 + 
 +<code>#nbest config 
 +use_unique_nbest=true 
 +use_tree_nbest=false 
 +add_combined_cost=true 
 +top_n=300</code> 
 + 
 +Další sekce se týkají vzdáleného serveru pro jazykové modelování a paralelního dekodéruTyto sekce vynechávám, protože se nezdá, že bychom je v současné době využili. 
 + 
 +Následují váhy jednotlivých komponent ("features"), tedy jazykového modelu, frázového modelu a případně dalších. 
 + 
 +<code>###### model weights 
 +#lm order weight 
 +lm 1.000000 
 + 
 +#phrasemodel owner column(0-indexed) weight 
 +phrasemodel pt 0 1.066893 
 +phrasemodel pt 1 0.752247 
 +phrasemodel pt 2 0.589793 
 + 
 +#arityphrasepenalty owner start_arity end_arity weight 
 +#arityphrasepenalty pt 0 0 1.0 
 +#arityphrasepenalty pt 1 2 -1.0 
 + 
 +#phrasemodel mono 0 0.5 
 + 
 +#wordpenalty weight 
 +wordpenalty -2.844814</code> 
 + 
 +No a nakonec příkaz, kterým pustíme Joshuu s naším konfiguračním souborem (na clusteru): 
 + 
 +<code>qsub.csh \ 
 +    "java -Xmx1200m -Xms1200m -cp $JOSHUA/bin joshua.decoder.JoshuaDecoder \ 
 +     ~zeman/projekty/hindstina/joshua-config-tides-dev.txt \ 
 +     $HINDI/corpus/dev.lowercased.en \ 
 +     $HINDI/dev.nbest.out"</code> 
 + 
 +I když si v konfiguračním souboru řekneme, že chceme N-best výstup pro N=1, dostaneme ho ve formátu, který je připraven na více hypotéz (každý překlad např. obsahuje skóre a váhy). Abychom z toho dostali obyčejný 1-best překlad, můžeme použít Zhifeiůskript, který je k Joshuovi přibalen ve složce example2: 
 + 
 +<code>$JOSHUA/example2/get_1best_from_Nbest.pl $HINDI/output/dev.nbest.out $HINDI/output/dev.1best.out</code> 
 + 
 +===== Vyhodnocení úspěšnosti ===== 
 + 
 +1-best výstup Joshuy a referenční překlad bychom mohli převést do příslušného XML formátu a pustit na ně oficiální externí perlový skript, který počítá BLEU skóre. Pro výsledná čísla do článku bychom to tak také měli udělat. 
 + 
 +Jinak ale Joshua obsahuje svůj vlastní kód pro vyhodnocování. Přehled parametrů jeho volání se dozvímekdyž ho zavoláme bez argumentů: 
 + 
 +<code>java -cp $JOSHUA/bin joshua.util.JoshuaEval</code> 
 + 
 +S využitím většiny defaultů stačí dodat jméno vyhodnocovaného souboru a jméno souboru s referenčním ekladem: 
 + 
 +<code>java -cp $JOSHUA/bin joshua.util.JoshuaEval \ 
 +    -cand $HINDI/output/dev.1best.out \ 
 +    -ref $HINDI/corpus/dev.lowercased.hi</code> 
 + 
 +Bez MERTu mi zatím vyšlo BLEU = 0.0807. 
 + 
 +===== MERT ===== 
 + 
 +Celý proces by nebyl úplný bez MERTu, což je zkratka za Minimum Error Rate Training. V principu jde o to, že se dekodér opakovaně pouští na vývojová data a na základě změřené úspěšnosti se postupně optimalizují váhy překladového modelu, jazykového modelu a případně dalších složek. V Joshuovi je pro tento účel integrován javovský nástroj Z-MERT. 
 + 
 +Většina parametrů se Z-MERTu předává prostřednictvím konfiguračního souboru. Přehled volání Z-MERTu se dozvíme takto: 
 + 
 +<code>java -cp $JOSHUA/bin joshua.zmert.ZMERT -h</code> 
 + 
 +Příklad použití Z-MERTu najdeme ve složce ''$JOSHUA/ZMERT_example''. Můžeme si zkopírovat a upravit tamější konfigurační soubor ''ZMERT_config_ex2.txt''. Některé numerické parametry (počáteční váhy napříkladjsou v samostatném souboru ''params.txt'', který si také musíme zkopírovat. Pro jistotu si také uděláme kopii vývojových dat. 
 + 
 +Dále potřebujeme soubor (vlastně skript: měl by být spustitelný), ve kterém bude napsáno, jak volat dekodér. A, samozřejmě, také soubor s konfigurací dekodéru. 
 + 
 +<code>cd $HINDI/mert 
 +cp ../corpus/dev.lowercased.en src.txt 
 +cp ../corpus/dev.lowercased.hi ref.txt 
 +cp $JOSHUA/ZMERT_example/config_ex2.txt decoder-config.txt 
 +vi decoder-config</code> 
 + 
 +Změněné parametry: 
 + 
 +<code>lm_file=/net/work/people/zeman/hindstina/lm/train.lowercased.hi.lm 
 +tm_file=/net/work/people/zeman/hindstina/model/en-hi-dev.grammar.gz 
 +glue_file=/net/work/people/zeman/joshua/grammars/hiero.glue 
 +order=3</code> 
 + 
 +<code>cp $JOSHUA/ZMERT_example/decoder_command_ex2 decoder_command 
 +chmod 755 decoder_command 
 +vi decoder_command</code> 
 + 
 +Ve volání dekodéru musíme změnit cesty ke konfiguračnímu, zdrojovému a cílovému souboru. 
 + 
 +<code>java -Xmx1200m -Xms1200m -cp $JOSHUA/bin joshua.decoder.JoshuaDecoder \ 
 +    $HINDI/mert/decoder-config.txt \ 
 +    $HINDI/mert/src.txt \ 
 +    $HINDI/mert/nbest.txt</code> 
 + 
 +V konfiguraci Z-MERTu zohledníme právě upravené volání a konfiguraci dekodéru. 
 + 
 +<code>cp $JOSHUA/ZMERT_example/params.txt . 
 +cp $JOSHUA/ZMERT_example/ZMERT_config_ex2.txt zmert-config.txt 
 +vi zmert-config.txt</code> 
 + 
 +Změněné parametry: 
 + 
 +<code>-dir /net/work/people/zeman/hindstina/mert # working directory 
 +-s src.txt # source sentences file name 
 +-r ref.txt # target sentences file name 
 +-rps 1     # references per sentence 
 +-maxIt 5   # maximum MERT iterations 
 +-cmd ./decoder_command # file containing commands to run decoder 
 +-decOut nbest.txt # file produced by decoder 
 +-dcfg decoder-config.txt # decoder config file</code> 
 + 
 +No a teď už můžeme spustit Z-MERT (případně to celé dát do uvozovek a před to ''~zeman/bin/qsub.csh''): 
 + 
 +<code>java -cp $JOSHUA/bin joshua.zmert.ZMERT -maxMem 500 \ 
 +    $HINDI/mert/zmert-config.txt \ 
 +    > $HINDI/mert/zmert.out</code> 
 + 
 +===== Troubleshooter ===== 
 + 
 + 
 + 
 +==== Grammar extraction: Negative array size ==== 
 + 
 +If you encounter this exception during corpus binarization or (in older releases of Joshua) during grammar extraction, check your alignment file whether it matches your source and target corpus. Did you switch translation direction accidentially? The alignment file must have the same number of lines as your source and target corpus, one line per sentence (segment) pair. The "tokens" on each line are pairs of numbers, such as "0-0 1-2 2-2 3-5". The first number in each pair is the index to the source sentence (first token has index 0) and the second number is index to the target sentence. By switching the source and the target, you are likely to cause some indices to point out of the sentence, and you are in trouble. 
 + 
 +Another source of this error could be sentences with 100 or more words. This is not a strict limit, often I was able to extract grammars for corpora unchecked for such sentences, but according to Lance Schwartz, long sentences can cause problems. (For me, filtering out such sentences helped with es-en WMT08 training data.) And after all, they are suspicious anyway, and their contribution to the learnt model is doubtful. 
 + 
 +==== ZMERT: corrupted temp file ==== 
 + 
 +Hi all, 
 + 
 +does the following ZMERT exception look familiar to anyone? My only idea was that the nbest output from the decoder is corrupted somehow. However, I cannot find anything strange in it, such as sequence of more then three "|||" etc. 
 + 
 +Thanks, 
 +Dan 
 + 
 +zmert.out: 
 +----- 
 +<code>tmpDirPrefix: /ha/work/people/zeman/wmt/experiments/obo-max/mert/ZMERT. 
 +Processed the following args array: 
 + -dir /ha/work/people/zeman/wmt/experiments/obo-max/mert -s src.txt -r ref.txt -rps 1 -p params.txt -m BLEU 4 closest -maxIt 5 -ipi 20 -cmd ./decoder.pl -decOut nbest.txt -dcfg decoder-config.txt -N 300 -v 1 -seed 12341234 
 + 
 +---------------------------------------------------- 
 +Initializing... 
 +---------------------------------------------------- 
 + 
 +Random number generator initialized using seed: 12341234 
 + 
 +Number of sentences: 2051 
 +Number of documents: 1 
 +Optimizing BLEU 
 +docSubsetInfo: {0, 1, 1, 1, 1, 0, 0} 
 +Number of features: 5 
 +Feature names: {"lm","phrasemodel pt 0","phrasemodel pt 1","phrasemodel pt 2","wordpenalty"
 + 
 +c    Default value    Optimizable?    Crit. val. range    Rand. val. range 
 +1     1.0000         Yes         [0.1,Infinity]         [0.5,1.5] 
 +2     1.0669         Yes         [-Infinity,Infinity]         [-1.0,1.0] 
 +3     0.7522         Yes         [-Infinity,Infinity]         [-1.0,1.0] 
 +4     0.5898         Yes         [-Infinity,Infinity]         [-1.0,1.0] 
 +5     -2.8448         Yes         [-Infinity,Infinity]         [-5.0,0.0] 
 + 
 +Weight vector normalization method: weights will be scaled so that the "lm" weight has an absolute value of 1.0. 
 + 
 +---------------------------------------------------- 
 + 
 +---------------------------------------------------- 
 +Z-MERT run started @ Sat Mar 06 23:52:57 CET 2010 
 +---------------------------------------------------- 
 + 
 +Initial lambda[]: {1.0, 1.066893, 0.752247, 0.589793, -2.844814} 
 + 
 +--- Starting Z-MERT iteration #1 @ Sat Mar 06 23:52:57 CET 2010 --- 
 +Decoding using initial weight vector {1.0, 1.066893, 0.752247, 0.589793, -2.844814} 
 +Running external decoder... 
 +...finished decoding @ Sun Mar 07 00:02:33 CET 2010 
 +Reading candidate translations from iterations 1-1 
 +(and computing BLEU sufficient statistics for previously unseen candidates) 
 + Progress: 
 +Exception in thread "main" java.lang.NumberFormatException: For input string: "||||||" 
 +   at java.lang.NumberFormatException.forInputString(NumberFormatException.java:48) 
 +   at java.lang.Integer.parseInt(Integer.java:449) 
 +   at java.lang.Integer.parseInt(Integer.java:499) 
 +   at joshua.zmert.MertCore.run_single_iteration(MertCore.java:1071) 
 +   at joshua.zmert.MertCore.main(MertCore.java:3129) 
 +Z-MERT exiting prematurely (MertCore returned 1)...</code> 
 +-----  
 + 
 +Omar's response: 
 + 
 +Hi Dan, 
 + 
 +The "||||||" sequence is in a temp file, not the decoder's output.  If 
 +if there are any *temp* (or *tmp*) files in the folder from earlier 
 +runs, make sure you delete them first, then try launching Z-MERT 
 +again.  Such files are left over from runs that crash.  Z-MERT does 
 +not delete them because they can be used to restart Z-MERT from the 
 +point where it crashed.  But that assumes the crash is due to power 
 +loss or an interrupted job, etc.  In your case, I think what happened 
 +is that a prior run crashed because of an external problem in the 
 +setup itself, which you fixed and tried to restart Z-MERT.  For that 
 +reason, Z-MERT should not be using those temp files in the first 
 +place, but when it sees them there, it assumes it can use them because 
 +the user did not delete them. 
 + 
 +Let me know if that's not the case. 
 + 
 +O.Z.
  
-<code>setenv JAVA_HOME /opt/jdk1.6 
-which ant # /usr/bin/ant 
-which swig # /usr/bin/swig 
-setenv SRILM /home/zeman/nastroje/srilm</code> 

[ Back to the navigation ] [ Back to the content ]