Differences

This shows you the differences between two versions of the page.

--- user:zeman:moses [2008/12/15 16:44]
zeman Kompiluji.
+++ user:zeman:moses [2008/12/15 22:22]
zeman Bash.
@@ Line 1: / Line 1: @@
 ====== Ondrův návod, jak pouštět Mosese ======
+===== Instalace =====
 <code bash>svn co https://svn.ms.mff.cuni.cz/svn/treedecode/moses_playground</code>
@@ Line 16: / Line 18: @@
 make workspace</code>
-Pro jistotu pouštím na ''sol2'', aby měl make podobné 64bitové prostředí, jako bude mít Moses puštěný na clusteru.
+Pro jistotu pouštím na ''sol2'', aby měl make podobné 64bitové prostředí, jako bude mít Moses puštěný na clusteru. Zdá se, že to proběhlo bez potíží, řeklo to:
+<code>## Don't forget to set your SCRIPTS_ROOTDIR with:
+   export SCRIPTS_ROOTDIR=/export/work/people/zeman/moses/moses_playground/workspace.20081215-1642/bin/scripts-20081215-1646</code>
 <code bash># vyrobi to podadresar workspace.DATUM-CAS,
-# nastav cesty v playground/Makefile
+# nastav cesty v moses_playground/Makefile</code>
-# priprav korpusy:
+Nastavuju cesty ''PWD'' a ''WS'' na začátku Makefilu. ''PWD'' vede na právě vytvořený ''moses_playground'', ''WS'' je název právě vytvořeného pracovního prostoru ''workspace.20081215-1642''.
-cd playground/augmented_corpora
+===== Příprava korpusů =====
+<code bash># priprav korpusy:
+cd moses_playground/augmented_corpora
 # co (paralelni) korpus, to adresar
@@ Line 33: / Line 42: @@
 mujkorpus/en.info
-Priklad viz /home/bojar/diplomka/granty/euromatrix/moses_icon08/augmented_corpora/icon-eilmt
+Priklad viz /home/bojar/diplomka/granty/euromatrix/moses_icon08/augmented_corpora/icon-eilmt</code>
-Pak nechas vyrobit alignment, bud rucne, nebo napr.:
+Nějaké podsložky už tam jsou. Vytvářím novou ''enhi-dan'' a kopíruju do ní Ondrovy příklady souborů .gz a .info. Tím jsem získal kopii anglicko-hindského korpusu EILMT (7000 vět). Korpus je tokenizovaný a spárovaný po větách.
+**Před dalšími operacemi raději přepínám z tcsh do bashe, který používá Ondra.**
+<code bash>Pak nechas vyrobit alignment, bud rucne, nebo napr.:
 cd augmented_corpora
@@ Line 47: / Line 60: @@
 (Vystup viz napr. /a/merkur1/bojar/moses_icon08/augmented_corpora/icon-eilmt/lcstem4-lcstem4.gz)
-Princip je ten, ze pro kazdy korpus K maji vsechny soubory augmented_corpora/K/*.gz mit stejny pocet radek. Mohou mit ruzny pocet tokenu na radce.
+Princip je ten, ze pro kazdy korpus K maji vsechny soubory augmented_corpora/K/*.gz
+mit stejny pocet radek. Mohou mit ruzny pocet tokenu na radce.</code>
-Pak je skript augment.pl, ktery podle navodu z daneho korpusu vyreze potrebne faktory, napr.:
+Cíl ''align'' v příslušném Makefilu nevolá Hunalign, ale Gizu, takže už zřejmě nejde o párování vět, ale tokenů. O Hunalignu (párování vět) se tiše předpokládá, že jsme si ho pustili už dříve sami, nebo že jsme si párování vět zařídili nějak jinak. Viz Ondrova poznámka: paralelní korpusy, které jsme sem nakopírovali, už musí mít na obou stranách stejný počet řádek (= segmentů = vět).
+Pozor, tady už některé věci vyžadují úpravy, např. se tam přistupuje k ''~/diplomka'', čímž se ale má na mysli zřejmě ''/home/bojar/diplomka''. Taky se tam předpokládá existence příkazu ''qsubmit'', což je jednak Ondrova obálka na ''qsub'', kterou normální lidi nemají v cestě (velmi pravděpodobně je to tohle: ''~bojar/tools/shell/qsubmit''), jednak musíme ''make align'' volat z počítače, ze kterého lze odeslat výpočet na cluster (tedy z ''lrc'').
+Vyžaduje se také perlový modul ''File::NFSLock'', který normálně nemám v ''@INC'', takže asi není ve standardní ÚFALí distribuci Perlu. Zjistil jsem, že Ondra tuhle knihovnu má v ''/home/bojar/myperl/lib'' (kromě toho má ještě ''/home/bojar/perllib'', tam jsou nějaké další balíčky z CPANu). Protože normálně nepoužívám ''bash'', nedokázal jsem ho rychle přinutit, aby tuhle cestu standardně přidal do ''PERLLIB'' a ''PERL5LIB''. Nakonec jsem raději přidal na začátek ''augment.pl'' řádek ''use lib '/home/bojar/myperl/lib';''.
+<code bash>Pak je skript augment.pl, ktery podle navodu z daneho korpusu vyreze potrebne faktory, napr.:
 cd augmented_corpora
 ./augment.pl icon-eilmt/hi+form+lcstem4
-Pozor: v soucasne dobe stale jeste nefunguji zamky v augment.pl a NFS je debilni. Muze se tedy stat, ze kdyz ma augment vyrobit nejakou novou kombinaci, ktera se sklada z take vyrabenych soucastek, tak se vyrobi neuplne gzipy!
+Pozor: v soucasne dobe stale jeste nefunguji zamky v augment.pl a NFS je debilni.
+Muze se tedy stat, ze kdyz ma augment vyrobit nejakou novou kombinaci,
+ktera se sklada z take vyrabenych soucastek, tak se vyrobi neuplne gzipy!
+To byla priprava. :-)</code>
-To byla priprava. :-)
+Z tohohle to skoro vypadá, že se augment má pouštět před alignem, a ne až po něm. Z Makefilu je ale vidět, že se volání augmentu předává jako parametr alignu, který si ho zřejmě obsluhuje sám.
+===== Pouštění pokusů =====
-Samotne pokusy pak pripravuji a spoustim takto:
+<code bash>Samotne pokusy pak pripravuji a spoustim takto:
 cd playground

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences