Differences

This shows you the differences between two versions of the page.

--- user:zeman:moses [2008/12/15 16:48]
zeman Make je hotov.
+++ user:zeman:moses [2008/12/15 17:34]
zeman Párování vět.
@@ Line 1: / Line 1: @@
 ====== Ondrův návod, jak pouštět Mosese ======
+===== Instalace =====
 <code bash>svn co https://svn.ms.mff.cuni.cz/svn/treedecode/moses_playground</code>
@@ Line 22: / Line 24: @@
 <code bash># vyrobi to podadresar workspace.DATUM-CAS,
-# nastav cesty v playground/Makefile
+# nastav cesty v moses_playground/Makefile</code>
-# priprav korpusy:
+Nastavuju cesty ''PWD'' a ''WS'' na začátku Makefilu. ''PWD'' vede na právě vytvořený ''moses_playground'', ''WS'' je název právě vytvořeného pracovního prostoru ''workspace.20081215-1642''.
-cd playground/augmented_corpora
+===== Příprava korpusů =====
+<code bash># priprav korpusy:
+cd moses_playground/augmented_corpora
 # co (paralelni) korpus, to adresar
@@ Line 36: / Line 42: @@
 mujkorpus/en.info
-Priklad viz /home/bojar/diplomka/granty/euromatrix/moses_icon08/augmented_corpora/icon-eilmt
+Priklad viz /home/bojar/diplomka/granty/euromatrix/moses_icon08/augmented_corpora/icon-eilmt</code>
-Pak nechas vyrobit alignment, bud rucne, nebo napr.:
+Nějaké podsložky už tam jsou. Vytvářím novou ''enhi-dan'' a kopíruju do ní Ondrovy příklady souborů .gz a .info. Tím jsem získal kopii anglicko-hindského korpusu EILMT (7000 vět). Korpus je tokenizovaný a spárovaný po větách.
+**Před dalšími operacemi raději přepínám z tcsh do bashe, který používá Ondra.**
+<code bash>Pak nechas vyrobit alignment, bud rucne, nebo napr.:
 cd augmented_corpora
@@ Line 50: / Line 60: @@
 (Vystup viz napr. /a/merkur1/bojar/moses_icon08/augmented_corpora/icon-eilmt/lcstem4-lcstem4.gz)
-Princip je ten, ze pro kazdy korpus K maji vsechny soubory augmented_corpora/K/*.gz mit stejny pocet radek. Mohou mit ruzny pocet tokenu na radce.
+Princip je ten, ze pro kazdy korpus K maji vsechny soubory augmented_corpora/K/*.gz
+mit stejny pocet radek. Mohou mit ruzny pocet tokenu na radce.</code>
+Cíl ''align'' v příslušném Makefilu nevolá Hunalign, ale Gizu, takže už zřejmě nejde o párování vět, ale tokenů. O Hunalignu (párování vět) se tiše předpokládá, že jsme si ho pustili už dříve sami, nebo že jsme si párování vět zařídili nějak jinak. Viz Ondrova poznámka: paralelní korpusy, které jsme sem nakopírovali, už musí mít na obou stranách stejný počet řádek (= segmentů = vět).
+Pozor, tady už některé věci vyžadují úpravy, např. se tam přistupuje k ''~/diplomka'', čímž se ale má na mysli zřejmě ''/home/bojar/diplomka''.
-Pak je skript augment.pl, ktery podle navodu z daneho korpusu vyreze potrebne faktory, napr.:
+<code bash>Pak je skript augment.pl, ktery podle navodu z daneho korpusu vyreze potrebne faktory, napr.:
 cd augmented_corpora
 ./augment.pl icon-eilmt/hi+form+lcstem4
-Pozor: v soucasne dobe stale jeste nefunguji zamky v augment.pl a NFS je debilni. Muze se tedy stat, ze kdyz ma augment vyrobit nejakou novou kombinaci, ktera se sklada z take vyrabenych soucastek, tak se vyrobi neuplne gzipy!
+Pozor: v soucasne dobe stale jeste nefunguji zamky v augment.pl a NFS je debilni.
+Muze se tedy stat, ze kdyz ma augment vyrobit nejakou novou kombinaci,
+ktera se sklada z take vyrabenych soucastek, tak se vyrobi neuplne gzipy!
-To byla priprava. :-)
+To byla priprava. :-)</code>
+===== Pouštění pokusů =====
-Samotne pokusy pak pripravuji a spoustim takto:
+<code bash>Samotne pokusy pak pripravuji a spoustim takto:
 cd playground

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences