[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

• ÚFAL Wiki Home
• ÚFAL Home
• Sitemap
• RSS
• ÚFAL calendar
• Recent changes
• Login
• Hledat:

[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

View differences: Side by SideInline Go

Link to this comparison view

Both sides previous revision Previous revision 2009/11/16 14:00 zeman Workspace.2009/08/12 10:20 ptacek 2009/08/12 10:19 ptacek 2009/08/12 10:19 ptacek 2008/12/15 23:47 zeman Jazykový model nějaký mám, ale Karthik má jiný.2008/12/15 23:43 zeman Pentagram, ne dekagram!2008/12/15 23:37 zeman Ondrovy skripty.2008/12/15 23:28 zeman form2008/12/15 23:20 zeman ORDER=10.2008/12/15 23:15 zeman 2008/12/15 23:15 zeman Výroba jazykového modelu.2008/12/15 22:59 zeman Úprava.2008/12/15 22:22 zeman Bash.2008/12/15 21:45 zeman File::NFSLock.2008/12/15 21:23 zeman Augment a align.2008/12/15 21:08 zeman Co bylo dřív, augment, nebo align?2008/12/15 17:45 zeman Cesta ke qsubmitu.2008/12/15 17:42 zeman qsubmit2008/12/15 17:34 zeman Párování vět.2008/12/15 17:31 zeman Párování.2008/12/15 17:24 zeman Přepínám do bashe.2008/12/15 17:22 zeman Úprava.2008/12/15 17:15 zeman Zkopírován korpus EILMT.2008/12/15 16:58 zeman Úprava cest v Makefilu.2008/12/15 16:51 zeman Nadpisy.2008/12/15 16:48 zeman Make je hotov.2008/12/15 16:44 zeman Kompiluji.2008/12/15 15:46 zeman Stáhnuto SRILM.2008/12/15 15:44 zeman Checkout se povedl.2008/12/15 15:41 zeman vytvořeno Go Next revision		Previous revision 2009/11/16 14:00 zeman Workspace.2009/08/12 10:20 ptacek 2009/08/12 10:19 ptacek 2009/08/12 10:19 ptacek 2008/12/15 23:47 zeman Jazykový model nějaký mám, ale Karthik má jiný.2008/12/15 23:43 zeman Pentagram, ne dekagram!2008/12/15 23:37 zeman Ondrovy skripty.2008/12/15 23:28 zeman form2008/12/15 23:20 zeman ORDER=10.2008/12/15 23:15 zeman 2008/12/15 23:15 zeman Výroba jazykového modelu.2008/12/15 22:59 zeman Úprava.2008/12/15 22:22 zeman Bash.2008/12/15 21:45 zeman File::NFSLock.2008/12/15 21:23 zeman Augment a align.2008/12/15 21:08 zeman Co bylo dřív, augment, nebo align?2008/12/15 17:45 zeman Cesta ke qsubmitu.2008/12/15 17:42 zeman qsubmit2008/12/15 17:34 zeman Párování vět.2008/12/15 17:31 zeman Párování.2008/12/15 17:24 zeman Přepínám do bashe.2008/12/15 17:22 zeman Úprava.2008/12/15 17:15 zeman Zkopírován korpus EILMT.2008/12/15 16:58 zeman Úprava cest v Makefilu.2008/12/15 16:51 zeman Nadpisy.2008/12/15 16:48 zeman Make je hotov.2008/12/15 16:44 zeman Kompiluji.2008/12/15 15:46 zeman Stáhnuto SRILM.2008/12/15 15:44 zeman Checkout se povedl.2008/12/15 15:41 zeman vytvořeno Go Next revision Both sides next revision
user:zeman:moses [2008/12/15 17:31] zeman Párování.		user:zeman:moses [2008/12/15 22:22] zeman Bash.
Line 27:		Line 27:
	Nastavuju cesty ''PWD'' a ''WS'' na začátku Makefilu. ''PWD'' vede na právě vytvořený ''moses_playground'', ''WS'' je název právě vytvořeného pracovního prostoru ''workspace.20081215-1642''.		Nastavuju cesty ''PWD'' a ''WS'' na začátku Makefilu. ''PWD'' vede na právě vytvořený ''moses_playground'', ''WS'' je název právě vytvořeného pracovního prostoru ''workspace.20081215-1642''.
-
	===== Příprava korpusů =====		===== Příprava korpusů =====
Line 64:		Line 63:
	mit stejny pocet radek. Mohou mit ruzny pocet tokenu na radce.</code>		mit stejny pocet radek. Mohou mit ruzny pocet tokenu na radce.</code>
-	Cíl ''align'' v příslušném Makefilu nevolá Hunalign, ale Gizu, takže už zřejmě nejde o párování vět, ale tokenů. Pozor, tady už některé věci vyžadují úpravy, např. se tam přistupuje k ''~/diplomka'', čímž se ale má na mysli zřejmě ''/home/bojar/diplomka''.	+	Cíl ''align'' v příslušném Makefilu nevolá Hunalign, ale Gizu, takže už zřejmě nejde o párování vět, ale tokenů. O Hunalignu (párování vět) se tiše předpokládá, že jsme si ho pustili už dříve sami, nebo že jsme si párování vět zařídili nějak jinak. Viz Ondrova poznámka: paralelní korpusy, které jsme sem nakopírovali, už musí mít na obou stranách stejný počet řádek (= segmentů = vět).
		+
		+	Pozor, tady už některé věci vyžadují úpravy, např. se tam přistupuje k ''~/diplomka'', čímž se ale má na mysli zřejmě ''/home/bojar/diplomka''. Taky se tam předpokládá existence příkazu ''qsubmit'', což je jednak Ondrova obálka na ''qsub'', kterou normální lidi nemají v cestě (velmi pravděpodobně je to tohle: ''~bojar/tools/shell/qsubmit''), jednak musíme ''make align'' volat z počítače, ze kterého lze odeslat výpočet na cluster (tedy z ''lrc'').
		+
		+	Vyžaduje se také perlový modul ''File::NFSLock'', který normálně nemám v ''@INC'', takže asi není ve standardní ÚFALí distribuci Perlu. Zjistil jsem, že Ondra tuhle knihovnu má v ''/home/bojar/myperl/lib'' (kromě toho má ještě ''/home/bojar/perllib'', tam jsou nějaké další balíčky z CPANu). Protože normálně nepoužívám ''bash'', nedokázal jsem ho rychle přinutit, aby tuhle cestu standardně přidal do ''PERLLIB'' a ''PERL5LIB''. Nakonec jsem raději přidal na začátek ''augment.pl'' řádek ''use lib '/home/bojar/myperl/lib';''.
	<code bash>Pak je skript augment.pl, ktery podle navodu z daneho korpusu vyreze potrebne faktory, napr.:		<code bash>Pak je skript augment.pl, ktery podle navodu z daneho korpusu vyreze potrebne faktory, napr.:
Line 76:		Line 79:
	To byla priprava. :-)</code>		To byla priprava. :-)</code>
		+
		+	Z tohohle to skoro vypadá, že se augment má pouštět před alignem, a ne až po něm. Z Makefilu je ale vidět, že se volání augmentu předává jako parametr alignu, který si ho zřejmě obsluhuje sám.
	===== Pouštění pokusů =====		===== Pouštění pokusů =====

---

[ Back to the navigation ] [ Back to the content ]