[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

• ÚFAL Wiki Home
• ÚFAL Home
• Sitemap
• RSS
• ÚFAL calendar
• Recent changes
• Login
• Hledat:

[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

View differences: Side by SideInline Go

Link to this comparison view

Both sides previous revision Previous revision 2009/11/16 14:00 zeman Workspace.2009/08/12 10:20 ptacek 2009/08/12 10:19 ptacek 2009/08/12 10:19 ptacek 2008/12/15 23:47 zeman Jazykový model nějaký mám, ale Karthik má jiný.2008/12/15 23:43 zeman Pentagram, ne dekagram!2008/12/15 23:37 zeman Ondrovy skripty.2008/12/15 23:28 zeman form2008/12/15 23:20 zeman ORDER=10.2008/12/15 23:15 zeman 2008/12/15 23:15 zeman Výroba jazykového modelu.2008/12/15 22:59 zeman Úprava.2008/12/15 22:22 zeman Bash.2008/12/15 21:45 zeman File::NFSLock.2008/12/15 21:23 zeman Augment a align.2008/12/15 21:08 zeman Co bylo dřív, augment, nebo align?2008/12/15 17:45 zeman Cesta ke qsubmitu.2008/12/15 17:42 zeman qsubmit2008/12/15 17:34 zeman Párování vět.2008/12/15 17:31 zeman Párování.2008/12/15 17:24 zeman Přepínám do bashe.2008/12/15 17:22 zeman Úprava.2008/12/15 17:15 zeman Zkopírován korpus EILMT.2008/12/15 16:58 zeman Úprava cest v Makefilu.2008/12/15 16:51 zeman Nadpisy.2008/12/15 16:48 zeman Make je hotov.2008/12/15 16:44 zeman Kompiluji.2008/12/15 15:46 zeman Stáhnuto SRILM.2008/12/15 15:44 zeman Checkout se povedl.2008/12/15 15:41 zeman vytvořeno Go Next revision		Previous revision 2009/11/16 14:00 zeman Workspace.2009/08/12 10:20 ptacek 2009/08/12 10:19 ptacek 2009/08/12 10:19 ptacek 2008/12/15 23:47 zeman Jazykový model nějaký mám, ale Karthik má jiný.2008/12/15 23:43 zeman Pentagram, ne dekagram!2008/12/15 23:37 zeman Ondrovy skripty.2008/12/15 23:28 zeman form2008/12/15 23:20 zeman ORDER=10.2008/12/15 23:15 zeman 2008/12/15 23:15 zeman Výroba jazykového modelu.2008/12/15 22:59 zeman Úprava.2008/12/15 22:22 zeman Bash.2008/12/15 21:45 zeman File::NFSLock.2008/12/15 21:23 zeman Augment a align.2008/12/15 21:08 zeman Co bylo dřív, augment, nebo align?2008/12/15 17:45 zeman Cesta ke qsubmitu.2008/12/15 17:42 zeman qsubmit2008/12/15 17:34 zeman Párování vět.2008/12/15 17:31 zeman Párování.2008/12/15 17:24 zeman Přepínám do bashe.2008/12/15 17:22 zeman Úprava.2008/12/15 17:15 zeman Zkopírován korpus EILMT.2008/12/15 16:58 zeman Úprava cest v Makefilu.2008/12/15 16:51 zeman Nadpisy.2008/12/15 16:48 zeman Make je hotov.2008/12/15 16:44 zeman Kompiluji.2008/12/15 15:46 zeman Stáhnuto SRILM.2008/12/15 15:44 zeman Checkout se povedl.2008/12/15 15:41 zeman vytvořeno Go Next revision Both sides next revision
user:zeman:moses [2008/12/15 17:24] zeman Přepínám do bashe.		user:zeman:moses [2008/12/15 17:42] zeman qsubmit
Line 27:		Line 27:
	Nastavuju cesty ''PWD'' a ''WS'' na začátku Makefilu. ''PWD'' vede na právě vytvořený ''moses_playground'', ''WS'' je název právě vytvořeného pracovního prostoru ''workspace.20081215-1642''.		Nastavuju cesty ''PWD'' a ''WS'' na začátku Makefilu. ''PWD'' vede na právě vytvořený ''moses_playground'', ''WS'' je název právě vytvořeného pracovního prostoru ''workspace.20081215-1642''.
		+
	===== Příprava korpusů =====		===== Příprava korpusů =====
Line 61:		Line 62:
	Princip je ten, ze pro kazdy korpus K maji vsechny soubory augmented_corpora/K/*.gz		Princip je ten, ze pro kazdy korpus K maji vsechny soubory augmented_corpora/K/*.gz
-	mit stejny pocet radek. Mohou mit ruzny pocet tokenu na radce.	+	mit stejny pocet radek. Mohou mit ruzny pocet tokenu na radce.</code>
		+
		+	Cíl ''align'' v příslušném Makefilu nevolá Hunalign, ale Gizu, takže už zřejmě nejde o párování vět, ale tokenů. O Hunalignu (párování vět) se tiše předpokládá, že jsme si ho pustili už dříve sami, nebo že jsme si párování vět zařídili nějak jinak. Viz Ondrova poznámka: paralelní korpusy, které jsme sem nakopírovali, už musí mít na obou stranách stejný počet řádek (= segmentů = vět).
		+
		+	Pozor, tady už některé věci vyžadují úpravy, např. se tam přistupuje k ''~/diplomka'', čímž se ale má na mysli zřejmě ''/home/bojar/diplomka''. Taky se tam předpokládá existence příkazu ''qsubmit'', což je jednak Ondrova obálka na ''qsub'', kterou normální lidi nemají v cestě, jednak musíme ''make align'' volat z počítače, ze kterého lze odeslat výpočet na cluster (tedy z ''lrc'').
-	Pak je skript augment.pl, ktery podle navodu z daneho korpusu vyreze potrebne faktory, napr.:	+	<code bash>Pak je skript augment.pl, ktery podle navodu z daneho korpusu vyreze potrebne faktory, napr.:
	cd augmented_corpora		cd augmented_corpora

---

[ Back to the navigation ] [ Back to the content ]