[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

• ÚFAL Wiki Home
• ÚFAL Home
• Sitemap
• RSS
• ÚFAL calendar
• Recent changes
• Login
• Hledat:

[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

View differences: Side by SideInline Go

Link to this comparison view

Both sides previous revision Previous revision 2009/11/16 14:00 zeman Workspace.2009/08/12 10:20 ptacek 2009/08/12 10:19 ptacek 2009/08/12 10:19 ptacek 2008/12/15 23:47 zeman Jazykový model nějaký mám, ale Karthik má jiný.2008/12/15 23:43 zeman Pentagram, ne dekagram!2008/12/15 23:37 zeman Ondrovy skripty.2008/12/15 23:28 zeman form2008/12/15 23:20 zeman ORDER=10.2008/12/15 23:15 zeman 2008/12/15 23:15 zeman Výroba jazykového modelu.2008/12/15 22:59 zeman Úprava.2008/12/15 22:22 zeman Bash.2008/12/15 21:45 zeman File::NFSLock.2008/12/15 21:23 zeman Augment a align.2008/12/15 21:08 zeman Co bylo dřív, augment, nebo align?2008/12/15 17:45 zeman Cesta ke qsubmitu.2008/12/15 17:42 zeman qsubmit2008/12/15 17:34 zeman Párování vět.2008/12/15 17:31 zeman Párování.2008/12/15 17:24 zeman Přepínám do bashe.2008/12/15 17:22 zeman Úprava.2008/12/15 17:15 zeman Zkopírován korpus EILMT.2008/12/15 16:58 zeman Úprava cest v Makefilu.2008/12/15 16:51 zeman Nadpisy.2008/12/15 16:48 zeman Make je hotov.2008/12/15 16:44 zeman Kompiluji.2008/12/15 15:46 zeman Stáhnuto SRILM.2008/12/15 15:44 zeman Checkout se povedl.2008/12/15 15:41 zeman vytvořeno Go Next revision		Previous revision 2009/11/16 14:00 zeman Workspace.2009/08/12 10:20 ptacek 2009/08/12 10:19 ptacek 2009/08/12 10:19 ptacek 2008/12/15 23:47 zeman Jazykový model nějaký mám, ale Karthik má jiný.2008/12/15 23:43 zeman Pentagram, ne dekagram!2008/12/15 23:37 zeman Ondrovy skripty.2008/12/15 23:28 zeman form2008/12/15 23:20 zeman ORDER=10.2008/12/15 23:15 zeman 2008/12/15 23:15 zeman Výroba jazykového modelu.2008/12/15 22:59 zeman Úprava.2008/12/15 22:22 zeman Bash.2008/12/15 21:45 zeman File::NFSLock.2008/12/15 21:23 zeman Augment a align.2008/12/15 21:08 zeman Co bylo dřív, augment, nebo align?2008/12/15 17:45 zeman Cesta ke qsubmitu.2008/12/15 17:42 zeman qsubmit2008/12/15 17:34 zeman Párování vět.2008/12/15 17:31 zeman Párování.2008/12/15 17:24 zeman Přepínám do bashe.2008/12/15 17:22 zeman Úprava.2008/12/15 17:15 zeman Zkopírován korpus EILMT.2008/12/15 16:58 zeman Úprava cest v Makefilu.2008/12/15 16:51 zeman Nadpisy.2008/12/15 16:48 zeman Make je hotov.2008/12/15 16:44 zeman Kompiluji.2008/12/15 15:46 zeman Stáhnuto SRILM.2008/12/15 15:44 zeman Checkout se povedl.2008/12/15 15:41 zeman vytvořeno Go
user:zeman:moses [2008/12/15 22:22] zeman Bash.		user:zeman:moses [2009/11/16 14:00] (current) zeman Workspace.
Line 2:		Line 2:
	===== Instalace =====		===== Instalace =====
		+
		+	**Ptica: pozor, toto je navod na stary moses_playground, novy lezi na [[https://svn.ms.mff.cuni.cz/projects/statmt/]]**
	<code bash>svn co https://svn.ms.mff.cuni.cz/svn/treedecode/moses_playground</code>		<code bash>svn co https://svn.ms.mff.cuni.cz/svn/treedecode/moses_playground</code>
Line 86:		Line 88:
	<code bash>Samotne pokusy pak pripravuji a spoustim takto:		<code bash>Samotne pokusy pak pripravuji a spoustim takto:
-	cd playground	+	cd moses_playground
	SRCCORP=icon-eilmt \		SRCCORP=icon-eilmt \
	SRCAUG=enR+lc \		SRCAUG=enR+lc \
Line 113:		Line 115:
	Kdyz das RUN=yes, tak to i rovnou submitne.		Kdyz das RUN=yes, tak to i rovnou submitne.
-	Princip tech seeds je, ze seed je bashovy skript, ktery neco obratem pripravi, a zejmena pripravi bashovy skript 'command', no a make exp..run jen ten command spusti.	+	Princip tech seeds je, ze seed je bashovy skript, ktery neco obratem pripravi,
		+	a zejmena pripravi bashovy skript 'command', no a make exp..run jen ten command spusti.
		+	Cili kdyz se nejaky experiment nedari spustit (nebo dokoncit)
		+	vlezes do jeho adresare exp.NAZEV.TIMESTAMP, prostudujes ./command,
		+	treba si ho spustis rucne atp.
-	Cili kdyz se nejaky experiment nedari spustit (nebo dokoncit) vlezes do jeho adresare exp.NAZEV.TIMESTAMP, prostudujes ./command, treba si ho spustis rucne atp.	+	Snazim se o to, aby adresare experimentu obsahovaly uplne vsechny vstupy,
-		+	proto hojne v priprave experimentu pouzivam /home/bojar/tools/shell/wiseln,
-	Snazim se o to, aby adresare experimentu obsahovaly uplne vsechny vstupy, proto hojne v priprave experimentu pouzivam /home/bojar/tools/shell/wiseln, ktery podle situace dela bud symlink, hardlink, nebo i kopii, a taky tam pripise md5 sumu, abych mohl i zpetne hlidat, ze jsem neco spoustel na tom, na cem jsem to spoustet chtel.	+	ktery podle situace dela bud symlink, hardlink, nebo i kopii, a taky tam
		+	pripise md5 sumu, abych mohl i zpetne hlidat, ze jsem neco spoustel na tom,
		+	na cem jsem to spoustet chtel.
	Postup pres experimenty je tento:		Postup pres experimenty je tento:
Line 131:		Line 138:
	Take byvalo make exp.align.prepare, ale to je ted zastarale.		Take byvalo make exp.align.prepare, ale to je ted zastarale.
-
	Nejspis se v tom ale nevyznas :-(		Nejspis se v tom ale nevyznas :-(
-	Dej mi vedet, kdybys zacal citit nejakou nadeji. </code>	+	Dej mi vedet, kdybys zacal citit nejakou nadeji.</code>
		+
		+
		+
		+	===== Výroba jazykového modelu =====
		+
		+	Pokouším se použít výše popsaný Ondrův postup pro korpus ''enhi-dan''. Vynechávám Ondrův parametr ''wc10'' (shlukování na 10 slovních tříd; pro baseline výsledek ale nic takového nechci). Místo toho se zřejmě musí uvést ''form''. Nevím, co znamená ''ORDER=10'', ale když to vyhodím, make si stěžuje, že tam má být nastaven "lm order". Tím se myslí, kolika-gramový model se má vytvořit. 10 je tedy asi moc (sloužilo pro slovní třídy, ale pro celá slova bychom měli použít nižší číslo). Karthik použil pentagram.
		+
		+	<code bash>CORP=enhi-dan \
		+	CORPAUG=hi+form \
		+	ORDER=5 \
		+	RUN=yes \
		+	make exp.lm.prepare</code>
		+
		+	Neustále narážím na volání Ondrových nástrojů, které nemám v cestě (např. ''qsubmit'', ''makeargs'', ''mkdiruniq'', ''wiseln''). Pár jsem jich přepsal s plnou cestou, ale je toho moc. Tak si snad raději přidám do ''.bashrc'' rozšíření ''PATH'' o ''/home/bojar/tools/shell''. (Nestačí to nastavit ručně před pouštěním pokusů, protože výpočty se odesílají na cluster a tam běží nový bash s čistým prostředím.)
		+
		+	Teď už se jazykový model vyrábí pěkně, ale vycházejí mi jiné (menší) počty n-gramů než Karthikovi. Takže by to chtělo dál pátrat, čím se od něj lišíme. Nejbližší další podezřelý je to kódování WX.
		+
		+	===== Workspace =====
		+
		+	Nemám teď čas prolejzat nahoře, jestli už to tam není napsané, ale rychle si potřebuju poznamenat další Ondřejova moudra :-)
		+
		+	//Asi jsem Ti to nikdy nevysvetloval. 'workspace' je podadresare moses_playground, ktery obsahuje zkompilovane vsechny nastroje. Ten adresar vznikne prikazem 'make workspace'. Zamerne ale vznika pod nazvem workspace.DATUM, aby joch mohlo byt vic.
		+
		+	Pri uspesnem konci 'make workspace' na zaver napise neco jako:
		+	... a vas novy workspace je workspace.2009-12-12-1212, poznamenejte
		+	si to do souboru 'workspace'
		+
		+	Cili clovek udela:
		+
		+	echo workspace.2009-12-12-1212 > workspace
		+
		+	A playground/Makefile (a nove i playground/augmented_corpora/Makefile) se timto souborem ridi pri startu novych experimentu.
		+
		+	O.//

---

[ Back to the navigation ] [ Back to the content ]