[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

• ÚFAL Wiki Home
• ÚFAL Home
• Sitemap
• RSS
• ÚFAL calendar
• Recent changes
• Login
• Hledat:

[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

View differences: Side by SideInline Go

Link to this comparison view

Both sides previous revision Previous revision 2014/02/07 11:30 zeman 2014/02/06 15:37 zeman 2014/02/06 15:31 zeman 2014/02/06 15:19 zeman 2014/02/06 15:11 zeman 2014/02/06 14:58 zeman 2014/02/06 14:32 zeman 2014/02/06 14:26 zeman 2014/02/06 14:16 zeman 2014/02/06 13:46 zeman 2014/02/06 13:45 zeman 2014/02/06 12:56 zeman 2014/02/06 12:55 zeman 2014/02/06 12:53 zeman 2014/02/06 11:42 zeman 2014/02/06 11:39 zeman 2014/02/06 11:34 zeman 2014/02/06 11:33 zeman 2014/02/06 11:26 zeman created Go		2014/02/07 11:30 zeman 2014/02/06 15:37 zeman 2014/02/06 15:31 zeman 2014/02/06 15:19 zeman 2014/02/06 15:11 zeman 2014/02/06 14:58 zeman 2014/02/06 14:32 zeman 2014/02/06 14:26 zeman 2014/02/06 14:16 zeman 2014/02/06 13:46 zeman 2014/02/06 13:45 zeman 2014/02/06 12:56 zeman 2014/02/06 12:55 zeman 2014/02/06 12:53 zeman 2014/02/06 11:42 zeman 2014/02/06 11:39 zeman 2014/02/06 11:34 zeman 2014/02/06 11:33 zeman 2014/02/06 11:26 zeman created Go Next revision Both sides next revision
user:zeman:moses-na-questu [2014/02/06 14:16] zeman		user:zeman:moses-na-questu [2014/02/06 14:26] zeman
Line 32:		Line 32:
	ln -s moses.hardlink moses		ln -s moses.hardlink moses
	cd ..</code>		cd ..</code>
		+
		+	Frázová tabulka je pro quest příliš velká. Její filtrování pro konkrétní test set trvá nepřijatelně dlouho (klidně přes čtvrt hodiny) a výsledná tabulka je stejně tak velká, že se nevejde do paměti. Proto je potřeba ji prořezat. Samozřejmě bychom měli fráze na vyhození vybírat nějak inteligentně a u těch zbývajících přepočítat pravděpodobnosti. Rychlá metoda hrubé síly je tato: Pokud mají zdrojová a cílová fráze dohromady větší než předem stanovený počet tokenů, vyhodit. Dlouhý příkaz níže stanovuje maximální počet tokenů na 7.
		+
		+	<code bash>gunzip -c ttable-file.1.gz | perl -e 'use utf8; binmode STDIN, ":utf8"; binmode STDOUT, ":utf8"; while(<>) {if(m/^(.*?\|\|\|.*?\|\|\|)/){my $prefix = $1; my @preftokens = split(/\s+/, $prefix); if(scalar(@preftokens)>7){next;}} print;}' | gzip -c > ttable-xxx.gz</code>

---

[ Back to the navigation ] [ Back to the content ]