[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

• ÚFAL Wiki Home
• ÚFAL Home
• Sitemap
• RSS
• ÚFAL calendar
• Recent changes
• Login
• Hledat:

[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

View differences: Side by SideInline Go

Link to this comparison view

Both sides previous revision Previous revision 2013/10/08 08:13 zeman quest2009/10/27 08:25 zeman NPFL2009/10/01 14:32 zeman Nová implementace.2009/10/01 14:28 zeman Starý odkaz na Brillův tagger už nefunguje.2007/10/28 12:52 zeman Další informace.2007/10/24 23:20 zeman Švédská a dánská data.2007/10/24 22:33 zeman První nástřel.2007/10/24 22:28 zeman Formát dat.2007/10/24 22:21 zeman Kódování?2007/10/24 22:04 zeman Data.2007/10/24 21:53 zeman Čárka.2007/10/24 21:52 zeman 2007/10/24 21:48 zeman Skripty.2007/10/24 21:03 zeman Otázky.2007/10/18 14:07 zeman vytvořeno Go Next revision		Previous revision 2013/10/08 08:13 zeman quest2009/10/27 08:25 zeman NPFL2009/10/01 14:32 zeman Nová implementace.2009/10/01 14:28 zeman Starý odkaz na Brillův tagger už nefunguje.2007/10/28 12:52 zeman Další informace.2007/10/24 23:20 zeman Švédská a dánská data.2007/10/24 22:33 zeman První nástřel.2007/10/24 22:28 zeman Formát dat.2007/10/24 22:21 zeman Kódování?2007/10/24 22:04 zeman Data.2007/10/24 21:53 zeman Čárka.2007/10/24 21:52 zeman 2007/10/24 21:48 zeman Skripty.2007/10/24 21:03 zeman Otázky.2007/10/18 14:07 zeman vytvořeno Go Next revision Both sides next revision
user:zeman:ukoly:brilluv-tagger [2007/10/24 22:28] zeman Formát dat.		user:zeman:ukoly:brilluv-tagger [2009/10/01 14:32] zeman Nová implementace.
Line 1:		Line 1:
	====== Brillův tagger ======		====== Brillův tagger ======
-	Stáhněte z internetu (např. z http://www.cs.jhu.edu/~brill/RBT1_14.tar.Z) tagger Erika Brilla, nainstalujte ho a rozchoďte ho. Dostanete k dispozici anotovaný korpus, který si rozdělíte na trénovací a testovací data. Natrénujte tagger na trénovacích datech, označkujte testovací data a zjistěte, jaké úspěšnosti tagger dosahuje.	+	Stáhněte z internetu (např. z http://sourceforge.net/projects/gposttl/) tagger Erika Brilla, nainstalujte ho a rozchoďte ho. Dostanete k dispozici anotovaný korpus, který si rozdělíte na trénovací a testovací data. Natrénujte tagger na trénovacích datech, označkujte testovací data a zjistěte, jaké úspěšnosti tagger dosahuje.
	Výsledky své práce budete prezentovat ostatním na některé prosincové přednášce. Níže najdete otázky, na které byste při experimentech měli hledat odpověď; do prezentace však zahrňte i další zajímavosti, na které při pokusech narazíte, ať už se týkají technických aspektů práce s taggerem, zajímavostí v datech, se kterými jste pracovali, nebo námětů, jak zlepšit úspěšnost taggeru.		Výsledky své práce budete prezentovat ostatním na některé prosincové přednášce. Níže najdete otázky, na které byste při experimentech měli hledat odpověď; do prezentace však zahrňte i další zajímavosti, na které při pokusech narazíte, ať už se týkají technických aspektů práce s taggerem, zajímavostí v datech, se kterými jste pracovali, nebo námětů, jak zlepšit úspěšnost taggeru.
	Odevzdávat budete kromě prezentace také podpůrné skripty, které při experimentech potřebujete. Měly by být spíše v Perlu než v shellu a spíše platformově nezávislé - to se týká zejména těch, které přímo nevolají Brillův software. V případě potřeby ale můžete využít externí programy běžně dostupné v Linuxu, které nelze snadno nahradit příkazy Perlu (např. gzip). Skripty by neměly záviset na konkrétním rozmístění souborů na vašem disku. Samozřejmě budou muset vědět, kde máte vybalený tagger s příslušenstvím, k tomu použijte proměnnou prostředí ''BRILL''. (V Perlu dostupná jako ''$ENV{BRILL}''.) Dokumentace ke skriptům stačí uživatelská, tj. seznam skriptů, ke každému způsob volání a jednou dvěma větami popsáno, k čemu slouží.		Odevzdávat budete kromě prezentace také podpůrné skripty, které při experimentech potřebujete. Měly by být spíše v Perlu než v shellu a spíše platformově nezávislé - to se týká zejména těch, které přímo nevolají Brillův software. V případě potřeby ale můžete využít externí programy běžně dostupné v Linuxu, které nelze snadno nahradit příkazy Perlu (např. gzip). Skripty by neměly záviset na konkrétním rozmístění souborů na vašem disku. Samozřejmě budou muset vědět, kde máte vybalený tagger s příslušenstvím, k tomu použijte proměnnou prostředí ''BRILL''. (V Perlu dostupná jako ''$ENV{BRILL}''.) Dokumentace ke skriptům stačí uživatelská, tj. seznam skriptů, ke každému způsob volání a jednou dvěma větami popsáno, k čemu slouží.
		+
Line 12:		Line 13:
	Brillův software je napsán dílem v C, dílem v Perlu. Testován byl na Sun Sparc 10, takže doporučené prostředí je Unix, i když není zatím vyloučeno, že ho půjde přeložit i ve Windows. Vznikl už v roce 1994, takže na dnešním hardwaru by měl být rychlejší a nemusel by mít problémy s pamětí. Tehdy ale trénování na půl miliónu anglických slov trvalo několik dní.		Brillův software je napsán dílem v C, dílem v Perlu. Testován byl na Sun Sparc 10, takže doporučené prostředí je Unix, i když není zatím vyloučeno, že ho půjde přeložit i ve Windows. Vznikl už v roce 1994, takže na dnešním hardwaru by měl být rychlejší a nemusel by mít problémy s pamětí. Tehdy ale trénování na půl miliónu anglických slov trvalo několik dní.
		+	Poznámka k poznámce (1.10.2009): staré stránky Erika Brilla na Johns Hopkins University, odkud bylo dříve možné si tagger stáhnout, již nefungují a výše uvedený odkaz na Sourceforge vede na //novou implementaci// Brillova taggeru. Uvedené postřehy se na tuto implementaci pochopitelně nemusí vztahovat.
	===== Otázky =====		===== Otázky =====
Line 26:		Line 28:
	- Jaké jsou nejčastější druhy chyb naivního a Brillova taggeru? (Např. "25 % všech chyb byl případ, kdy správná je značka N4 (podstatné jméno ve 4. pádě), ale tagger přiřadil značku N1 (podstatné jméno v 1. pádě). Tato chyba se nejčastěji týkala slova "předpis".")		- Jaké jsou nejčastější druhy chyb naivního a Brillova taggeru? (Např. "25 % všech chyb byl případ, kdy správná je značka N4 (podstatné jméno ve 4. pádě), ale tagger přiřadil značku N1 (podstatné jméno v 1. pádě). Tato chyba se nejčastěji týkala slova "předpis".")
	- Změní se výsledek značkování, když Brillovi nepředhodíme text v UTF-8, ale převedeme ho nejdřív do nějakého osmibitového kódování?		- Změní se výsledek značkování, když Brillovi nepředhodíme text v UTF-8, ale převedeme ho nejdřív do nějakého osmibitového kódování?
		+	- Brillův tagger funguje tak, že nejdřív udělá pro každé slovo jakýsi první nástřel značky a pak se učí pravidla, jak značku nahradit lepší značkou. Defaultní první nástřel používá značky běžné v anglickém Penn Treebanku, tj. pro jiné korpusy a jazyky tyto značky musí být špatně. Změní se úspěšnost, když algoritmus prvního nástřelu upravíte pro svou sadu značek? Nebo se změní jen čas potřebný ke konvergenci algoritmu?
	===== Skripty =====		===== Skripty =====
Line 48:		Line 51:
	Data pocházejí ze švédského korpusu Talbanken05, který je volně dostupný na webu.		Data pocházejí ze švédského korpusu Talbanken05, který je volně dostupný na webu.
		+	{{user:zeman:ukoly:sv.tag.zip|stáhnout}}
	==== Dánština ====		==== Dánština ====
	Data pocházejí z korpusu DDT (Danish Dependency Treebank), který je volně dostupný na webu.		Data pocházejí z korpusu DDT (Danish Dependency Treebank), který je volně dostupný na webu.
		+	{{user:zeman:ukoly:da.tag.zip|stáhnout}}
		+
		+	===== Další informace =====
		+
		+	Tento úkol (včetně zadání konkrétního jazyka) si můžete zarezervovat vyplněním formuláře na http://ufal.mff.cuni.cz/cgi-bin/zeman/zapoctaky/rezervace_ukolu.pl (pokud ještě není rozebrán).
		+
		+	Termín odevzdání e-mailem je konec listopadu, prezentace programu proběhne v prosinci.
		+

---

[ Back to the navigation ] [ Back to the content ]