[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

• ÚFAL Wiki Home
• ÚFAL Home
• Sitemap
• RSS
• ÚFAL calendar
• Recent changes
• Login
• Hledat:

[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

View differences: Side by SideInline Go

Link to this comparison view

Both sides previous revision Previous revision 2009/03/01 17:26 hladka 2009/03/01 17:24 hladka 2009/03/01 17:24 hladka 2009/03/01 17:23 hladka 2009/03/01 17:23 hladka 2009/03/01 17:21 hladka 2009/02/26 13:19 hladka 2009/02/26 13:18 hladka 2009/02/26 13:12 hladka 2009/02/26 12:50 hladka 2009/02/26 12:49 hladka 2009/02/26 12:45 hladka 2009/02/26 12:40 hladka 2009/02/26 12:16 hladka 2009/02/26 12:15 hladka 2009/02/26 12:15 hladka 2009/02/26 12:14 hladka 2009/02/26 12:14 hladka 2009/02/26 12:13 hladka 2009/02/26 12:11 hladka 2009/02/26 12:11 hladka 2009/02/26 12:03 hladka 2009/02/26 12:02 hladka 2009/02/26 12:01 hladka 2009/02/26 11:57 hladka 2009/02/26 11:56 hladka 2009/02/26 11:52 hladka 2009/02/26 11:49 hladka 2009/02/26 09:54 mirovsky 2009/02/26 09:43 mirovsky 2009/02/26 09:42 mirovsky 2009/02/26 09:40 mirovsky 2009/02/26 09:30 mirovsky 2009/02/26 09:29 mirovsky 2009/02/26 09:21 mirovsky 2009/02/26 09:07 mirovsky 2009/02/26 08:39 mirovsky 2009/02/25 22:34 hladka 2009/02/25 22:34 hladka 2009/02/25 22:30 hladka 2009/02/25 22:29 hladka 2009/02/25 22:25 hladka 2009/02/25 22:24 hladka 2009/02/25 22:24 hladka 2009/02/25 22:23 hladka 2009/02/25 22:22 hladka 2009/02/25 22:22 hladka 2009/02/25 22:20 hladka 2009/02/25 22:19 hladka 2009/02/25 22:17 hladka 2009/02/25 22:11 hladka Go Next revision		Previous revision 2009/03/01 17:42 hladka 2009/03/01 17:42 hladka 2009/03/01 17:26 hladka 2009/03/01 17:24 hladka 2009/03/01 17:24 hladka 2009/03/01 17:23 hladka 2009/03/01 17:23 hladka 2009/03/01 17:21 hladka 2009/02/26 13:19 hladka 2009/02/26 13:18 hladka 2009/02/26 13:12 hladka 2009/02/26 12:50 hladka 2009/02/26 12:49 hladka 2009/02/26 12:45 hladka 2009/02/26 12:40 hladka 2009/02/26 12:16 hladka 2009/02/26 12:15 hladka 2009/02/26 12:15 hladka 2009/02/26 12:14 hladka 2009/02/26 12:14 hladka 2009/02/26 12:13 hladka 2009/02/26 12:11 hladka 2009/02/26 12:11 hladka 2009/02/26 12:03 hladka 2009/02/26 12:02 hladka 2009/02/26 12:01 hladka 2009/02/26 11:57 hladka 2009/02/26 11:56 hladka 2009/02/26 11:52 hladka 2009/02/26 11:49 hladka 2009/02/26 09:54 mirovsky 2009/02/26 09:43 mirovsky 2009/02/26 09:42 mirovsky 2009/02/26 09:40 mirovsky 2009/02/26 09:30 mirovsky 2009/02/26 09:29 mirovsky 2009/02/26 09:21 mirovsky 2009/02/26 09:07 mirovsky 2009/02/26 08:39 mirovsky 2009/02/25 22:34 hladka 2009/02/25 22:34 hladka 2009/02/25 22:30 hladka 2009/02/25 22:29 hladka 2009/02/25 22:25 hladka 2009/02/25 22:24 hladka 2009/02/25 22:24 hladka 2009/02/25 22:23 hladka 2009/02/25 22:22 hladka 2009/02/25 22:22 hladka 2009/02/25 22:20 hladka 2009/02/25 22:19 hladka Go Next revision Both sides next revision
user:hladka:playcoref [2009/02/26 11:56] hladka		user:hladka:playcoref [2009/02/26 12:01] hladka
Line 91:		Line 91:
	- POS tagger		- POS tagger
	- coreference resolution procedure		- coreference resolution procedure
		+
Line 100:		Line 101:
	* Anja's data    ## // PDT data that are currently being annotated for the extended coreference //		* Anja's data    ## // PDT data that are currently being annotated for the extended coreference //
	* more 'user-friendly' texts    ## // texts that are currently in the LGame db//		* more 'user-friendly' texts    ## // texts that are currently in the LGame db//
-	* JM: It would be nice if the players could choose a domain of the texts to play on (science-fiction, fantasy, thriller, romance, ...), maybe even the author or the very title. The available resources of free electronic books in Czech are scarce but there are plenty of free electronic books in English and other languages, e.g. [[http://www.gutenberg.org/wiki/Main_Page|Project Gutenberg]]. BH: It is a very nice idea but I would postpone it till the next versions of the PlayCoref game. However, we have already selected more 'user-friendly' texts into the LGame db - see [[http://ufallab2.ms.mff.cuni.cz/lgame/|this page]]. So we can use them for the PlayCoref game as well.	+	* **^JM^**: It would be nice if the players could choose a domain of the texts to play on (science-fiction, fantasy, thriller, romance, ...), maybe even the author or the very title. The available resources of free electronic books in Czech are scarce but there are plenty of free electronic books in English and other languages, e.g. [[http://www.gutenberg.org/wiki/Main_Page|Project Gutenberg]]. **^BH^**: It is a very nice idea but I would postpone it till the next versions of the PlayCoref game. However, we have already selected more 'user-friendly' texts into the LGame db - see [[http://ufallab2.ms.mff.cuni.cz/lgame/|this page]]. So we can use them for the PlayCoref game as well.
	* **EN**		* **EN**
	* search the data that are available		* search the data that are available
Line 116:		Line 117:
	* sentence by sentence		* sentence by sentence
	* supervised selection of documents for a session		* supervised selection of documents for a session
		+
	===== Scoring =====		===== Scoring =====
-	* ''pts_of_player_A = w1*(player_A's_output vs. manual_annotation(if available)) + w2*(player_A's_output vs. automatic_annotation) + w3*(player_A's_output vs. player_B's_output) + speed_pts''	+	* ''pts_of_player_A = w1*(player_A's_output vs. automatic_annotation) + w1*(player_A's_output vs. player_B's_output) + speed_pts''
-	// w1 by mela byt nejvyssi; w2 by mela urcite nejak zohlednit uspesnost automaticke procedury - uspesnost merenou na jakych datech?; w3: kdyz hracum budeme zobrazovat i ta slova, ktera oznacil protihrac, a ja je neoznacila, nebudeme je tim tlacit do vynucene shody? pro to, aby w3 bylo 'rozumne', bych zobrazovala pouze dvojice, na kterych se oba hraci shodli.//	+	**^JM^**:
-		+
-	JM:	+
	Já myslím, že do shody je tlačit chceme. Je žádoucí, aby anotace byla co nejúplnější. Když druhý hráč uvidí, že první hráč spojil nějaké slovo, vyvíjí to na něj tlak, aby se podíval, jestli to		Já myslím, že do shody je tlačit chceme. Je žádoucí, aby anotace byla co nejúplnější. Když druhý hráč uvidí, že první hráč spojil nějaké slovo, vyvíjí to na něj tlak, aby se podíval, jestli to
	nepřehlédl a jestli by ho nemohl zapojit také. Neukazuje se mu kam, takže když nenajde žádný cíl, nezapojí ho a bude se radovat, že první hráč udělal nějakou chybu.		nepřehlédl a jestli by ho nemohl zapojit také. Neukazuje se mu kam, takže když nenajde žádný cíl, nezapojí ho a bude se radovat, že první hráč udělal nějakou chybu.
-
-	Pokud máme hráče porovnávat z různých partií na různých datech (na datech s- a bez manuální anotace), pak by výše uvedená ohodnocovací funkce zvýhodnila ty, kteří hrají na manuálně anotovaných datech, protože u pouze automatický anotovaných dat by první člen součtu byl nulový.
	Myslím, že ta funkce by měla brát **buď** automatickou anotaci **nebo** manuální, podle toho, co je k dispozici. Rovněž si teď myslím, že manuálně anotovaná data budeme používat minimálně - pouze pro změření úspěšnosti anotace pomocí hry - to ale nemusí být vůbec součástí skóre hry, to se udělá off-line. Manuálně anotovaných dat máme málo, jsou už anotovaná a nejsou zábavná. Z toho mi vyplývá, že bych manuální anotaci pro určování skóre nebral vůbec v úvahu a ze vzorečku nahoře bych první člen vyhodil.		Myslím, že ta funkce by měla brát **buď** automatickou anotaci **nebo** manuální, podle toho, co je k dispozici. Rovněž si teď myslím, že manuálně anotovaná data budeme používat minimálně - pouze pro změření úspěšnosti anotace pomocí hry - to ale nemusí být vůbec součástí skóre hry, to se udělá off-line. Manuálně anotovaných dat máme málo, jsou už anotovaná a nejsou zábavná. Z toho mi vyplývá, že bych manuální anotaci pro určování skóre nebral vůbec v úvahu a ze vzorečku nahoře bych první člen vyhodil.
		+	**^BH^**: Jirka ma pravdu. Pocitani skore musi byt objektivni. Proto jsem vzorecek upravila tak, ze nebude pocitat shodu hrace vzhledem k rucni anotaci (je-li k dispozici).
	===== Output Data Needed =====		===== Output Data Needed =====

---

[ Back to the navigation ] [ Back to the content ]