Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:hladka:playcoref [2009/02/25 22:07] hladka |
user:hladka:playcoref [2009/02/26 09:21] mirovsky |
||
---|---|---|---|
Line 7: | Line 7: | ||
+ | ====== Motivační publikace ====== | ||
+ | * Návrh projektu na GAČR 2009 // | ||
+ | * [[http:// | ||
+ | * [[http:// | ||
+ | * Barbora Hladká, Kiril Ribarov: //Play the Language: An Alternative Manner of Collecting Annotated data//, 2008, ([[http:// | ||
+ | * Luis von Ahn, Laura Dabish: //Labelling Images with a Computer Game//, 2004, ([[http:// | ||
- | ====== Specification ====== | ||
+ | ====== Anotování koreference v českých datech ====== | ||
+ | * PDT 2.0 [[http:// | ||
+ | * rozšířená koreference - viz přehled [[https:// | ||
+ | * [[http:// | ||
+ | * Projekt anotace rozšířené textové koreference a bridging vztahů v PDT. (Anja Nedolužko: [[http:// | ||
Line 18: | Line 28: | ||
+ | ====== Automatické určování koreference v českých datech - přehled ====== | ||
+ | * Experiments with Czech so far | ||
+ | - Nguy Giang Linh: Návrh souboru pravidel pro analýzu anafor v českém jazyce (A set of rules for anaphora resolution in Czech), MFF UK 2006. **Available: | ||
+ | - Nguy Giang Linh; Žabokrtský, | ||
+ | * Linh's procedure | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ====== Návrh hry - brainstorming ====== | ||
+ | |||
+ | **26/5/08 Anja, Bára:** | ||
+ | * Vstup: Texty v povrchové podobě, tedy NE tektogramatické stromy | ||
+ | * Jaké texty vybrat? Z PDT 2.0? - to by se asi hodilo, protože pak by se nabízelo srovnání s anotací na tektogramatických stromech. | ||
+ | * Výstup hry: koreferenční řetízky | ||
+ | * gramatická koreference ... určitě ne v prototypu hru | ||
+ | * TEXTOVÁ KOREFERENCE ... v prototypu hry určitě | ||
+ | * bridging anaphora ... určitě ne v prototypu hry, (//pozn. AN// - ale možná potom, třeba jako další úroveň) | ||
+ | * Jak instruovat hráče, aby označovali koreferenční řetízky? Mějme na paměti to, že hráči nesmí být zatíženi jakýmkoli lingvistickým termínem a že by měl při hraní využívat pouze základní vlastnosti tvarosloví a syntaxe. (//pozn. AN// - Nabízím otázku typu " | ||
+ | * Jak hráčům servírovat texty? Určitě po částech. Na úvod jim zobrazit první čtyři (méně asi ne) věty a následně větu po větě? (//pozn. AN// - celý text se ke hráči ale stejně nedostane? Nebo jo? Co když má 70 vět? Budeme členit ten text na prolínající se kousky a pak ho zase slepovat? ???) | ||
+ | * Jak budou hráči označovat slova, která k sobě patří? Technicky by měli mít možnost libovolné slovo uchopit a přetáhnout ho přes jiné, ke kterému patří. Různé koreferenční řetízky by se odlišovaly barvou? (//pozn. AN// - pokud budeme hrát jenom textovou koreferenci, | ||
+ | * Texty před hrou nějak zpracovat? Například, | ||
+ | * Hra kolika hráčů? | ||
+ | * Hra je postavena na shodě hráčů. Jak naložit s koreferenčními řetízky od jednotlivých hráčů? Př. hráč A označí řetízek ´ABCD´a hráč B ´ACD´. Prostým porovnáním řetízků zaznamenali shodu v ´CD´. Ale i ´AB´ a ´BC´ (co ´AC´?) mohou být správně. | ||
+ | **26/6/08 Jirka:** | ||
+ | * JM: Ja bych navrhoval jednodussi variantu hry. Hraci by nemeli za ukol urcit vsechny koreferencni retizky ve vete, ale jen jeden k danemu slovu. Veta by se nejprve predzpracovala automatickou metodou na odhalovani koreferenci, | ||
+ | * (11/ | ||
+ | **11/2/09 Bára:** | ||
+ | * BH: | ||
+ | * //Oznac podstatna jmena (a/nebo zajmena), ktera k sobe patri// | ||
+ | * **Zakladni strategie: | ||
+ | * **Vyvoj partie:** | ||
+ | * Rychlejsi hrac muze v kteremkoli okamziku urceneho casu partii ukoncit. Pomalejsi hrac musi dodelat vsechny vety, ktere zpracoval rychlejsi hrac. | ||
+ | * Vyprsel casovy limit. | ||
+ | * Casovy limit jeste nevyprsel a hraci chteji hrat dal: automaticky se natahne dalsi dokument, konkretne jeho prvni dve vety. | ||
+ | * **Pocitani skore:** Skore se bude pocitat pouze za dvojice, na kterych se oba hraci shodli. Jeste bych do skore zapocitala bonusove body pro toho, kdo byl rychlejsi. | ||
+ | * **Vystup:** dvojice, na kterych se hraci shodli a neshodli. Shoda bude prinosna, ale co delat s temi dvojicemi, ktere oznacil pouze jeden hrac? Muze se objevit jeste jedna sance na shodu, a to ta, ktera prijde z jine partie se stejnym dokumentem. Proto bude muset byt kladen duraz na rizene podsouvani dokumentu do partii. | ||
+ | * Kontrolni mechanismy, aby hraci nespojovali libovolna dve slova - vzhledem k navrhu na pocitani skore, tj. za shodu, budou hraci aspon castecne motivovani hrat smysluplne. | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ====== Specification ====== | ||
===== Strategy ===== | ===== Strategy ===== | ||
Line 34: | Line 90: | ||
- coreference resolution procedure | - coreference resolution procedure | ||
- | + | Notes JM: At the beginning of the game, if there is no coreference in the first two sentences (as determined by the manual/ | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
===== Input Texts ===== | ===== Input Texts ===== | ||
Line 47: | Line 98: | ||
* Anja's data ## // PDT data that are currently being annotated for the extended coreference // | * Anja's data ## // PDT data that are currently being annotated for the extended coreference // | ||
* more ' | * more ' | ||
+ | * JM: It would be nice if the players could choose a domain of the texts to play on (science-fiction, | ||
* **EN** | * **EN** | ||
* search the data that are available | * search the data that are available | ||
Line 53: | Line 105: | ||
=== Internal format === | === Internal format === | ||
- | * sgml ## //propose dtd file: include the element '' | + | * sgml ## //propose dtd file: include the element '' |
- | * conversion: csts <-> pml m_coref scheme | + | |
=== (Pre)processing === | === (Pre)processing === | ||
Line 63: | Line 114: | ||
* sentence by sentence | * sentence by sentence | ||
* supervised selection of documents for a session | * supervised selection of documents for a session | ||
- | |||
- | |||
- | |||
- | |||
===== Scoring ===== | ===== Scoring ===== | ||
Line 73: | Line 120: | ||
// w1 by mela byt nejvyssi; w2 by mela urcite nejak zohlednit uspesnost automaticke procedury - uspesnost merenou na jakych datech?; w3: kdyz hracum budeme zobrazovat i ta slova, ktera oznacil protihrac, a ja je neoznacila, nebudeme je tim tlacit do vynucene shody? pro to, aby w3 bylo ' | // w1 by mela byt nejvyssi; w2 by mela urcite nejak zohlednit uspesnost automaticke procedury - uspesnost merenou na jakych datech?; w3: kdyz hracum budeme zobrazovat i ta slova, ktera oznacil protihrac, a ja je neoznacila, nebudeme je tim tlacit do vynucene shody? pro to, aby w3 bylo ' | ||
- | ===== Output Data ===== | + | JM: Já myslím, že do shody je tlačit chceme. Je žádoucí, aby anotace byla co nejúplnější. Když druhý hráč uvidí, že první hráč spojil nějaké slovo, vyvíjí to na něj tlak, aby se podíval, jestli to |
+ | nepřehlédl a jestli by ho nemohl zapojit také. Neukazuje se mu kam, takže když nenajde žádný cíl, nezapojí ho a bude se radovat, že první hráč udělal nějakou chybu. | ||
+ | |||
+ | Pokud máme hráče porovnávat z různých partií na různých datech (na datech s- a bez manuální anotace), pak by výše uvedená ohodnocovací funkce zvýhodnila ty, kteří hrají na manuálně anotovaných datech, protože u pouze automatický anotovaných dat by první člen součtu byl nulový. | ||
+ | |||
+ | Myslím, že ta funkce by měla brát **buď** automatickou anotaci **nebo** manuální, podle toho, co je k dispozici. Rovněž si myslím, že manuálně anotovaná data budeme používat minimálně - pouze pro změření úspěšnosti anotace pomocí hry - to ale nemusí být vůbec součástí hry, to se udělá off-line. Máme jich málo, jsou už anotovaná a nejsou zábavná. Z toho mi vyplývá, že bych manuální anotaci pro určování skóre nebral vůbec v úvahu a ze vzorečku nahoře bych první člen vyhodil. | ||
+ | ===== Output Data Needed ===== | ||
+ | * score list ## // | ||
+ | * documents after the '' | ||
+ | * session | ||
+ | * player_A_id, | ||
+ | * document(s) | ||
+ | * number of corrections by player_A and by player_B | ||
+ | * corrections by player_A and by player_B | ||
Line 86: | Line 146: | ||
* arrows | * arrows | ||
* ... | * ... | ||
+ | |||
+ | |||
Line 92: | Line 154: | ||
===== Tools needed ===== | ===== Tools needed ===== | ||
* tagger ^BH^ ## tool_chain (CAC2.0) | * tagger ^BH^ ## tool_chain (CAC2.0) | ||
- | * Linh's coreference resolution procedure ^PS^ ## What type of input data the Linh's procedure works with? '' | + | * Linh's coreference resolution procedure ^PS^ ## What type of input data the Linh's procedure works with? '' |
- | + | * conversion: csts <-> pml m_coref scheme | |
- | ====== Motivační publikace ====== | + | |
- | + | ||
- | * Návrh projektu na GAČR 2009 // | + | |
- | * [[http:// | + | |
- | * [[http:// | + | |
- | * Barbora Hladká, Kiril Ribarov: //Play the Language: An Alternative Manner of Collecting Annotated data//, 2008, ([[http:// | + | |
- | * Luis von Ahn, Laura Dabish: //Labelling Images with a Computer Game//, 2004, ([[http:// | + | |
- | + | ||
- | ===== Anotování koreference v českých datech ===== | + | |
- | * PDT 2.0 [[http:// | + | |
- | * rozšířená koreference - viz přehled | + | |
- | * [[http:// | + | |
- | * Projekt anotace rozšířené textové koreference a bridging vztahů v PDT. (Anja Nedolužko: [[http:// | + | |
- | + | ||
- | + | ||
- | ===== Automatické určování koreference v českých datech | + | |
- | * Dosavadní experimenty | + | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | ===== Návrh hry - brainstorming ===== | + | |
- | **26/5/08 Anja, Bára:** | + | |
- | * Vstup: Texty v povrchové podobě, tedy NE tektogramatické stromy | + | |
- | * Jaké texty vybrat? Z PDT 2.0? - to by se asi hodilo, protože pak by se nabízelo srovnání s anotací na tektogramatických stromech. | + | |
- | * Výstup hry: koreferenční řetízky | + | |
- | * gramatická | + | |
- | * TEXTOVÁ KOREFERENCE ... v prototypu hry určitě | + | |
- | * bridging anaphora ... určitě ne v prototypu hry, (//pozn. AN// - ale možná potom, třeba jako další úroveň) | + | |
- | * Jak instruovat hráče, aby označovali koreferenční řetízky? Mějme na paměti to, že hráči nesmí být zatíženi jakýmkoli lingvistickým termínem a že by měl při hraní využívat pouze základní vlastnosti tvarosloví a syntaxe. (//pozn. AN// - Nabízím otázku typu " | + | |
- | * Jak hráčům servírovat texty? Určitě po částech. Na úvod jim zobrazit první čtyři (méně asi ne) věty a následně větu po větě? (//pozn. AN// - celý text se ke hráči ale stejně nedostane? Nebo jo? Co když má 70 vět? Budeme členit ten text na prolínající se kousky a pak ho zase slepovat? ???) | + | |
- | * Jak budou hráči označovat slova, která k sobě patří? Technicky by měli mít možnost libovolné slovo uchopit a přetáhnout ho přes jiné, ke kterému patří. Různé koreferenční řetízky by se odlišovaly barvou? (//pozn. AN// - pokud budeme hrát jenom textovou koreferenci, | + | |
- | | + | |
- | * Hra kolika hráčů? | + | |
- | * Hra je postavena na shodě hráčů. Jak naložit s koreferenčními řetízky od jednotlivých hráčů? Př. hráč A označí řetízek ´ABCD´a hráč B ´ACD´. Prostým porovnáním řetízků zaznamenali shodu v ´CD´. Ale i ´AB´ a ´BC´ (co ´AC´?) mohou být správně. | + | |
- | **26/6/08 Jirka:** | + | |
- | * JM: Ja bych navrhoval jednodussi variantu hry. Hraci by nemeli za ukol urcit vsechny koreferencni retizky ve vete, ale jen jeden k danemu slovu. Veta by se nejprve predzpracovala automatickou metodou na odhalovani koreferenci, | + | |
- | * (11/ | + | |
- | **11/2/09 Bára:** | + | |
- | * BH: | + | |
- | * //Oznac podstatna jmena (a/nebo zajmena), ktera k sobe patri// | + | |
- | * **Zakladni strategie: | + | |
- | * **Vyvoj partie:** | + | |
- | * Rychlejsi hrac muze v kteremkoli okamziku urceneho casu partii ukoncit. Pomalejsi hrac musi dodelat vsechny vety, ktere zpracoval rychlejsi hrac. | + | |
- | * Vyprsel casovy limit. | + | |
- | * Casovy limit jeste nevyprsel a hraci chteji hrat dal: automaticky se natahne dalsi dokument, konkretne jeho prvni dve vety. | + | |
- | * **Pocitani skore:** Skore se bude pocitat pouze za dvojice, na kterych se oba hraci shodli. Jeste bych do skore zapocitala bonusove body pro toho, kdo byl rychlejsi. | + | |
- | * **Vystup:** dvojice, na kterych se hraci shodli a neshodli. Shoda bude prinosna, ale co delat s temi dvojicemi, ktere oznacil pouze jeden hrac? Muze se objevit jeste jedna sance na shodu, a to ta, ktera prijde z jine partie se stejnym dokumentem. Proto bude muset byt kladen duraz na rizene podsouvani dokumentu do partii. | + | |
- | * Kontrolni mechanismy, aby hraci nespojovali libovolna dve slova - vzhledem k navrhu na pocitani skore, tj. za shodu, budou hraci aspon castecne motivovani hrat smysluplne. | + |