Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:hladka:playcoref [2009/02/25 13:01] hladka |
user:hladka:playcoref [2010/01/26 17:45] mirovsky |
||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== | + | ====== |
- | Na t-rovině PDT 2.0 proběhlo anotování koreference, | ||
- | Určitě chceme mít jakékoli anotace, pro které se rozhodneme (tedy i koreferenční), | ||
- | ====== Specification ====== | ||
+ | ====== Aktuality ====== | ||
+ | * Zimní seminář v Hejnicích, krátká prezentace screenshotů alfa verze hry, 25.1.2010 | ||
+ | * Na úvodní stránce s výběrem počtu hráčů přidat počet on-line hráčů - tak vím, zda má smysl zvolit hru dvou hráčů a doufat v protihráče | ||
+ | * Na úvodní stránce je špatně čitelný ten velký kulatý font | ||
+ | * Dvě verze instrukcí: krátké pro rychlé seznámení a zahrání si, dlouhé pro ty, kdo se chtějí zlepšit a mít lepší skóre | ||
+ | * Pokud to půjde, využít systému Recaptcha - část textu už použita dříve v jiné hře - už mám nějakou anotaci - mohu počítat skóre, zbytek textu nový, získávám nová data | ||
+ | * Anotace koreference musí probíhat na jmenných frázích - nelze propojit slova " | ||
+ | * Padlo několik návrhů k propadaci hry - např. Lucie nabízí, že hru zadá studentům jako povinnou součást výuky svého semináře | ||
+ | * Schůzka 24/9/2009 | ||
+ | * Sestava: studenti Jan Kohout, Lenka Studničná; | ||
+ | * Rozhodnutí: | ||
+ | * Lenka: implementace " | ||
+ | * Honza: implementace rozhraní ve spolupráci se studentkou Helenou Pouchovou | ||
+ | * My: data - zpracování dat ACR a procedurou detekující jmenné entity | ||
+ | * Termín: 30. října 2009 | ||
+ | * Plány: submitnout abstract na demo session na [[http:// | ||
+ | ====== Motivace ====== | ||
+ | Na t-rovině PDT 2.0 proběhlo anotování koreference, | ||
- | ===== Strategy ===== | + | Určitě chceme mít jakékoli anotace, pro které se rozhodneme (tedy i koreferenční), |
- | Hook up the words which refer to the same entity. | + | |
- | A game of two players. Players are paired randomly. | ||
- | Session time up to **X** minutes. | + | ====== Motivační publikace ====== |
- | At the beginning, two first sentences of the document are displayed to each player. The players hook up the nouns and pronouns which refer to the same object independently of each other. If a player hooks up all the related words (s)he keeps in mind then (s)he asks for the next sentence of the document. The session goes on until the end of the session time. (//vypustila jsem tu variantu, ze rychlejsi hrac muzi partii ukoncit kdykoli. Jednalo by se vlastne o znevyhodneni pomalejsiho hrace.//) The player who asks for more sentences in the session obtains bonus points. | + | * Návrh projektu na GAČR 2009 // |
+ | * [[http:// | ||
+ | * [[http:// | ||
+ | * Barbora Hladká, Kiril Ribarov: // | ||
+ | * Luis von Ahn, Laura Dabish: //Labelling Images with a Computer Game//, 2004, ([[http:// | ||
+ | ====== Anotování koreference v českých datech ====== | ||
+ | * PDT 2.0 [[http:// | ||
+ | * rozšířená koreference - viz přehled [[https:// | ||
+ | * [[http:// | ||
+ | * Projekt anotace rozšířené textové koreference a bridging vztahů v PDT. (Anja Nedolužko: [[http:// | ||
- | ===== Input Texts ===== | ||
- | === Text Selection === | ||
- | * Anja's data ## // PDT data that are currently being annotated for the extended coreference // | ||
- | * more ' | ||
- | === Coding === | ||
- | * utf-8 | ||
- | === Internal format === | ||
- | * sgml ## //propose dtd file: include the element '' | ||
- | * conversion: csts <-> pml m_coref scheme | ||
- | === (Pre)processing === | ||
- | * tagging | ||
- | * t-parser by Linh | ||
- | === Text handling === | ||
- | * sentence by sentence | ||
- | * supervised selection of documents for a session | ||
- | ===== Scoring | + | ====== Automatické určování koreference v českých datech - přehled ====== |
- | * top lists | + | * Experiments with Czech so far |
+ | - Kučová L., Žabokrtský Z.: Anaphora in Czech: Large Data and Experiments with Automatic Anaphora Resolution. TSD 2005. **Available: | ||
+ | - Nguy Giang Linh: Návrh souboru pravidel pro analýzu anafor v českém jazyce (A set of rules for anaphora resolution in Czech), MFF UK 2006. **Available: | ||
+ | - Nguy Giang Linh; Žabokrtský, | ||
+ | * Linh's procedure | ||
- | ===== Output Data ===== | ||
- | ===== Design ===== | ||
- | ====== Motivační publikace ====== | ||
- | * Návrh projektu na GAČR 2009 // | ||
- | * [[http:// | ||
- | * [[http:// | ||
- | * Barbora Hladká, Kiril Ribarov: //Play the Language: An Alternative Manner of Collecting Annotated data//, 2008, ([[http:// | ||
- | * Luis von Ahn, Laura Dabish: //Labelling Images with a Computer Game//, 2004, ([[http:// | ||
- | ===== Anotování koreference v českých datech ===== | ||
- | * PDT 2.0 [[http:// | ||
- | * rozšířená koreference - viz přehled [[https:// | ||
- | * [[http:// | ||
- | * Projekt anotace rozšířené textové koreference a bridging vztahů v PDT. (Anja Nedolužko: [[http:// | ||
- | ===== Automatické určování koreference v českých datech - přehled ===== | ||
- | * Dosavadní experimenty | ||
+ | ====== Návrh hry - brainstorming ====== | ||
- | |||
- | |||
- | |||
- | |||
- | ===== Návrh hry - brainstorming ===== | ||
**26/5/08 Anja, Bára:** | **26/5/08 Anja, Bára:** | ||
* Vstup: Texty v povrchové podobě, tedy NE tektogramatické stromy | * Vstup: Texty v povrchové podobě, tedy NE tektogramatické stromy | ||
Line 113: | Line 105: | ||
* **Vystup:** dvojice, na kterych se hraci shodli a neshodli. Shoda bude prinosna, ale co delat s temi dvojicemi, ktere oznacil pouze jeden hrac? Muze se objevit jeste jedna sance na shodu, a to ta, ktera prijde z jine partie se stejnym dokumentem. Proto bude muset byt kladen duraz na rizene podsouvani dokumentu do partii. | * **Vystup:** dvojice, na kterych se hraci shodli a neshodli. Shoda bude prinosna, ale co delat s temi dvojicemi, ktere oznacil pouze jeden hrac? Muze se objevit jeste jedna sance na shodu, a to ta, ktera prijde z jine partie se stejnym dokumentem. Proto bude muset byt kladen duraz na rizene podsouvani dokumentu do partii. | ||
* Kontrolni mechanismy, aby hraci nespojovali libovolna dve slova - vzhledem k navrhu na pocitani skore, tj. za shodu, budou hraci aspon castecne motivovani hrat smysluplne. | * Kontrolni mechanismy, aby hraci nespojovali libovolna dve slova - vzhledem k navrhu na pocitani skore, tj. za shodu, budou hraci aspon castecne motivovani hrat smysluplne. | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ====== Specification ====== | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ===== Strategy ===== | ||
+ | * **Hook up the words which refer to the same entity.** | ||
+ | * A game of two players. Players are paired randomly. Computer as a player: automatic coreference resolution **???????** | ||
+ | * Session time up to **???????** minutes. | ||
+ | * At the beginning of the game, if there is no coreference pair in the first two sentences (as determined by the manual/ | ||
+ | * What my partner is doing? If (s)he hooks up the same pair of words as I hooked up then the pair of words starts **??????? | ||
+ | * The players can re-hook up any word any time in the session. | ||
+ | * To design the game for a particular language the following data and tools are needed (or, better said, are welcome): | ||
+ | - corpus of manually anotated coreference | ||
+ | - POS tagger | ||
+ | - coreference resolution procedure | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ===== Input Texts ===== | ||
+ | |||
+ | === Text Selection === | ||
+ | * CS data | ||
+ | * Anja's data ## // PDT data that are currently being annotated for the extended coreference // | ||
+ | * **JM**: It would be nice if the players could choose a domain of the texts to play on (science-fiction, | ||
+ | ***JM (6/3/09)**: Predelal jsem data pro playcoref, ted obsahuji jenom koreference mezi uzly s tagy N nebo P. Data jsou v adresari: ''/ | ||
+ | ***BH (16/ | ||
+ | * **EN** | ||
+ | * search the data that are available; **BH (11/3/09)** Z dokumentace dat, ktera bychom meli mit, jsem nasla MUC6, ale nevidim tam data s koreferenci. Jirka zjisti, jestli jsou nekde jinde nebo jak jinak se k nim muzeme dostat. | ||
+ | === Coding === | ||
+ | * utf-8 | ||
+ | |||
+ | === Internal format === | ||
+ | * sgml ## //propose dtd file: include the element '' | ||
+ | |||
+ | === (Pre)processing === | ||
+ | * tagging ## //see Tools needed below// | ||
+ | * acr by Linh ## // dtto // | ||
+ | |||
+ | === Text handling === | ||
+ | * sentence by sentence | ||
+ | * supervised selection of documents for a session | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ===== Scoring ===== | ||
+ | * '' | ||
+ | |||
+ | **JM**: | ||
+ | Já myslím, že do shody je tlačit chceme. Je žádoucí, aby anotace byla co nejúplnější. Když druhý hráč uvidí, že první hráč spojil nějaké slovo, vyvíjí to na něj tlak, aby se podíval, jestli to | ||
+ | nepřehlédl a jestli by ho nemohl zapojit také. Neukazuje se mu kam, takže když nenajde žádný cíl, nezapojí ho a bude se radovat, že první hráč udělal nějakou chybu. Myslím, že ta funkce by měla brát **buď** automatickou anotaci **nebo** manuální, podle toho, co je k dispozici. Rovněž si teď myslím, že manuálně anotovaná data budeme používat minimálně - pouze pro změření úspěšnosti anotace pomocí hry - to ale nemusí být vůbec součástí skóre hry, to se udělá off-line. Manuálně anotovaných dat máme málo, jsou už anotovaná a nejsou zábavná. Z toho mi vyplývá, že bych manuální anotaci pro určování skóre nebral vůbec v úvahu a ze vzorečku nahoře bych první člen vyhodil. | ||
+ | |||
+ | **BH**: Jirka ma pravdu. Pocitani skore musi byt objektivni. Proto jsem vzorecek upravila tak, ze nebude pocitat shodu hrace vzhledem k rucni anotaci. | ||
+ | |||
+ | |||
+ | |||
+ | ===== Output Data Needed ===== | ||
+ | * score list ## // | ||
+ | * documents after the '' | ||
+ | (**JM**: Mluvil jsem kvůli měření mezianotátorské shody v anotování koreference se Zdeňkem a vyšlo z toho, že na měření shody na šipkách by použil prostě jen F-measure. Její smysl je jasný a je symetrická. Kappa je nevhodná kvůli tomu, že pravděpodobnost náhodné shody je poměrně nízká a těžko se určuje; kappa se hodí spíš pro klasifikační úlohy (proto ji použiju v Anjiině projektu na shodu v určování typu koreference, | ||
+ | - kappa measure | ||
+ | - G-theory - see [[http:// | ||
+ | Identifying Sources of Disagreement: | ||
+ | - the Pearson correlation - see (Snow et al., 2008) [[http:// | ||
+ | * session | ||
+ | * player_A_id, | ||
+ | * document(s) | ||
+ | * number of corrections by player_A and by player_B (**JM**: I do not see the point in this) | ||
+ | * corrections by player_A and by player_B (**JM**: and maybe nor in this) (**BH**: I am interested in the players' | ||
+ | |||
+ | |||
+ | ===== Design ===== | ||
+ | * What info to be displayed in the session? | ||
+ | * session time = elapsed time + remaining time | ||
+ | * how many sentences my partner has read so far | ||
+ | * running pts **???????** (**JM**: I would be very cautious with this; the user might be tempted to cancel an action if the score decreases; the user might also try to fit the automatic annotation (by trying various arrows and watching if the score goes up or down), which is not what we want) | ||
+ | * Format of the text | ||
+ | * **JM**: nouns and pronouns might be displayed slightly differently so that the user avoids other parts of speech easily; he should not be allowed to use other parts of speech at all | ||
+ | * Visualization of the coreference pairs | ||
+ | * colors | ||
+ | * arrows (**JM**: to avoid too many arrows on the screen, possibly only if the mouse pointer hovers over a word, arrows that start or end at the word would be displayed) | ||
+ | * ... | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ===== Tools needed ===== | ||
+ | * tagger ## tool_chain (CAC2.0) | ||
+ | * Linh's coreference resolution procedure - see TectoMT - **JM** | ||
+ | * vyzkouset - trenink a test - na datech Anji | ||
+ | * conversion: csts <-> pml m_coref scheme | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ===== Kdo hru implementuje ===== | ||
+ | * Lenka Studničná vnitřek, [[http:// | ||
+ | * Poznámky BH: | ||
+ | - 1.1 Pokud není protihráč, | ||
+ | - 1.2 Dle designu hry. | ||
+ | - 2.1 použití termínu ´paralelních dat´je v daném kontextu lehce zavádějící (i když chápu, jak to autorka myslela) | ||
+ | - Jeden hráč se vzdá, další může samozřejmě pokračovat. Pro měření spolehlivosti hráče je zajímavé vědět i to, kolikrát vzdal. | ||
+ | - 2. Vstupní dokumenty budou zpracovány ACR. | ||
+ | - 3. V tabulce Matches_Players postrádám odkaz na soupeře. | ||
+ | - 3. Alternativy - Pokud budeme předkládat anotovaná data, může být obtížnost dokumentu vyjádřena přes počet přítomných koreferujících párů. | ||
+ | - 5. Víceslovné výrazy -- určitě na ně myslet v implementaci, | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ====== ACL - IJCNLP2009 ====== | ||
+ | * [[http:// | ||
+ | * [[http:// | ||
+ | * pracovni adresar ''/ | ||
+ | * 23/3/09 - castecne jsem rozmyslela osnovu, podivejte se prosim na to a sve pripominky psat primo do latexovskeho zdrojaku |