Differences
This shows you the differences between two versions of the page.
| Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
|
user:hladka:playcoref [2009/02/25 22:30] hladka |
user:hladka:playcoref [2009/02/26 09:54] mirovsky |
||
|---|---|---|---|
| Line 21: | Line 21: | ||
| * [[http:// | * [[http:// | ||
| * Projekt anotace rozšířené textové koreference a bridging vztahů v PDT. (Anja Nedolužko: [[http:// | * Projekt anotace rozšířené textové koreference a bridging vztahů v PDT. (Anja Nedolužko: [[http:// | ||
| + | |||
| Line 30: | Line 31: | ||
| * Experiments with Czech so far | * Experiments with Czech so far | ||
| - Nguy Giang Linh: Návrh souboru pravidel pro analýzu anafor v českém jazyce (A set of rules for anaphora resolution in Czech), MFF UK 2006. **Available: | - Nguy Giang Linh: Návrh souboru pravidel pro analýzu anafor v českém jazyce (A set of rules for anaphora resolution in Czech), MFF UK 2006. **Available: | ||
| - | - Nguy Giang Linh; Žabokrtský, | + | - Nguy Giang Linh; Žabokrtský, |
| * Linh's procedure | * Linh's procedure | ||
| Line 76: | Line 77: | ||
| ====== Specification ====== | ====== Specification ====== | ||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| ===== Strategy ===== | ===== Strategy ===== | ||
| Line 100: | Line 90: | ||
| - coreference resolution procedure | - coreference resolution procedure | ||
| - | + | JM: At the beginning of the game, if there is no coreference in the first two sentences (as determined by the manual/ | |
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| ===== Input Texts ===== | ===== Input Texts ===== | ||
| Line 115: | Line 98: | ||
| * Anja's data ## // PDT data that are currently being annotated for the extended coreference // | * Anja's data ## // PDT data that are currently being annotated for the extended coreference // | ||
| * more ' | * more ' | ||
| + | * JM: It would be nice if the players could choose a domain of the texts to play on (science-fiction, | ||
| * **EN** | * **EN** | ||
| * search the data that are available | * search the data that are available | ||
| Line 130: | Line 114: | ||
| * sentence by sentence | * sentence by sentence | ||
| * supervised selection of documents for a session | * supervised selection of documents for a session | ||
| - | |||
| - | |||
| - | |||
| - | |||
| ===== Scoring ===== | ===== Scoring ===== | ||
| Line 140: | Line 120: | ||
| // w1 by mela byt nejvyssi; w2 by mela urcite nejak zohlednit uspesnost automaticke procedury - uspesnost merenou na jakych datech?; w3: kdyz hracum budeme zobrazovat i ta slova, ktera oznacil protihrac, a ja je neoznacila, nebudeme je tim tlacit do vynucene shody? pro to, aby w3 bylo ' | // w1 by mela byt nejvyssi; w2 by mela urcite nejak zohlednit uspesnost automaticke procedury - uspesnost merenou na jakych datech?; w3: kdyz hracum budeme zobrazovat i ta slova, ktera oznacil protihrac, a ja je neoznacila, nebudeme je tim tlacit do vynucene shody? pro to, aby w3 bylo ' | ||
| + | JM: | ||
| + | Já myslím, že do shody je tlačit chceme. Je žádoucí, aby anotace byla co nejúplnější. Když druhý hráč uvidí, že první hráč spojil nějaké slovo, vyvíjí to na něj tlak, aby se podíval, jestli to | ||
| + | nepřehlédl a jestli by ho nemohl zapojit také. Neukazuje se mu kam, takže když nenajde žádný cíl, nezapojí ho a bude se radovat, že první hráč udělal nějakou chybu. | ||
| + | |||
| + | Pokud máme hráče porovnávat z různých partií na různých datech (na datech s- a bez manuální anotace), pak by výše uvedená ohodnocovací funkce zvýhodnila ty, kteří hrají na manuálně anotovaných datech, protože u pouze automatický anotovaných dat by první člen součtu byl nulový. | ||
| + | |||
| + | Myslím, že ta funkce by měla brát **buď** automatickou anotaci **nebo** manuální, podle toho, co je k dispozici. Rovněž si teď myslím, že manuálně anotovaná data budeme používat minimálně - pouze pro změření úspěšnosti anotace pomocí hry - to ale nemusí být vůbec součástí skóre hry, to se udělá off-line. Manuálně anotovaných dat máme málo, jsou už anotovaná a nejsou zábavná. Z toho mi vyplývá, že bych manuální anotaci pro určování skóre nebral vůbec v úvahu a ze vzorečku nahoře bych první člen vyhodil. | ||
| ===== Output Data Needed ===== | ===== Output Data Needed ===== | ||
| Line 148: | Line 135: | ||
| * player_A_id, | * player_A_id, | ||
| * document(s) | * document(s) | ||
| - | * number of corrections by player_A and by player_B | + | * number of corrections by player_A and by player_B |
| - | * corrections by player_A and by player_B | + | * corrections by player_A and by player_B |
| ===== Design ===== | ===== Design ===== | ||
| Line 156: | Line 142: | ||
| * session time = elapsed time + remaining time | * session time = elapsed time + remaining time | ||
| * how many sentences my partner has read so far | * how many sentences my partner has read so far | ||
| - | * running pts **???????** | + | * running pts **??????? |
| + | * Format of the text | ||
| + | * JM: nouns and pronouns might be displayed slightly differently so that the user avoids other parts of speech easily; he should not be allowed to use other parts of speech at all | ||
| * Visualization of the coreference pairs | * Visualization of the coreference pairs | ||
| * colors | * colors | ||
| - | * arrows | + | * arrows |
| * ... | * ... | ||
| + | |||
| Line 168: | Line 157: | ||
| ===== Tools needed ===== | ===== Tools needed ===== | ||
| * tagger ^BH^ ## tool_chain (CAC2.0) | * tagger ^BH^ ## tool_chain (CAC2.0) | ||
| - | * Linh's coreference resolution procedure ^PS^ ## What type of input data the Linh's procedure works with? '' | + | * Linh's coreference resolution procedure ^PS^ ## What type of input data the Linh's procedure works with? '' |
| * conversion: csts <-> pml m_coref scheme | * conversion: csts <-> pml m_coref scheme | ||
| - | |||
| - | |||