[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » user » mirovsky » poznamky-k-automatickemu-urcovani-koreference

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
user:mirovsky:poznamky-k-automatickemu-urcovani-koreference [2009/09/25 18:44]
mirovsky 		user:mirovsky:poznamky-k-automatickemu-urcovani-koreference [2009/10/13 15:18] (current)
mirovsky
Line 1: Line 1:
 ===== Automatické určování koreference ===== ===== Automatické určování koreference =====
  
-==== poznámky ke schůzce 29. září ====+
  
  
Line 15: Line 15:
  
 Na pojmenované entity bych se vykašlal, alespoň zatím. V datech bridging stejně máme šipky mezi jednotlivými uzly. Sice na tekto rovině, ale projekce do analytické roviny a zpět (tedy i na povrch) je podle mne jednoznačná. Na pojmenované entity bych se vykašlal, alespoň zatím. V datech bridging stejně máme šipky mezi jednotlivými uzly. Sice na tekto rovině, ale projekce do analytické roviny a zpět (tedy i na povrch) je podle mne jednoznačná.
 +
  
 ==== Jak poznat nové uvedení slova do diskurzu od slova, které koreferuje už s něčím dříve zmíněným? ==== ==== Jak poznat nové uvedení slova do diskurzu od slova, které koreferuje už s něčím dříve zmíněným? ====
 +
 +Neboli: Má z daného markable vést někam šipka? Je anaphorem nějakého antecedentu?
  
 Vidím dvě možnosti: Vidím dvě možnosti:
 1) Předřadit modul, který to určí; úspěšnost by však musela být velice vysoká, jinak to považuju za zbytečné snižování celkové úspěšnosti. Nicméně není problém takový modul ve scénáři mít či mít možnost ho tam mít. 1) Předřadit modul, který to určí; úspěšnost by však musela být velice vysoká, jinak to považuju za zbytečné snižování celkové úspěšnosti. Nicméně není problém takový modul ve scénáři mít či mít možnost ho tam mít.
 2) V rankingu určit mez, kterou musí vítězný kandidát překročit, aby vůbec nějaká koreference byla označena. Může i koexistovat s předchozím modulem. 2) V rankingu určit mez, kterou musí vítězný kandidát překročit, aby vůbec nějaká koreference byla označena. Může i koexistovat s předchozím modulem.
 +
  
 ==== Kdo budou kandidáti? ==== ==== Kdo budou kandidáti? ====
  
-Předchozí osobní zájmena a podstatná jména, tedy tytéž markables. Předchozí až do nějaké vzdálenosti nebo všichni až do začátku textu? Respektive přesněji: předchozí diskurzní entity - již existující koreferenční řetězec by měl vystupovat jako jeden kandidát. (Nebudou se tím šířit předchozí chyby?)+Předchozí osobní zájmena a podstatná jména, tedy tytéž markables. Předchozí až do nějaké vzdálenosti nebo všichni až do začátku textu? Respektive přesněji: předchozí diskurzní entity - již existující koreferenční řetězec by měl vystupovat jako jeden kandidát. (Nebudou se tím šířit předchozí chyby? Dá se vyřešit další featurou - kolikátý prvek řetězce zprava od nejbližšího kandidáta to je.)
 Narozdíl od některých přístupů bych za antecedent vždy volil nejbližší prvek budoucího koref. řetězce - tzn. i zájmeno může být antecedentem podstatného jména - to je možné právě díky posuzování kandidátů včetně jejich existujícího koref. řetězce. Narozdíl od některých přístupů bych za antecedent vždy volil nejbližší prvek budoucího koref. řetězce - tzn. i zájmeno může být antecedentem podstatného jména - to je možné právě díky posuzování kandidátů včetně jejich existujícího koref. řetězce.
  
Line 35: Line 39:
 Co bude ranker posuzovat v jednom kroku? "Anaphor + 1 kandidát" nebo "anaphor + kandidát + všichni ostatní kandidáti"? Mám pocit, že všichni to dělají jen "anaphor + 1 kandidát" - tím můžeme začít, ale nechal bych si možnost rozšířit to. Napadá mě featura typu "Je mezi ostatními kandidáty vlastní jméno?". Co bude ranker posuzovat v jednom kroku? "Anaphor + 1 kandidát" nebo "anaphor + kandidát + všichni ostatní kandidáti"? Mám pocit, že všichni to dělají jen "anaphor + 1 kandidát" - tím můžeme začít, ale nechal bych si možnost rozšířit to. Napadá mě featura typu "Je mezi ostatními kandidáty vlastní jméno?".
 Další možností je využít už existující koreferenční řetězec - neposuzuju kandidáta samostatně, ale už i s jeho koreferenty - mám pocit, že už to někdo někde takhle taky dělal (?). Kandidát pak dostane skóre na základě "shody" i s těmi koreferenty. Další možností je využít už existující koreferenční řetězec - neposuzuju kandidáta samostatně, ale už i s jeho koreferenty - mám pocit, že už to někdo někde takhle taky dělal (?). Kandidát pak dostane skóre na základě "shody" i s těmi koreferenty.
 +
 +
 +
 +
 +
 +
 +
  
  
Line 40: Line 51:
  
 Features pro ranking (a jejich váhy) budou různé pro různé typy anaphor (pozná se podle tagu), nejméně tyto tři typy: Features pro ranking (a jejich váhy) budou různé pro různé typy anaphor (pozná se podle tagu), nejméně tyto tři typy:
-- zájmena+- zájmena (zájmen je více; jaká rozlišovat? Osobní zájmena (v klitice, plné formě), další zájmena?)
 - vlastní jména - vlastní jména
 +- demonstrative noun phrase?
 - ostatní podstatná jména - ostatní podstatná jména
  
-Features bych pro začátek vzal z různých článků, např. Denis and Baldridge (2008?), Soon et al. (2001); Denis and Baldridge je pěkně rozdělují do skupin podle typu:+Features bych pro začátek vzal z různých článků, např. Denis and Baldridge (2008?), Soon et al. (2001); Denis and Baldridge je pěkně rozdělují do skupin podle typu. 
 +Další features mohou přibýt díky např. stromové struktuře a ohodnocení uzlů analytickými funkcemi.
  
 === Linguistic Form === === Linguistic Form ===
  
-Sleduje, zda kandidát je vlastní jméno, obecné jméno nebo zájmeno.+** (Personal?) Pronoun (0/1) ** - je kandidát (osobní?) zájmeno?
  
-Dále:+** Proper Name (0/1) ** - je kandidát vlastní jméno?
  
-** Demonstrative Noun Phrase ** - visí na podstatném jménu anaphoru něco jako "tento, tato apod."?+** General Name (0/1) ** - je kandidát obecné jméno? 
 + 
 +** Demonstrative Noun Phrase (0/1) ** - visí na podstatném jménu anaphoru něco jako "tento, tato apod."? Je stejné pro všechny kandidáty! Ale vhodné pro rozhodování, zda z daného uzlu vést šipku nebo ne.
  
 === Context === === Context ===
  
-POS slov kolem kandidáta (3 featury: před, po, oba okolo)+** POS Left (10 hodnot -> 10 features) ** - POS slova vlevo od kandidáta 
 + 
 +** POS Right (10 hodnot -> 10 features) ** - POS slova vpravo od kandidáta 
 + 
 +** POS Surr (10x10 hodnot -> 100 features) ** - POS slova vlevo a slova vpravo od kandidáta
  
 === Distance === === Distance ===
  
-** Distance ** - vzdálenost anaphoru od kandidáta; v čem měřit? (věty, slovesa, slova - možná víc featur))+** Distance (více hodnot, řádově desítky až stovky features) ** - vzdálenost anaphoru od kandidáta; v čem měřit? (věty, slovesa, slova - možná víc featur))
  
 === Morphosyntactic Agreement === === Morphosyntactic Agreement ===
  
-** Number Agreement ** - shoda v čísle+** Number Agreement (0/1) ** - shoda v čísle
  
-** Gender Agreement ** - shoda v rodu+** Gender Agreement (0/1) ** - shoda v rodu
  
-** Person Agreement ** - shoda v osobě (?)+** Person Agreement (0/1) ** - shoda v osobě (?)
  
-** Both Proper Names ** - (Soon et al. 2001)+** Both Proper Names (0/1) ** - (Soon et al. 2001)
  
 === Semantic Similarity === === Semantic Similarity ===
  
-** Semantic Similarity ** - WordNet - existuje nástroj pro měření podobnosti slov na základě Wordnetu v Perlu, je částí OpenNLP Toolkitu.+** Semantic Similarity ** - WordNet - existuje nástroj pro měření podobnosti slov na základě Wordnetu v Perlu, je částí OpenNLP Toolkitu. Funguje ale na Czech EuroWordNet? Také by šla použít podobnost na základě Wikipedie (Ponzetto & Strube, 2006)
  
 === String Similarity === === String Similarity ===
  
-** String Match ** - na lemmatech (bez přípon) - binární (0/1) nebo editační vzdálenost?+** String Match (0/1) ** - na lemmatech (bez přípon); případně s použitím editační vzdálenosti - více features pro různé hodnoty
  
-** Left substring **+** Left substring (0/1) **
  
-** Right substring ** +** Right substring (0/1) **
- +
-** Head word match ** - to je featura z Denise, ale co to je?+
  
 === Apposition === === Apposition ===
  
-** Apposition ** - Anja tam možná nedělá šipky?+** Apposition (0/1) ** - Anja tam možná nedělá šipky?
  
 === Acronym === === Acronym ===
  
-** Acronym ** - např. "ČR" a "republika, na které visí česká" - tady můžeme dobře využít analytickou rovinu+** Acronym (0/1) ** - např. "ČR" a "republika, na které visí česká" - tady můžeme dobře využít analytickou rovinu 
 + 
 +=== Salience === 
 + 
 +** Salience (více hodnot - řádově do deseti features) ** - pro antecedenty zájmen - aktivovanost v diskurzu (podle Hajičové?)
  
 === Vynecháno ze zmíněných článků, co se nehodí pro češtinu (nebo z jiných důvodů) === === Vynecháno ze zmíněných článků, co se nehodí pro češtinu (nebo z jiných důvodů) ===
Line 98: Line 119:
 - kandidát je definite/undefinite noun phrase - kandidát je definite/undefinite noun phrase
 - Semantic Class Agreement - (female, male, person, organization, location, date, time, money, percent, object) - vyžaduje nástroj, který by to určil - Semantic Class Agreement - (female, male, person, organization, location, date, time, money, percent, object) - vyžaduje nástroj, který by to určil
 +- Head word match - to je featura z Denise, ale co to je?
 +
  
  

[ Back to the navigation ] [ Back to the content ]