[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Next revision
Previous revision
projekt-anotace-diskurzu [2008/05/09 15:54]
anotator vytvořeno
projekt-anotace-diskurzu [2018/10/19 13:24]
ufal [__Rozšíření TrEdu pro anotaci diskurzu_]
Line 1: Line 1:
-====== Projekt anotace diskurzu ======+====== Projekt anotace diskurzu ​(textových,​ promluvových vztahů)======
  
-==== Předběžné poznámky a materiály k projektu: ​====+Doplňující informace o tomto projektu ​na stránce Návrhy pro PDT 2.5, tj. zde[[internal:​pdt25:​navrhy]]
  
  
-Rovina anotace diskurzu se plánuje jako součást další, “vyšší” roviny v PDT, ve které bude podrobně zpracována koreference,​ pojmenované entity a textové vztahy (diskurz). 
  
-==== Kdo se v tom, alespoň částečně,​ angažuje: ​====+==== Cíle projektu ​====
  
-prof. E. HajičováŠárka ZikánováLucie Mladová, Zdeněk ŽabokrtskýZuzka BedřichováKatka Veselá +Anotace diskurzu je planována jako součást další“vyšší” roviny v PDTve které bude podrobně zpracována koreferencepojmenované entity a textové vztahy (mezipropoziční vztahydiskurz). 
-==== Zadané práce: ==== +Cílem je doplnit anotaci rozšířené koreference v PDT o další textové vztahy, které ​se podílejí ​na celkové koherenci textu. Jsou to zejména vztahy mezi větami (mezi stromy), ​tudíž je TR zatím nezachycujeTR pouze signalizuje některé z nich funktorem PREC, který ovšem postrádá bližší sémantickou specifikaci. Anotace nadvětných vztahů bude vycházet z hierarchické soustavy diskurzních vztahů vypracované Š. Zikánovou (Zikánová 2007) na základě soustavy vytvořené pro Penn Discourse ​TreeBank. Podobně jako v PDTB budeme postupovat od anotace konektorů (funktor PREC a další lexémy s touto funkcí, které ale mají v TR jiné funktory). V první fázi se nebudeme zabývat koordinačními vztahy uvnitř věty (uzly s nodetype=coap),​ protože tyto textové vztahy (tj. vztahy v rámci jednoho stromu) jsou v TR dostatečně zpracované. ​
- LM + ZB: disertace, ZB na FF :-+
-==== Granty: ==== +
- ​čeká ​se na schválení GAČRu paní profesorky Hajičové ​Šárky Zikánové +
-Možnost mezinárodního grantu v návaznosti na profJoshiho a Penn Discourse ​Treebank+
  
-==== Materiály====+V druhé fázi bychom se vrátili zpět „dovnitř věty“, kde vidíme tyto dílčí úkoly: 
 +- zpracování kategorie CM (conjuction modifier) a tedy víceslovných spojovacích výrazů 
 +- sémantické rozpracování koordinačního vztahu APPS (apozice), sémantické zpracování nepravých vedlejších vět a vztah vsuvky (PAR) ke větě, do níž je vsunuta 
 +Z mezivětných vztahů bychom doplnili: 
 +- propojení přímé řeči o více větách (stromech) 
 +- spojení všech parcelací ​
  
-Poznámky + zápisy z “diskurzních sezení”: 
-{{podklady_11-2-2008.pdf|podklady_schuzka 11-02-2008}} 
-{{zapis-18-02-2008.pdf|zapis_schuzka 18-02-2008}} 
  
-Brzy přibudou též: 
  
-Anotace diskurzu v PDT – prezentace pro ÚFAL  26.11. 2007, Šárka Zikánová 
-Článek o diskurzu na LREC 2008 
-Diplomka LM 
  
-==== Kooperace: ==== + 
-- výrazná ​kooperace ​s anotací ​TFA a koreference (rozvedení anotace ​textové koreference)+ 
 +==== Na projektu se podílejí ====   
 + 
 +lingvistickyprof. E. Hajičová, Šárka Zikánová, Lucie Mladová, Pavlína Jínová (dříve i Zuzanna Bedřichová) 
 +technicky: Jirka Mírovský (dříve i Petr Pajas, Zdeněk Žabokrtský) 
 + 
 +anotátoři:​ 
 + 
 +**PJ** Pavlína Jínová 
 +**VP** Veronika Pavlíková 
 +**MR** Magdaléna Rysová 
 +**JZ** Jana Zdeňková 
 +(dříve i **HF** Helena Filipová) 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 +==== Průběh projektu ==== 
 + 
 +[[projekt-anotace-diskurzu:​prubeh|Průběh projektu]] na samostatné stránce 
 + 
 +==== VŠE K ANOTACI ==== 
 + 
 +[[:​internal:​projekt-anotace-diskurzu:​index|Interní poznámky]] pouze pro přihlášené 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 +==== Různé materiály ==== 
 +- Odkaz na  [[http://​www.seas.upenn.edu/​~pdtb/​|Penn Discourse Treebank 2.0]] 
 +- [[instalace_PDTB|Instalace prohlížeče pro Penn Discourse Treebank]] 
 +- Odkaz na seminář R. Barzilay (MIT, Cambridge, MA) k diskurzu [[http://​people.csail.mit.edu/​regina/​6892/​ 
 +|http://​people.csail.mit.edu/​regina/​6892/​]] 
 +- MANUÁL PDTB 2.0 ke stáhnutí {{internal:​pdtb-annotation-manual.pdf|manual_PDTB_2}} 
 +- Seznamy konektorů od Zuzky:  
 +{{internal:​czech-connectives.xls|české konektory}}  
 +{{internal:​czech-connectives-ceske-poradi-sarka.xls|české konektory abecedně}}  
 +{{internal:​konektory-doplneno-zu.xls|doplněný seznam možných českých konektorů}} 
 +- Zuzčiny poznámky k manuálu PDTB 2.0 {{internal:​poznamky-k-manualu-pdtb_changed.doc|}} 
 +- Seznam diskurzních vztahů a jejich zkratek (SZ, 29.12.2008) {{internal:​tahak-typy-vztahu.doc|}} 
 +- Základní bibliografie k podklasifikaci textovych vztahů{{internal:​bibliografie-k-podklasifikaci-textovych-vztahu.doc|}} 
 + 
 +==== Bylo ==== 
 +(LM, 2.3.2009) 
 +- další úpravy tredu pro anotaci v kontextu discourse 
 +- úpravy setu sémantických textových vztahů 
 +- první cvičná data pro měření shody 
 +- pondělní seminář 9.3. - přehled nejnovější práce 
 + 
 +(LM, 5.1.2009) 
 +- první verze tredího kontextu discourse se zabíhá a zkouší 
 +- konverze dat pro anotaci 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 +==== Spolupráce ​==== 
 +- výrazná ​spolupráce ​s anotací ​rozšířené ​textové koreference ​(Anja)
 - anotace dialogu pro Companions (Silvie) - anotace dialogu pro Companions (Silvie)
-- technicky: vytvoření anotačního prostředí – kontext ​megatree” tredu, první ​hrubou verzi už dal dohromady Pepa Toman:+- technicky: vytvoření anotačního prostředí – pro první hrubý průzkum byl vytvořen na jaře 2008 kontext megatree v TrEdu(Pepa Toman), dále využijeme nový kontext PLM_T_Bridging v TrEdu, úpravy provedou Jirka Mírovský a Pavel Češka 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
 +==== Rozšíření TrEdu pro anotaci diskurzu ==== 
 +=== 20081217 - 20181019 (JM): === 
 +Podpora pro anotaci diskurzu užívá rozšíření TrEdu **discourse** a **nondeprel** (non-dependency relations annotation). 
 +=== Jednoduchý návod k instalaci a použití: === 
 +==Instalace:​== 
 +TrEd instalujte ze stránky http://​ufal.mff.cuni.cz/​tred/​ 
 +Nainstalujte rozšíření Discourse Annotation (Setup -> Manage Extensions) 
 + 
 +Pro zobrazení skupin uzlů je potřeba nainstalovat perlovou knihovnu Graph::​Kruskal. 
 +V **Linux**u se to provádí takto: 
 +sudo -s  
 +# cpan -i Graph::​Kruskal 
 +Prikaz cpan se při prvním spuštění vyptá na různé věci, většinou to stačí odentrovat. 
 +**Nová verze TrEdu (2.*) pro Windows** používá Strawberry Perl. Tam se moduly instalují podle návodu z webu takto: "Run "CPAN client"​ from Strawberry entry in Start menu. Type "​install Module::​Name"​ there."​ 
 + 
 + 
 +==Ovládání zobrazení:​== 
 +Pro zobrazení vět, stromů a diskurzních šipek existují tři přednastavené módy, které se přepínají těmito klávesovými zkratkami:​ 
 +**Alt+b** - bridging mode - vidět je jeden strom, velké množství kontextových vět vpřed i vzad, šipky: koreference,​ bridging 
 +**Alt+d** - pure discourse mode - vidět jsou dva stromy vzad a jeden vpřed, deset vět vzad a pět vpřed, šipky: čistě diskurzní (čili ne koref. a bridging) 
 +**Alt+f** - full discourse mode - vidět jsou dva stromy vzad a jeden vpřed, deset vět vzad a pět vpřed, šipky: všechny 
 + 
 +Zobrazení jednotlivých druhů šipek je možno ovládat nezávisle na přednastaveném módu takto: 
 +**Ctrl+b** - přepne zobrazení bridging anafory 
 +**Ctrl+r** - přepne zobrazení gramatické koreference 
 +**Ctrl+t** - přepne zobrazení textové koreference 
 +**Ctrl+d** - přepne zobrazení čistě diskurzních šipek 
 + 
 +Zobrazení se týká nejen šipek, ale rovněž barevného zvýraznění slov v kontextových větách. 
 + 
 +**s** - vybere zdroj (anotátora),​ jehož šipky se mají zobrazovat 
 +**S** (Shift+s) - schová/​zobrazí zdroj anotace (anotátora) u typu, rozsahu a komentáře šipky 
 + 
 +==Editace diskurzních šipek:== 
 +Aktuální uzel se vybírá kliknutím na uzel ve stromech nebo kliknutím na slovo ve větách. Existující skupinu uzlů je rovněž možno vybrat kliknutím na ni. 
 +**mezera** - přepne označení budoucího cílového uzlu/​skupiny diskurzní šipky; možno postupně vybrat více uzlů a skupin; používá se též pro výběr uzlů pro vytvoření skupiny 
 +**Ctrl+levé tlačítko na uzlu** - podobně jako mezera, zapamatuje si/zapomene tekto-uzel; nemění aktuální uzel 
 +**Ctrl+levé tlačítko na slově ve větách** - podobně jako mezera, zapamatuje si/zapomene příslušný tekto-uzel; nemění aktuální uzel 
 +**Ctrl+mezera** - přepne označení u všech uzlů v podstromu aktuálního uzlu (včetně) 
 +**Shift+levé tlačítko na slově ve větách** - zapamatuje si/zapomene jedno slovo pro následné nastavení konektoru (narozdíl od mezery, takto lze vybrat i samostatnou předložku či cokoliv, co nemá reprezentaci na tekto-rovině) 
 +**f** (forget) - ruční zapomenutí všech označených uzlů a skupin 
 +**d** (discourse) - vloží diskurzní šipku (šipky) z aktuální skupiny či aktuálního uzlu do zapamatovaného uzlu či skupiny (či zapamatovaných uzlů a skupin); zobrazí se dialogové okno pro vložení typu, který je v případě více cílů společný; u první ​vytvářené šipky po spuštění TrEdu se zobrazí okno pro vložení zdroje anotace (vkládáme iniciály anotátorky; ​dalších vložených šipek se naposledy vložená hodnota použije automaticky) 
 +**D** (Discourse) - vloží diskurzní šipku (šipky) z aktuální skupiny či aktuálního uzlu bez určení cílového uzlu 
 +**E** (Entrel) - vloží diskurzní šipku (šipky) typu Entrel z aktuální skupiny či aktuálního uzlu do zapamatovaného uzlu či skupiny (či zapamatovaných uzlů a skupin) 
 +**A** (question-Answer) - vloží diskurzní šipku (šipky) typu question-answer z aktuální skupiny či aktuálního uzlu do zapamatovaného uzlu či skupiny (či zapamatovaných uzlů a skupin) 
 +**l** (list) - vloží diskurzní šipku (šipky) typu list (seznam) z aktuální skupiny či aktuálního uzlu do zapamatovaného uzlu či skupiny (či zapamatovaných uzlů a skupin) 
 +**c** (comment) - vložení komentáře k diskurzní šipce vedoucí z aktuálního uzlu; zobrazí se dialogové okno pro jeho vložení; existuje-li více šipek vedoucích z aktuálního uzlu, nejprve se zobrazí okno s jejich seznamem, které umožní výběr té správné šipky 
 +**r** (re-type) - změna typu šipky vedoucí z aktuálního uzlu; zobrazí se dialogové okno pro jeho vložení; existuje-li více šipek vedoucích z aktuálního uzlu, nejprve se zobrazí okno s jejich seznamem, které umožní výběr té správné šipky 
 +**o** - změna zdroje (atributu src) šipky vedoucí z aktuálního uzlu; zobrazí se dialogové okno pro jeho vložení; existuje-li více šipek vedoucích z aktuálního uzlu, nejprve se zobrazí okno s jejich seznamem, které umožní výběr té správné šipky; naposledy vložená hodnota se použije u dalších vytvářených šipek 
 +**M** - přepnutí vlastnosti šipky ''​is_implicit'';​ pokud je nastaven, zobrazuje se jako suffix _Imp za diskurzním typem; jeho nastavení na 1 způsobí automatické vyvolání makra pro vložení hodnoty atributu connective_inserted 
 +**a** - přepnutí vlastnosti šipky ''​is_secondary''​ 
 +**t** - přepnutí vlastnosti šipky ''​is_negated''​ 
 +**I** - vložení textové podoby konektoru, pokud standardně anotovaný konektor chybí (u implicitních vztahů) nebo je špatně; pokud je vyplněn, zobrazuje se u počátečního uzlu šipky za “connective_ins:” 
 +**p** - přepnutí vlastnosti šipky ''​is_NP'';​ pokud je nastaveno na 1, zobrazuje se jako suffix _NP za diskurzním typem 
 +**C** (is Compositional) - přepnutí vlastnosti šipky ''​is_compositional'';​ pokud je nastaveno na 1, zobrazuje se jako suffix _CP (Compositional Phrase) za nápisem connective 
 +**w, e** - nastavení rozsahu výchozího a cílového argumentu 
 +**x** - smazání šipky vedoucí z aktuálního uzlu; existuje-li více šipek vedoucích z aktuálního uzlu, nejprve se zobrazí okno s jejich seznamem, které umožní výběr té správné šipky 
 +**n** - nastavení označených (pomocí mezery) uzlů jako konektorů diskurzní šipky vedoucí z aktuálního uzlu; pokud z akt. uzlu vede více šipek, uživatel je požádán o vybrání té správné; konektor (povrchové vyjádření) se pak zobrazí v bublině, když se myš na chvíli zastaví nad příslušnou šipkou 
 +**m** - nastavení označených (pomocí mezery) uzlů jako rozšířené množiny konektorů diskurzní šipky vedoucí z aktuálního uzlu (rozšířený sekundární konektor); pokud z akt. uzlu vede více šipek, uživatel je požádán o vybrání té správné; rozšířený konektor (povrchové vyjádření) se pak zobrazí v bublině, když se myš na chvíli zastaví nad příslušnou šipkou 
 +**v** - otočí šipku vedoucí z aktuálního uzlu (zamění výchozí a cílový uzel); v případě více šipek zobrazí seznam pro výběr 
 + 
 +==Práce se skupinami uzlů:== 
 +Uzly i z různých stromů je možno seskupovat, diskurzní šipky je možno vést jak mezi jednotlivými uzly, tak mezi skupinami, či kombinovaně - to je reprezentováno diskurzní šipkou vedoucí z/do reprezentujícího uzlu skupiny. Reprezentující uzel skupiny se určí takto: 
 +- v případě, že skupinu tvoří uzly z více stromů, reprezentující uzel skupiny je vždy v nejlevějším stromě 
 +- při rozhodování mezi uzly z jednoho stromu je reprezentující uzel první v průchodu do hloubky 
 +**g** (group) - vytvoří skupinu z označených uzlů 
 +**Ctrl+g** - zruší vybranou skupinu 
 +Šipky, které končí či začínají ve skupině uzlů, opticky i datově končí či začínají v reprezentujících uzlech skupin. 
 +V datech je to reprezentováno atributy start_group_id a target_group_id u diskurzní šipky. 
 + 
 +==Ostatní:​== 
 +**Ctrl+c** (comment) - vložení diskurzního komentáře k celému uzlu (bez ohledu na šipky) 
 +**F** (discourse Feature) - vložení hodnoty atributu discourse_feature 
 +**G** - vložení hodnoty atributu discourse_macrostructure 
 +**Ctrl+k** ('​k'​ompatkní zobrazení) - přepne kompaktní zobrazení uzlů 
 +**u** ('​u'​nfold) - ručně rozbalí/​znovu sbalí aktuální uzel (v kolapsovaném zobrazení uzlů) 
 +**h** - vložení hodnoty atributu discourse_special (zastaralé,​ nahrazeno atributy discourse_feature a discourse_macrostructure) 
 +**j** - nastaví typ vztahu, který jinak neznačíme,​ protože nemá oba argumenty finverbální,​ u aktuálního uzlu (což by měl být hlavní uzel sekundárního konektoru) 
 +**k** - nastaví příznak negace u vztahu, který jinak neznačíme,​ protože nemá oba argumenty finverbální,​ u aktuálního uzlu (což by měl být hlavní uzel sekundárního konektoru) 
 +**Ctrl+A** (Analytical) - zobrazí analytické stromy (zpět: **Ctrl+R** (Return)) 
 +**z** - zobrazí seznam žánrů a umožní tak vybrat žánr dokumentu 
 + 
 + 
 + 
 +==== Bibliografie k diskurzu ==== 
 +výběr článků a statí: 
 + 
 +Adamec, P. (1995). Konektivní částice a jiné textově propojovací výrazy v současné češtině. In Přednášky z 37. a 38. běhu LŠSS, Praha: Univerzita Karlova, s. 59-64. 
 + 
 +Asher, N. (1993). Reference to Abstract Objects in Discourse. Kluwer Academic Publishers, Dordrecht. 
 + 
 +Asher, N. – Lascarides, A. (2003). Logics of Conversation. Cambridge University Press. 
 + 
 +Bedřichová,​ Z. (2008). Částice implikující presupozici v češtině, diplomová práce. Univerzita Karlova, Praha. 
 + 
 +Daneš, F. (1985). Věta a text. Academia, Praha. 
 + 
 +Hajič, J. et al. (2006). Prague Dependency Treebank 2.0. Linguistic Data Consortium, Philadelphia. 
 + 
 +Hajičová, E. (1993). Issues of Sentence Structure and Discourse Patterns. Charles University, Prague. 
 + 
 +Hajičová, E. et al. (2006). An Annotated Corpus as a Test Bed for Discourse Structure Analysis. In Proceedings of the Workshop on Constraints in Discourse, National University of Ireland, Maynooth, Ireland, pp. 82–89. 
 + 
 +Halliday, M. A. K. – Hasan, R. (1976). Cohesion in English. Longman, London. 
 + 
 +Helbig, H. (2005). Knowledge Representation and the Semantics of Natural Language. Springer. 
 + 
 +Hobbs, J. R. (1985). On the Coherence and Structure of Discourse, Report No. CSLI-85-37, Center for the Study of Language and Information,​ Stanford University. 
 + 
 +Hoffmannová,​ J. (1983). Sémantické a pragmatické aspekty koherence textu. Disertační práce, Linguistica VI, ČSAV, Praha. 
 + 
 +Joshi, A. et al. (2006). Discourse Annotation: Discourse Connectives and Discourse Relations. Tutorial at the Association for Computational Linguistics,​ Sydney. 
 + 
 +Lee, A. et al. (2006). Complexity of Dependencies in Discourse: Are Dependencies in Discourse More Complex Than in Syntax? Proceedings of the 5th International Workshop on Treebanks and Linguistic Theories. Prague. 
 + 
 +Mikulová, M. et al. (2005). Annotation on the Tectogrammatical Layer in the Prague Dependency Treebank: Annotation Manual. Universitas Carolina Pragensis, Prague. 
 + 
 +Miltsakaki, E. et al. (2004). The Penn Discourse Treebank. In Proceedings of the Fourth International Conference on Language Resources and Evaluation. LREC 2004, Lisbon, Portugal. 
 + 
 +Mladová, L. (2008). Diskurzní vztahy v češtině a jejich zachycení v anotovaném korpusu. Diplomová práce. Univerzita Karlova, Praha. 
 + 
 +Nedoluzhko, A. (2007). Zpráva k anotování rozšířené textové koreference a bridging vztahů v Pražském závislostním korpusu. Technická zpráva. Univerzita Karlova, Praha. 
 + 
 +Novák, V. (2008). Semantic Network Manual Annotation and its Evaluation. Institute of Formal and Applied Linguistics,​ Charles University, Prague 
 + 
 +Pasch, R. et al. (2003). Handbuch der deutschen Konnektoren. Walter De Gruyter Inc. 
 + 
 +Prasat, R. et al. (2008). Penn Discourse Treebank Version 2.0. Linguistic Data Consortium, Philadelphia. 
 + 
 +Seuren, P.A.M. (1985). Discourse Semantics. Blackwell Pub. 
 + 
 +Sgall, P. et al. (1969). A Functional Approach to Syntax in Generative Description of Language. Američan Elsevier, New York. 
 + 
 +The Penn Discourse Treebank 1.0 Annotation Manual. (2006). http://​www.seas.upenn.edu/​~pdtb/​papers/​pdtb-1.0-annotation-manual.pdf 
 + 
 +The Penn Discourse Treebank 2.0 Annotation Manual. (2007). http://​www.seas.upenn.edu/​~pdtb/​PDTBAPI/​pdtb-annotation-manual.pdf 
 + 
 +The Prague Czech-English Dependency Treebank 1.0 http://​ufal.mff.cuni.cz/​pcedt/​doc/​PCEDT_main.html 
 + 
 +Webber, B. (2004). D-LTAG: Extending Lexicalized TAG to Discourse. Cognitive Science, 28 (5), pp. 751-779.
  
-demo+Zikánová, Š. (2007). Possibilities of Discourse Annotation in Prague Dependency Treebank (Based on the Penn Discourse Treebank Annotation). Technical report. Institute of Formal and Applied Linguistics,​ Charles University, Prague.

[ Back to the navigation ] [ Back to the content ]