[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » user » zeman » interset » to-do

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
user:zeman:interset:to-do [2007/10/02 12:29]
zeman Array test. 		user:zeman:interset:to-do [2014/07/25 13:58] (current)
zeman Autoři u cs::ajka.
Line 1: Line 1:
 ====== To do ====== ====== To do ======
  
-===== Infrastructure =====+===== Interset 2.0 =====
  
-==== Strict encoding ====+  * Opravit češtinu (UTF8) v komentáři ABSTRACT pro Pod::Weaver. Jinde je kódování v pořádku, ale tuhle větu Pod::Weaver rozebírá a čte ji špatně. 
 +    * A další věc v POD: U CS::Ajka mám dvě sekce AUTHOR. Jednu vloženou ručně, kde je navíc Petr Pořízka a Markus Schäfer, a druhou vloženou automaticky, kde jsem jenom já. Chtělo by to zařídit, aby v tomto konkrétním případě se ta automatická vynechala. 
 +  * Nějak lépe vyřešit stažené tvary. Aspoň nový rys, aby to nebylo v other. České příklonné "-s" už má rys ve dvou českých sadách (multext a ajka). Taky mu nastavit 2. osobu, singulár a aux. Podobně je na tom "proň", "zač", "-ť". V němčině "zum", "zur"... Ve francouzštině "du", "aux"... Naopak arabské "al-" sem asi nepatří, to lze prostě chápat jako morfém určitosti, který se nikdy nevyskytuje jako samostatné slovo. 
 +  * Projít ''###!!!'', zejména ve FeatureStructure: 
 +    * Pokud možno zrušit synpos. Mám spočítáno, že se používá v 21 sadách, ale nevyplývá z toho, zda by se bez něj tyto sady obešly. 
 +    * Číslovky více méně předělat po vzoru zájmen, pouze základní číslovky si ponechají slovní druh ''num''. 
 +  * Přenést všechny ovladače, které vznikly v Treexu a do SVN Intersetu se zatím nedostaly. 
 +  * Oprášit pravidelné kopírování wiki stránek Intersetu do repozitáře SVN (resp. Redmine). Nyní je tam zastaralá kopie. 
 +  * Uspořádat seminář a brainstorming pro zájemce o Interset. 
 +    * Do té doby prozkoumat Martinovy návrhy a udělat si na ně názor. 
 +  * Sepsat manuál pro nové autory ovladačů. 
 +  * Jak prezentovat Interset neperlovému světu? Např. tabulky pro decode(). Jde o to, aby lidé mohli Interset snadno použít i v Pythonu, Javě, C a jinde. 
 +    * Sem patří i Tagzplorer!
  
-The encoder should be able to work in two modes: +===== Infrastructure =====
-  * Preserving as much information as possible, even if the resulting tag is a new (unexpected by the designers of the tagset) combination of feature values. +
-  * Strictly keeping the original set of possible tags, by forcing selected features to compatible values. This should be default, if available.+
  
-Although this requirement has been known since the very beginning of this work, no driver so far implements strict encoding. It would almost double the work needed to write the encode() function and I have not needed the strict conversions so far. 
- 
-The process of strict encoding could be automated using the list() function of the driver. A service function could decode every possible tag (as listed by list()) and build a graph of feature values. The strict encoding would correspond to a path through the graph. Every node in the graph would correspond to a partially encoded tag. The set of edges leaving the node would be pruned so as not to allow any unexpected combination of features. 
- 
-The graph would not be constructed in full. Such a process would be too costly. Instead, every feature would be given a numeric priority, and there would be a total ordering of the features according to their priorities. The encoding process would always consider the features with higher priority first, thus the graph would be a tree with as many leaves as there are tags in the tagset. 
- 
-How will the strict encoding look in practice? A service function will read the feature tree and a set of feature values to be encoded. The function will traverse the tree and adjust the feature values to match a tag from the list. Then the normal encode() function of the driver will be called. A prerequisite is that the driver keeps the condition encode(decode(x))=x. This has not been tested so far but the drivers indeed should conform to it. 
- 
-2 druhy striktního kódování: 
-  * Opravdu striktní zajistí, že na výstupu se neobjeví značka, která není na seznamu. 
-  * Mírnější přístup tohle nepožaduje, ale pomůže překódovat hodnoty, které se v cílové sadě nevyskytují. Např. pokud cílová sada nezná duál, uděláme z něj plurál, aby cílový ovladač nemusel testovat i duál (resp. on by měl, ale tohle je naše ochrana proti nedbalosti jeho autora). Nicméně nebudeme hlídat, že cílová sada třeba nerozlišuje číslo u přídavných jmen a plurál u nich vůbec nečeká (ale je schopna ho zakódovat). 
- 
-==== Service functions ==== 
- 
-  * Check whether decode() sets only known features. 
-  * Check whether decode() sets features only to known values. 
-  * Unset features: 
-    * Return list of unset features. 
-    * Fill one or all unset features with default values. 
-    * Fill one or all unset features with arrays of all possible values. 
   * Query feature value: a shared function detects array and if it is array, searches it for a given value.    * Query feature value: a shared function detects array and if it is array, searches it for a given value.
-  * Společná funkce: před encode(): máme-li list(), pravděpodobně umíme doplnit povinné neznámé vlastnosti na základě známých. (To nám výrazně usnadní strict encoding.) 
   * New test in driver-test.pl: does a driver decode into arrays? If so, what features are affected? If not, is it capable of encoding arrays (i.e. does it call the function that gets rid of arrays)?   * New test in driver-test.pl: does a driver decode into arrays? If so, what features are affected? If not, is it capable of encoding arrays (i.e. does it call the function that gets rid of arrays)?
 +  * Extend the ''print_permitted_fs.pl'' tool so that it can search all available drivers. If it is called that way, it prints the name of the driver in front of every feature structure generated by that driver. Print to STDOUT (now it prints to STDERR). Let the user query and filter the feature structure directly: '$_->{mood} eq "ind" && $_->{other} =~ m/^X/'. Grepping the textual output is less powerful.
 +  * Enable checking out the latest development version directly from the Subversion repository.
 +  * Create a web interface to DZ Interset. The user will be able to enter a tag from an arbitrary set (the interface will be able to recognize the set or sets) and get a detailed description in English or Czech of the feature values. Features and values could link to Wikipedia explanations. Conversions to other tagsets (including round-trip conversions) will be provided and all tags will link to similar descriptions of their own. Example words will be provided for every tag. The interface will also be able to read whole files in common corpus formats (CoNLL, PML, CSTS, RDT, TEI, Penn, Brill...), highlight word forms / lemmas / tags and link to tag descriptions. Conversion of tags in whole files will be provided.
  
 ===== Features and values ===== ===== Features and values =====
  
-  * Přejmenovat compdeg = norm na pos (pozitiv).  +  * Normalize processing of pronouns, determiners, interrogative adverbs etc. Old drivers use a different approach from the new ones (beginning with Bulgarian). Pronoun as an independent part of speech will cease to exist. 
-  * Přejmenovat number=plu na plur?  +    * Remove ''pos="pron"''. Distribute pronouns to nouns, adjectives and adverbs. When encoding into a tagset that distinguishes pronouns, detect pronouns by non-empty ''prontype''. Remove subposes of pronouns (''pers'', ''clit''...) 
-  * Sloučit vlastnosti verbform a mood.  +    * Remove ''subpos = pers'' and ''subpos = recip''. These features should now be captured by ''prontype''. 
-  * Udělat z poss opět jenom subpos? +    * Move ''subpos=clit'' to an independent feature so that it is easier to ask whether a pronoun is personal. Or remove the feature. This is connected to the problem of changed processing of pronouns, and of the processing of contracted word forms (see below). 
-  * Přece jen přidat kategorie zájmen? Dánové mají: demonstrative, indefinite, interrogative/relative, personal, possessive, reciprocal. Zrušit podkategorie wh? +    * Create new value ''prontype = oth''. It will be used when we know that a word is pronoun but we do not know its type and do not want to set the default ''prs'' (personal). 
-  * Ze subpos=clit udělat samostatnou vlastnost, aby se usnadnil dotaz, zda je zájmeno osobní. +    * Create a new feature or some other means of marking that a Czech pronoun contains an encliticised form of the 2nd person of the auxiliary verb "být", as in "ses", "sis", "tos", "tys". The Multext East tagset defines a special feature called ''clitic_s'', used only in Czech. 
-  * Udělat tu dotazovací funkci (viz výše)! Kromě technické práce s poli ještě přidat hierarchii hodnot: když se někdo ptá na "rel" a já vidím "wh", odkývám mu to! +  * Find more fine-grained classification of punctuation and symbols. Danish has punctuation proper, symbols (+, $), and strange strings like "U-21".
-  * Obdobně pro funkci decode() udělat servisní funkci, která nabídne hodnoty pro nevyplněné vlastnosti na základě jiných vyplněných (např. ukazovací zájmeno implikuje určitost a atributivnost). Musí se to ale pořádně promyslet - např. pokud jazyk nemá compdeg=abs, je pro něj asi nejlepší sup, jak ale víme, že nemá abs? +
-  * Udělat přehled častých prvků, které nemají vlastní slovní druh. Např. jak se řeší částice označující infinitiv. +
-  * Jemněji roztřídit interpunkci. Dánové mají vlastní interpunkci, potom symboly (+, $), potom podivnosti, které my ani za interpunkci nepovažujeme. "U-21". +
-  * Předělat binární vlastnosti na hodnoty "yes" a "no". +
-  * Přejmenovat compdeg na degree. +
-  * Příčestí by mělo mít vlastní slovní druh. S tím, že některé sady ho řadí pod sloveso a jiné pod přídavné jméno, jsou jenom problémy. +
-  * Subjektform a objektform u švédských zájmen asi není samostatná vlastnost! Mělo by se to prohlásit za pády (nominativ a akuzativ)! +
-  * Členy a zájmena by se možná vůbec měly rozlišit jinak. Na nejvyšší úrovni by se rozlišovala substantivnost/atributivnost, pak teprve zda to má být raději člen nebo zájmeno. Případně osobní a přivlastňovací zájmena by mohla být zvlášť už na nejvyšší úrovni, protože ta se s žádnými členy plést nebudou.+
   * Classification of coordinative conjunctions: copulative, adversative etc. Example: sv::mamba.   * Classification of coordinative conjunctions: copulative, adversative etc. Example: sv::mamba.
 +  * Create overview of common elements that do not have their own part of speech. E.g. infinitive particles. Specifically, make a global classification of "small parts of speech" (pavilón malých šelem :-)), especially particles, adpositions and conjunctions, punctuation and foreign words, hyphenated prefixes and abbreviations. (Pronouns, determiners and numerals are excluded as a separate chapter.)
 +  * Create an overview of verb forms, moods and tenses in various languages, and their representation in DZ Interset.
 +  * Design methodology for contracted word forms where two different parts of speech have merged in one word. Currently this is solved at different places in different ways. Examples: Czech "proň", "bylť", German "zum" and probably other phenomena in other languages. Enclitical pronouns are special case. In some languages they can or must join a verb or other words (Czech "byls", "sis", "tys", "žes"; Spanish "despiértate", "despertarse", "démelo"). Similar problem (but to much greater extent) arises in Arabic where the grammar often requires small words being glued to big ones (e.g. "wa" (conjunction), "al" (article) etc.) Warning! I believe that currently the Czech "proň" is tagged differently in cs::pdt and cs::multext. Both set ''subpos = preppron'' but the former under pronoun, the latter under preposition.
  
-===== Specific drivers =====+==== Things to think about (not sure that these changes should really be made): ====
  
-  * cs::pdt - reimplement "type L" pronouns as collective pronouns (introduced due to Bulgarian)+  * Sloučit vlastnosti ''verbform'' a ''mood''? V současnosti (29.3.2008) se ''mood'' vyskytuje v ar::conll, bg::conll, cs::pdt, da::conll, de::stts, sv::hajic a sadách z nich odvozených. Všude se vyskytuje pouze u určitých sloves (''verbform = fin''), pouze u sv::hajic se vyskytuje ještě u supina, ale tam je stejně uveden indikativ a nic se tím nerozlišuje. Na druhou stranu to, že máme způsob (mood) oddělený, umožňuje nejen říkat tomu správně způsob, ale také nastavit obecné finitní sloveso při dekódování sad značek, které způsob nezachycují. Otázka je, jestli v takovém případě není vždy způsob oznamovací. Divně by to mohlo vypadat v jazycích, kde se způsob tvoří výhradně analyticky, pokud takové jsou. Pokud tyto rysy zůstanou oddělené, mohli zavést nový test (jehož výsledkem by nebyla chyba, ale jen varování), který by hlídal, že když je nastaven způsob, je slovesný tvar nastaven na ''fin''. 
 +  * Příčestí by mělo mít vlastní slovní druh. S tím, že některé sady ho řadí pod sloveso a jiné pod přídavné jméno, jsou jenom problémy. 
 +  * Pokud se osvědčí nové třídění zájmen, posvítit si i na číslovky. Některé přesunout k zájmenům ("kolik", "kolikátý"), jiné jako zvláštní podkategorie podstatných jmen ("čtvrtina", "sedmero"), přídavných jmen ("čtvrtý", "dvojí") a příslovcí ("čtyřikrát", "poprvé"). 
 +  * Předělat binární vlastnosti na hodnoty "yes" a "no". Nebo "1" a "0"? Nebo "1" a ""? (Tohle by se na rozdíl od "yes" a "no" alespoň lépe používalo v Perlu.) 
 +  * Přejmenovat number = plu na plur?  
 +  * Zrušit ''subpos = voc''. Zatím se používá pro vokalizované tvary českých předložek v cs::pdt (a odvozeném cs::conll; nikde jinde). Místo toho by se ale dalo využít ''variant = long''. U tříd předložek to teď narušuje členění na předložky, záložky a "okololožky" (cirkumpozice). **Problém:** jak vokalizované, tak nevokalizované předložky se také vyskytují s ''variant = 1''. Nemůžu do jednoho rysu nacpat současně ''long'' a ''1'', a nemůžu ani říct, že z ''1'' taky plyne vokalizovanost. 
 +  * Define new value //pluralia tantum// (''ptan'') of ''number''? It is present in the Bulgarian CoNLL tagset and it could theoretically be present in other languages, including Czech.
  
-===== Paper notes ===== 
  
-==== Time needed for tag set conversion ====+===== Specific drivers =====
  
-Poznámky o časové náročnosti konverze morfologických značek +  * cs::pdt - reimplement "type L" pronouns as collective pronouns (introduced due to Bulgarian)
------------------------------------------------------------ +
- +
-Ruský treebank (nejen značky, ale vůbec převod formátu): +
-12:36 +
- +
-Arabské značky (Otovy i Buckwalterovy, ještě bez Intersetu, 22.3.2006): +
-4:45+1+1:40 = 7:25 +
- +
-České značky PDT (přes 4000 značek; jádro Intersetu vzniklo jako vedlejší produkt, když jsem dělal tohle) +
-asi 2 dny, tedy dejme tomu 18 hodin +
- +
-Dánské značky DDT/Parole (144 značek s košatým popisem) +
-asi 7 hodin +
- +
-Švédské značky Mamba (48 značek) +
-asi 3 hodiny +
- +
-Penn Treebank (36 značek) +
-asi 3 hodiny, ale tady jsem to ještě neměřil, takže to je jen hrubý zpětný odhad +
- +
-Hajičovy švédské značky +
-0:32 - tady zjevně chybí úplná statistika +
- +
-Arabské značky CoNLL +
-4:33+5:19+3:16 = 13:08 +
- +
-České značky PDT (CoNLL verze? Nebo to jsou jen opravy, když jsem začal ovladače testovat?) +
-1:44+3:20+6:05 = 11:09 +
- +
-Bulharské značky CoNLL +
-0:20+1:00+0:26+5:44+2:00+6:15+1:20+0:46+1:26+2:30+0:48 = 22:35 +
-(ale u bulharštiny jsem se dost natrápil s jevy, které do té doby nebyly v intersetu podchycené) +
- +
-Anglické značky CoNLL +
-0:48 - možná tady chybí statistika, ale možná taky ne, protože stačilo upravit existující ovladač Penn Treebanku, ne? +
- +
-Žádné z výše uvedených převodů (tedy vše napsané před říjnem 2007) ještě neměly k dispozici chytré funkce pro nahrazování nepovolených hodnot.+
  

[ Back to the navigation ] [ Back to the content ]