14.3.2008: During the last two weeks I made substantial changes to all the drivers due to extensive driver testing and new strict encoding procedures. After all tests pass successfully, the whole thing should be committed to SVN. Besides, it should be re-tested with the parser adaptation project.

Clean up tagset::common w.r.t. the various algorithms of enforcing permitted values.

Query feature value: a shared function detects array and if it is array, searches it for a given value.

New test in driver-test.pl: does a driver decode into arrays? If so, what features are affected? If not, is it capable of encoding arrays (i.e. does it call the function that gets rid of arrays)?

New test in driver-test.pl: how many tags / what proportion of the tagset are decoded using the other feature? Enumerate them. Maybe, tags that set the other feature should not be considered when building the list of possible feature structures? (Sometimes it happens that a feature-value combination is permitted only in an other tag. Although the set of set/unset features could be used as an additional clue leading to this tag, such tags are often marginal stuff that one does not want to use as default.)

Extend the print_permitted_fs.pl tool so that it can search all available drivers. If it is called that way, it prints the name of the driver in front of every feature structure generated by that driver. Print to STDOUT (now it prints to STDERR). Let the user query and filter the feature structure directly: '$_→{mood} eq “ind” && $_→{other} =~ m/^X/'. Grepping the textual output is less powerful.

Include the text of the GNU GPL in the released package. Create a License page at this website.

Enable checking out the latest development version directly from the Subversion repository.

Make the form of numbers (digit / roman / word) orthogonal to the cardinal-ordinal distinction, as it is in Multext-East. When tokenization permits, we can have both “5” (cardinal) and “5.” (ordinal).

Find more fine-grained classification of punctuation and symbols. Danish has punctuation proper, symbols (+, $), and strange strings like “U-21”.

Classification of coordinative conjunctions: copulative, adversative etc. Example: sv::mamba.

Create overview of common elements that do not have their own part of speech. E.g. infinitive particles. Specifically, make a global classification of “small parts of speech” (pavilón malých šelem ), especially particles, adpositions and conjunctions, punctuation and foreign words, hyphenated prefixes and abbreviations. (Pronouns, determiners and numerals are excluded as a separate chapter.)

Create an overview of verb forms, moods and tenses in various languages, and their representation in DZ Interset.

Design methodology for contracted word forms where two different parts of speech have merged in one word. Currently this is solved at different places in different ways. Examples: Czech “proň”, “bylť”, German “zum” and probably other phenomena in other languages. Enclitical pronouns are special case. In some languages they can or must join a verb or other words (Czech “byls”, “sis”, “tys”, “žes”; Spanish “despiértate”, “despertarse”, “démelo”). Similar problem (but to much greater extent) arises in Arabic where the grammar often requires small words being glued to big ones (e.g. “wa” (conjunction), “al” (article) etc.)

Sloučit vlastnosti verbform a mood? V současnosti (29.3.2008) se mood vyskytuje v ar::conll, bg::conll, cs::pdt, da::conll, de::stts, sv::hajic a sadách z nich odvozených. Všude se vyskytuje pouze u určitých sloves (verbform = fin), pouze u sv::hajic se vyskytuje ještě u supina, ale tam je stejně uveden indikativ a nic se tím nerozlišuje. Na druhou stranu to, že máme způsob (mood) oddělený, umožňuje nejen říkat tomu správně způsob, ale také nastavit obecné finitní sloveso při dekódování sad značek, které způsob nezachycují. Otázka je, jestli v takovém případě není vždy způsob oznamovací. Divně by to mohlo vypadat v jazycích, kde se způsob tvoří výhradně analyticky, pokud takové jsou. Pokud tyto rysy zůstanou oddělené, mohli zavést nový test (jehož výsledkem by nebyla chyba, ale jen varování), který by hlídal, že když je nastaven způsob, je slovesný tvar nastaven na fin.

Příčestí by mělo mít vlastní slovní druh. S tím, že některé sady ho řadí pod sloveso a jiné pod přídavné jméno, jsou jenom problémy.

Pokud se osvědčí nové třídění zájmen, posvítit si i na číslovky. Některé přesunout k zájmenům (“kolik”, “kolikátý”), jiné jako zvláštní podkategorie podstatných jmen (“čtvrtina”, “sedmero”), přídavných jmen (“čtvrtý”, “dvojí”) a příslovcí (“čtyřikrát”, “poprvé”).

Předělat binární vlastnosti na hodnoty “yes” a “no”. Nebo “1” a “0”? Nebo “1” a “”? (Tohle by se na rozdíl od “yes” a “no” alespoň lépe používalo v Perlu.)

Přejmenovat number = plu na plur?

Zrušit subpos = voc. Zatím se používá pro vokalizované tvary českých předložek v cs::pdt (a odvozeném cs::conll; nikde jinde). Místo toho by se ale dalo využít variant = long. U tříd předložek to teď narušuje členění na předložky, záložky a “okololožky” (cirkumpozice). Problém: jak vokalizované, tak nevokalizované předložky se také vyskytují s variant = 1. Nemůžu do jednoho rysu nacpat současně long a 1, a nemůžu ani říct, že z 1 taky plyne vokalizovanost.

Define new value pluralia tantum (ptan) of number? It is present in the Bulgarian CoNLL tagset and it could theoretically be present in other languages, including Czech.

cs::pdt - reimplement “type L” pronouns as collective pronouns (introduced due to Bulgarian)

cs::pdt - use the new feature prepcase (introduced due to Portuguese) in distinguishing pronoun forms “jemu” vs. “němu”