[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » user » zeman » interset » to-do

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
user:zeman:interset:to-do [2014/06/10 12:33]
zeman Interset 2.0. 		user:zeman:interset:to-do [2014/07/25 13:58] (current)
zeman Autoři u cs::ajka.
Line 3: Line 3:
 ===== Interset 2.0 ===== ===== Interset 2.0 =====
  
-Interset is being completely rewritten using Moose, the object-oriented extension to Perl 5. In the end it will be published on CPAN as ''Lingua::Interset''. +  * Opravit češtinu (UTF8) v komentáři ABSTRACT pro Pod::Weaver. Jinde je kódování v pořádku, ale tuhle větu Pod::Weaver rozebírá a čte ji špatně. 
- +    * A další věc v POD: U CS::Ajka mám dvě sekce AUTHOR. Jednu vloženou ručně, kde je navíc Petr Pořízka a Markus Schäfer, a druhou vloženou automaticky, kde jsem jenom já. Chtělo by to zařídit, aby v tomto konkrétním případě se ta automatická vynechala. 
-  * MooseX: "semi-affordance" jako v Treexu. Hodnota atributu x se nastavuje pomocí ''set_x($hodnota)'', zjišťuje se pomocí ''x()''. +  * Nějak lépe vyřešit stažené tvary. Aspoň nový rys, aby to nebylo v other. České příklonné "-s" už má rys ve dvou českých sadách (multext a ajka). Taky mu nastavit 2. osobu, singulár a aux. Podobně je na tom "proň", "zač", "-ť". V němčině "zum", "zur"... Ve francouzštině "du", "aux"... Naopak arabské "al-" sem asi nepatří, to lze prostě chápat jako morfém určitosti, který se nikdy nevyskytuje jako samostatné slovo. 
-  * Nějak umravnit podle manuálu Moose to líné tvoření přehledu povolených struktur. +  * Projít ''###!!!'', zejména ve FeatureStructure: 
-  * Zkontrolovat, jaký kód ještě nebyl přenesen ze staré verze (zejména ''tagset::common'') do nové. +    * Pokud možno zrušit synpos. Mám spočítáno, že se používá v 21 sadách, ale nevyplývá z toho, zda by se bez něj tyto sady obešly. 
-    * Testy ovladačů. +    * Číslovky více méně předělat po vzoru zájmen, pouze základní číslovky si ponechají slovní druh ''num''.
-    * Obecné funkce pro přístup k ovladačům, např. Lingua::Interset::decode('en::penn'). Bude možné tyto funkce vyexportovat do hlavního jmenného prostoru? +
-  * Vyrobit dočasnou obálku na staré ovladače, aby je mohl nový Interset využívat, než je všechny přepíšu přímo pro něj.+
   * Přenést všechny ovladače, které vznikly v Treexu a do SVN Intersetu se zatím nedostaly.   * Přenést všechny ovladače, které vznikly v Treexu a do SVN Intersetu se zatím nedostaly.
-  * Funkce typu ''is_noun()'', ''is_pronoun()'' atd. +  * Oprášit pravidelné kopírování wiki stránek Intersetu do repozitáře SVN (resp. Redmine). Nyní je tam zastaralá kopie.
-  * Přenést celý projekt Interset i s historií ze serveru ''svn'' na Redmine.+
   * Uspořádat seminář a brainstorming pro zájemce o Interset.   * Uspořádat seminář a brainstorming pro zájemce o Interset.
 +    * Do té doby prozkoumat Martinovy návrhy a udělat si na ně názor.
   * Sepsat manuál pro nové autory ovladačů.   * Sepsat manuál pro nové autory ovladačů.
-  * Vlastní zveřejnění na CPANu: 
-    * Zdeněk doporučuje Distzillu, která hodně usnadní výrobu balíčku k publikaci. 
-    * Zdeněk má v Treexu nějaký skript, který promítne číslo revize SVN do čísla verze na CPAN. 
   * Jak prezentovat Interset neperlovému světu? Např. tabulky pro decode(). Jde o to, aby lidé mohli Interset snadno použít i v Pythonu, Javě, C a jinde.   * Jak prezentovat Interset neperlovému světu? Např. tabulky pro decode(). Jde o to, aby lidé mohli Interset snadno použít i v Pythonu, Javě, C a jinde.
 +    * Sem patří i Tagzplorer!
  
 ===== Infrastructure ===== ===== Infrastructure =====
  
-  * Clean up ''tagset::common'' w.r.t. the various algorithms of enforcing permitted values. 
   * Query feature value: a shared function detects array and if it is array, searches it for a given value.    * Query feature value: a shared function detects array and if it is array, searches it for a given value.
   * New test in driver-test.pl: does a driver decode into arrays? If so, what features are affected? If not, is it capable of encoding arrays (i.e. does it call the function that gets rid of arrays)?   * New test in driver-test.pl: does a driver decode into arrays? If so, what features are affected? If not, is it capable of encoding arrays (i.e. does it call the function that gets rid of arrays)?
-  * New test in driver-test.pl: how many tags / what proportion of the tagset are decoded using the ''other'' feature? Enumerate them. Maybe, tags that set the ''other'' feature should not be considered when building the list of possible feature structures? (Sometimes it happens that a feature-value combination is permitted only in an ''other'' tag. Although the set of set/unset features could be used as an additional clue leading to this tag, such tags are often marginal stuff that one does not want to use as default.) 
-    * A workaround. Simulate decoding from foreign tagsets. 1. Decode all tags of tagset A. 2. Clear the features ''tagset'' and ''other'' in all feature structures. 3. Now force the tags to defaults (some obscure categories are lost and the tags have to adapt themselves to the fallback categories). 4. Encode all tags again. 5. Check the resulting tags. It is OK if a tag was transformed into another correct tag. However, if a tag was rendered incorrect, it should be discarded from the set of tags that define the correct feature-value combinations. 
   * Extend the ''print_permitted_fs.pl'' tool so that it can search all available drivers. If it is called that way, it prints the name of the driver in front of every feature structure generated by that driver. Print to STDOUT (now it prints to STDERR). Let the user query and filter the feature structure directly: '$_->{mood} eq "ind" && $_->{other} =~ m/^X/'. Grepping the textual output is less powerful.   * Extend the ''print_permitted_fs.pl'' tool so that it can search all available drivers. If it is called that way, it prints the name of the driver in front of every feature structure generated by that driver. Print to STDOUT (now it prints to STDERR). Let the user query and filter the feature structure directly: '$_->{mood} eq "ind" && $_->{other} =~ m/^X/'. Grepping the textual output is less powerful.
   * Enable checking out the latest development version directly from the Subversion repository.   * Enable checking out the latest development version directly from the Subversion repository.
   * Create a web interface to DZ Interset. The user will be able to enter a tag from an arbitrary set (the interface will be able to recognize the set or sets) and get a detailed description in English or Czech of the feature values. Features and values could link to Wikipedia explanations. Conversions to other tagsets (including round-trip conversions) will be provided and all tags will link to similar descriptions of their own. Example words will be provided for every tag. The interface will also be able to read whole files in common corpus formats (CoNLL, PML, CSTS, RDT, TEI, Penn, Brill...), highlight word forms / lemmas / tags and link to tag descriptions. Conversion of tags in whole files will be provided.   * Create a web interface to DZ Interset. The user will be able to enter a tag from an arbitrary set (the interface will be able to recognize the set or sets) and get a detailed description in English or Czech of the feature values. Features and values could link to Wikipedia explanations. Conversions to other tagsets (including round-trip conversions) will be provided and all tags will link to similar descriptions of their own. Example words will be provided for every tag. The interface will also be able to read whole files in common corpus formats (CoNLL, PML, CSTS, RDT, TEI, Penn, Brill...), highlight word forms / lemmas / tags and link to tag descriptions. Conversion of tags in whole files will be provided.
-  * The package to download and the Subversion repository should contain a copy of this wiki pages, both in DokuWiki syntax and in HTML. 
  
 ===== Features and values ===== ===== Features and values =====
  
-  * Create a feature for numerical value of numerals. Multext East Czech distinguishes "finite = 1", "finite = 2", "finite = 3 or 4" and "finite, other". Numbers in different classes have different syntactic behavior. (Also, "21" may belong to the class "finite = 1", so it might not be appropriate to call the feature ''numvalue''.) 
   * Normalize processing of pronouns, determiners, interrogative adverbs etc. Old drivers use a different approach from the new ones (beginning with Bulgarian). Pronoun as an independent part of speech will cease to exist.   * Normalize processing of pronouns, determiners, interrogative adverbs etc. Old drivers use a different approach from the new ones (beginning with Bulgarian). Pronoun as an independent part of speech will cease to exist.
     * Remove ''pos="pron"''. Distribute pronouns to nouns, adjectives and adverbs. When encoding into a tagset that distinguishes pronouns, detect pronouns by non-empty ''prontype''. Remove subposes of pronouns (''pers'', ''clit''...)     * Remove ''pos="pron"''. Distribute pronouns to nouns, adjectives and adverbs. When encoding into a tagset that distinguishes pronouns, detect pronouns by non-empty ''prontype''. Remove subposes of pronouns (''pers'', ''clit''...)

[ Back to the navigation ] [ Back to the content ]