Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:interset:to-do [2007/10/01 17:11] zeman |
user:zeman:interset:to-do [2014/06/16 21:52] zeman Changes. |
||
---|---|---|---|
Line 1: | Line 1: | ||
====== To do ====== | ====== To do ====== | ||
- | ===== Infrastructure | + | ===== Interset 2.0 ===== |
- | ==== Strict encoding ==== | + | Interset is being completely rewritten using Moose, the object-oriented extension to Perl 5. In the end it will be published on CPAN as '' |
- | The encoder should be able to work in two modes: | + | * Projít ''### |
- | * Preserving as much information as possible, even if the resulting tag is a new (unexpected | + | * Nemohli bychom zrušit rys synpos? |
- | * Strictly keeping the original set of possible tags, by forcing selected features to compatible values. This should be default, if available. | + | * Co s číslovkami? |
+ | * Zjistit, zda by se soubor Changes nemohl jmenovat Changes.txt (jde o to, aby ho nadále našel plugin do Distzilly NextRelease). | ||
+ | * Dodělat dokumentaci POD tak, aby všechny funkce, které má uživatel k& | ||
+ | * Přenést všechny ovladače, které vznikly v Treexu a do SVN Intersetu se zatím nedostaly. | ||
+ | * Oprášit pravidelné kopírování wiki stránek Intersetu do repozitáře SVN (resp. Redmine). Nyní je tam zastaralá kopie. | ||
+ | * Uspořádat seminář a brainstorming pro zájemce o Interset. | ||
+ | * Do té doby prozkoumat Martinovy návrhy a udělat si na ně názor. | ||
+ | * Sepsat manuál pro nové autory ovladačů. | ||
+ | * Jak prezentovat Interset neperlovému světu? Např. tabulky pro decode(). Jde o to, aby lidé mohli Interset snadno použít i v Pythonu, Javě, C a jinde. | ||
+ | * Sem patří i Tagzplorer! | ||
- | Although this requirement has been known since the very beginning of this work, no driver so far implements strict encoding. It would almost double the work needed to write the encode() function and I have not needed the strict conversions so far. | + | ===== Infrastructure ===== |
- | The process | + | * Query feature value: a shared function detects array and if it is array, searches it for a given value. |
+ | * New test in driver-test.pl: | ||
+ | * Extend | ||
+ | * Enable checking out the latest development version directly from the Subversion repository. | ||
+ | * Create a web interface to DZ Interset. The user will be able to enter a tag from an arbitrary set (the interface will be able to recognize the set or sets) and get a detailed description | ||
- | The graph would not be constructed in full. Such a process would be too costly. Instead, every feature would be given a numeric priority, | + | ===== Features |
- | How will the strict encoding look in practice? A service function | + | * Normalize processing of pronouns, determiners, |
+ | * Remove '' | ||
+ | * Remove '' | ||
+ | * Move '' | ||
+ | * Create new value '' | ||
+ | * Create a new feature or some other means of marking | ||
+ | * Find more fine-grained classification of punctuation and symbols. Danish has punctuation proper, symbols | ||
+ | * Classification of coordinative conjunctions: | ||
+ | * Create overview of common elements that do not have their own part of speech. E.g. infinitive particles. Specifically, | ||
+ | * Create an overview of verb forms, moods and tenses in various languages, and their representation in DZ Interset. | ||
+ | * Design methodology for contracted word forms where two different parts of speech have merged in one word. Currently this is solved at different places in different ways. Examples: Czech " | ||
- | 2 druhy striktního kódování: | + | ==== Things to think about (not sure that these changes should really be made): ==== |
- | * Opravdu striktní zajistí, že na výstupu se neobjeví značka, která není na seznamu. | + | |
- | * Mírnější přístup tohle nepožaduje, | + | |
- | ==== Service functions ==== | + | * Sloučit vlastnosti '' |
+ | * Příčestí by mělo mít vlastní slovní druh. S tím, že některé sady ho řadí pod sloveso a jiné pod přídavné jméno, jsou jenom problémy. | ||
+ | * Pokud se osvědčí nové třídění zájmen, posvítit si i na číslovky. Některé přesunout k zájmenům (" | ||
+ | * Předělat binární vlastnosti na hodnoty " | ||
+ | * Přejmenovat number | ||
+ | * Zrušit '' | ||
+ | * Define new value //pluralia tantum// ('' | ||
- | * Check whether decode() sets only known features. | ||
- | * Check whether decode() sets features only to known values. | ||
- | * Unset features: | ||
- | * Return list of unset features. | ||
- | * Fill one or all unset features with default values. | ||
- | * Fill one or all unset features with arrays of all possible values. | ||
- | * Query feature value: a shared function detects array and if it is array, searches it for a given value. | ||
- | * Společná funkce: před encode(): máme-li list(), pravděpodobně umíme doplnit povinné neznámé vlastnosti na základě známých. (To nám výrazně usnadní strict encoding.) | ||
- | |||
- | ===== Features and values ===== | ||
- | |||
- | * Přejmenovat compdeg = norm na pos (pozitiv). | ||
- | * Přejmenovat number=plu na plur? | ||
- | * Sloučit vlastnosti verbform a mood. | ||
- | * Udělat z poss opět jenom subpos? | ||
- | * Přece jen přidat kategorie zájmen? Dánové mají: demonstrative, | ||
- | * Ze subpos=clit udělat samostatnou vlastnost, aby se usnadnil dotaz, zda je zájmeno osobní. | ||
- | * Udělat tu dotazovací funkci (viz výše)! Kromě technické práce s poli ještě přidat hierarchii hodnot: když se někdo ptá na " | ||
- | * Obdobně pro funkci decode() udělat servisní funkci, která nabídne hodnoty pro nevyplněné vlastnosti na základě jiných vyplněných (např. ukazovací zájmeno implikuje určitost a atributivnost). Musí se to ale pořádně promyslet - např. pokud jazyk nemá compdeg=abs, | ||
- | * Udělat přehled častých prvků, které nemají vlastní slovní druh. Např. jak se řeší částice označující infinitiv. | ||
- | * Jemněji roztřídit interpunkci. Dánové mají vlastní interpunkci, | ||
- | * Předělat binární vlastnosti na hodnoty " | ||
- | * Přejmenovat compdeg na degree. | ||
- | * Příčestí by mělo mít vlastní slovní druh. S tím, že některé sady ho řadí pod sloveso a jiné pod přídavné jméno, jsou jenom problémy. | ||
- | * Subjektform a objektform u švédských zájmen asi není samostatná vlastnost! Mělo by se to prohlásit za pády (nominativ a akuzativ)! | ||
- | * Členy a zájmena by se možná vůbec měly rozlišit jinak. Na nejvyšší úrovni by se rozlišovala substantivnost/ | ||
===== Specific drivers ===== | ===== Specific drivers ===== | ||
* cs::pdt - reimplement "type L" pronouns as collective pronouns (introduced due to Bulgarian) | * cs::pdt - reimplement "type L" pronouns as collective pronouns (introduced due to Bulgarian) | ||
- | |||
- | ===== Paper notes ===== | ||
- | |||
- | ==== Time needed for tag set conversion ==== | ||
- | |||
- | Poznámky o časové náročnosti konverze morfologických značek | ||
- | ----------------------------------------------------------- | ||
- | |||
- | Ruský treebank (nejen značky, ale vůbec převod formátu): | ||
- | 12:36 | ||
- | |||
- | Arabské značky (Otovy i Buckwalterovy, | ||
- | 4:45+1+1:40 = 7:25 | ||
- | |||
- | České značky PDT (přes 4000 značek; jádro Intersetu vzniklo jako vedlejší produkt, když jsem dělal tohle) | ||
- | asi 2 dny, tedy dejme tomu 18 hodin | ||
- | |||
- | Dánské značky DDT/Parole (144 značek s košatým popisem) | ||
- | asi 7 hodin | ||
- | |||
- | Švédské značky Mamba (48 značek) | ||
- | asi 3 hodiny | ||
- | |||
- | Penn Treebank (36 značek) | ||
- | asi 3 hodiny, ale tady jsem to ještě neměřil, takže to je jen hrubý zpětný odhad | ||
- | |||
- | Hajičovy švédské značky | ||
- | 0:32 - tady zjevně chybí úplná statistika | ||
- | |||
- | Arabské značky CoNLL | ||
- | 4: | ||
- | |||
- | České značky PDT (CoNLL verze? Nebo to jsou jen opravy, když jsem začal ovladače testovat?) | ||
- | 1: | ||
- | |||
- | Bulharské značky CoNLL | ||
- | 0: | ||
- | (ale u bulharštiny jsem se dost natrápil s jevy, které do té doby nebyly v intersetu podchycené) | ||
- | |||
- | Anglické značky CoNLL | ||
- | 0:48 - možná tady chybí statistika, ale možná taky ne, protože stačilo upravit existující ovladač Penn Treebanku, ne? | ||
- | |||
- | Žádné z výše uvedených převodů (tedy vše napsané před říjnem 2007) ještě neměly k dispozici chytré funkce pro nahrazování nepovolených hodnot. | ||