Differences
This shows you the differences between two versions of the page.
| Next revision | Previous revision Next revision Both sides next revision | ||
|
user:zeman:treebanks [2011/11/01 22:10] zeman vytvořeno |
user:zeman:treebanks [2014/05/25 22:20] zeman Text licence je připraven. |
||
|---|---|---|---|
| Line 1: | Line 1: | ||
| - | ====== | + | ====== |
| - | ===== Arabic (ar) ===== | + | 22.4.2014: DZ: Prošel jsem všech 30 jazyků a dal jsem jejich pražskou normalizaci alespoň částečně do pořádku. Částečně znamená, že jsem vynuloval testy na AfunNotNR, FinalPunctuation a vše kolem nekonzistentních koordinací. Samozřejmě by to chtělo dál pracovat na Auxech, interpunkci a zbytečných neprojektivitách, |
| - | Prague Arabic Dependency Treebank (PADT) | + | **Verze 2.0 by měla být hotová a zakonzervovaná nejpozději v pátek 23.5.2014!** V pondělí 26. začíná LREC na Islandu, kde bude Ruda tuto verzi prezentovat. |
| - | ==== Versions ==== | + | * < |
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * Vygenerovat HamleDT 2.0 free do ''/ | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * Místo souboru s testy vložit '' | ||
| + | * < | ||
| + | * Celé to zabalit do jednoho balíku '' | ||
| + | * Asi už zrušit webový přístup k této složce. Kvůli verzi 1.0 to šlo, ale teď by měli všichni chodit přes Lindat. | ||
| + | * Vydat HamleDT 2.0 free v Lindatu. | ||
| + | * Aktualizovat [[http:// | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * Ve spolupráci s Honzou Ptáčkem vyrobit i grafickou upoutávku na titulní stranu | ||
| + | * Inzerovat na facebookové stránce ÚFALu | ||
| + | * Nezapomenout inzerovat HamleDT 2.0 v corpora@uib.no a na ufal-l! | ||
| + | * Přidat odkazy na HamleDT na všechna relevantní místa (zejména ke všem jazykům) do ACL Wiki | ||
| - | * Original PADT 1.0 as distributed by the LDC | + | Odloženo na dobu po vydání HamleDTa 2.0: |
| - | * CoNLL 2006 | + | |
| - | * CoNLL 2007 | + | |
| - | The CoNLL 2007 version reportedly improves over CoNLL 2006 in quality of morphological annotation. | + | * Po LRECu 2014 doplnit referenci na nový článek a na webu z něj udělat ten hlavní "how to cite" |
| + | * K odkazům na články dodat také odkazy na PDF a BibTeX. | ||
| + | * Hodila by se i podrobnější dokumentace obsahu treebanků a harmonizačního procesu. Pokud to nestihneme, tak alespoň tabulka afunů s vysvětlivky (v podstatě už ji máme v islandském článku) | ||
| + | * Dan musí dodělat v Bibliu značkování publikací, aby bylo možné na stránky HamleDTa vygenerovat seznam všech publikací, které se HamleDTa týkají | ||
| + | * Vymyslet lepší hierarchii složek na disku? | ||
| + | * Rozšířit systém testů, aby pokrýval i stanfordskou mutaci HamleDTa. | ||
| + | * Zlepšit podporu práci s CoNLL patchi. Dodat skript, který to slepí s původními daty a případně nějak pomůže u treebanků, u kterých není jasné, jak se jmenují a jak jsou uspořádané soubory, ve kterých uživatel dostal originální verzi. | ||
| + | * Dotáhnout parsing HamleDTa 2.0 a popsat jeho výsledky na webu. | ||
| + | * Vymyslet způsob, jak by se obsah webu zrcadlil v SVN, kde máme treexový kód pro HamleDTa | ||
| + | * Do jazyků s cizími písmy doplnit transliteraci. | ||
| + | * Pro některou z příštích verzí zvažujeme přidat automatický a zarovnaný překlad od Googlu, tak bychom transliteraci mohli odložit na stejný okamžik. | ||
| + | * Přidat HamleDT do (aktualizovat v) PML-TQ. Dořešit přístup pro nepřihlášené vs. přihlášené uživatele. Odkázat na to ze stránek HamleDTa. | ||
| + | * Zavést verzování dat, dotáhnout pravidelné automatické regresní testování (cron-diff, Dan má zatím první nástřel) | ||
| + | * Zařídit posílání e-mailů a automatické mazání výstupů, ve kterých nebyl zjištěn žádný rozdíl. Jinak se rychle zaplní disk, každou noc tam přibude několik gigabajtů. | ||
| + | * Vytvořit webovou službu (např. scénář v rámci Treex:: | ||
| + | * Nahradit arabská data novými (Zdeněk je slíbil do začátku května) | ||
| + | * Aktualizace 19. května: Zdeněk to nestihne. Znamená to, že v 99 % vět je alespoň jeden uzel, který nemá vyplněné lemma nebo značku nebo obojí. Nemám spočítané přímo procento všech uzlů, ale bude taky velmi vysoké. Rozhodně to není tak, že by v každé větě byl jen jeden uzel vadný. | ||
| + | * Bohužel teď nemáme moc možností, co s tím. Stará data z CoNLL 2007 byla mizerná, protože tam chyběly hodnoty is_member. K nim se vracet nechci. S novými daty nedokážu ve zbývajícím čase nic pořádného udělat, to bude urgentní TODO po vydání HamleDTa 2.0. Vynechat arabštinu taky nechci, je to jeden z těch volných jazyků a v článku jsme ho slíbili. Takže to prostě vydáme v tom stavu, ve kterém to je, nedá se nic dělat. | ||
| + | * Konečné rozhodnutí pro HamleDT 2.0: vrátil jsem se k PADT r349, z ní jsem do HamleDTa zařadil jen ty věty, ve kterých všechny uzly měly vyplněný afun. Pro další verze HamleDTa musíme nejdříve dotáhnout do přijatelného stavu samotné PADT. | ||
| - | ==== Obtaining and License | + | ====== Treebanks for Various Languages ====== |
| - | + | ||
| - | The original PADT 1.0 is distributed by the LDC under the catalogue number [[http:// | + | |
| - | + | ||
| - | * non-commercial research usage | + | |
| - | * no redistribution | + | |
| - | * cite [[http:// | + | |
| - | The CoNLL 2006 and 2007 versions are obtainable upon request under similar license terms. Their publication in the LDC together with the other CoNLL treebanks is being prepared. | + | http://ufal.mff.cuni.cz/ |
| - | ==== Domain ==== | + | * [[user: |
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| - | Newswire text from press agencies (Agence France Presse, Ummah, Al Hayat, An Nahar, Xinhua 2001-2003). | + | ===== To Process ===== |
| - | ==== Size ==== | + | Ahoj, |
| + | stáhl jsem nový španělský závislostní korpus IULA (větší než AnCora) | ||
| + | / | ||
| - | According to their website, the original PADT 1.0 contains 113,500 tokens annotated analytically. The CoNLL 2007 version contains 116,793 tokens in 3043 sentences, yielding 38.38 tokens per sentence on average (CoNLL 2007 data split: 111,669 tokens | + | License: |
| + | Web: http://www.iula.upf.edu/ | ||
| + | Doc: http:// | ||
| + | Download: http:// | ||
| + | Parsing: | ||
| + | state-of-the-art LAS score is 94.7 using Mate-C | ||
| + | sentences | ||
| + | tokens | ||
| - | ==== TO DO ==== | + | The sentences have been choosed from the IULA LSP corpus, automatically annotated with POS information and manually annotated with syntactical information using the DELPH-IN environment. The resulting syntactic analysis is automatically converted to dependencies and delivered using the CONLL format. |
| - | * Documentation of m-tags, s-tags etc., tokenization issues, vocalization, | + | Martin |
| - | * Link to website, citation of the data (LDC), citation of the main publication | + | |
| - | * Sample sentence, statistics of nonprojectivity etc. | + | |
| - | * Known published parsing accuracies, especially CoNLL 2006 and 2007 | + | |
| - | * Missing is_member attribute in CoNLL versions | + | |