[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
Next revision Both sides next revision
user:zeman:treebanks [2011/11/02 09:53]
zeman PSČ.
user:zeman:treebanks [2014/05/22 15:32]
zeman Odkaz na web HamleDT.
Line 1: Line 1:
-====== Treebanks for Various Languages ======+====== HamleDT 2.0 TO DO ======
  
-===== Arabic (ar) =====+22.4.2014: DZ: Prošel jsem všech 30 jazyků a dal jsem jejich pražskou normalizaci alespoň částečně do pořádku. Částečně znamená, že jsem vynuloval testy na AfunNotNR, FinalPunctuation a vše kolem nekonzistentních koordinací. Samozřejmě by to chtělo dál pracovat na Auxech, interpunkci a zbytečných neprojektivitách, ale to už se v této verzi nedá zvládnout. Máme tu další související úkoly a přinejmenším některé z nich mají podle mě teď vyšší prioritu:
  
-Prague Arabic Dependency Treebank (PADT)+**Verze 2.0 by měla být hotová a zakonzervovaná nejpozději v pátek 23.5.2014!** V pondělí 26. začíná LREC na Islandu, kde bude Ruda tuto verzi prezentovat.
  
-==== Versions ====+  * Nahradit arabská data novými (Zdeněk je slíbil do začátku května) 
 +    * Aktualizace 19. května: Zdeněk to nestihne. Znamená to, že v 99 % vět je alespoň jeden uzel, který nemá vyplněné lemma nebo značku nebo obojí. Nemám spočítané přímo procento všech uzlů, ale bude taky velmi vysoké. Rozhodně to není tak, že by v každé větě byl jen jeden uzel vadný. 
 +    * Bohužel teď nemáme moc možností, co s tím. Stará data z CoNLL 2007 byla mizerná, protože tam chyběly hodnoty is_member. K nim se vracet nechci. S novými daty nedokážu ve zbývajícím čase nic pořádného udělat, to bude urgentní TODO po vydání HamleDTa 2.0. Vynechat arabštinu taky nechci, je to jeden z těch volných jazyků a v článku jsme ho slíbili. Takže to prostě vydáme v tom stavu, ve kterém to je, nedá se nic dělat. 
 +  * Přegenerovat Stanfordí část HamleDTa, případně ji nějak otestovat (Ruda a Honza?) 
 +    * Vymyslet lepší hierarchii složek na disku? 
 +  * Přegenerovat HamleDT 2.0 free: 
 +    * Původní, pražská i stanfordská anotace 
 +    * Formáty Treex i CoNLL, pro stanfordskou anotaci navíc stanfordský formát 
 +  * Vyrobit patche pro non-Free treebanky, tj. CoNLL soubory s vyplněnými zadními sloupci plus jednoduchý skript, který to slepí s původními daty a cestou zkontroluje, že ta původní data vypadají důvěryhodně 
 +  * Po všech testech zmrazit verzi 2.0 (archiv na disku) a vydat ji v Lindatu (buď všechny jazyky, přičemž pro non-free tam budou pouze patche, nebo free a non-free zvlášť). Prolinkovat web Lindatu s webem HamleDTa 
 +  * Aktualizovat [[http://ufal.mff.cuni.cz/hamledt|web HamleDT]] 
 +    * <del>Podrobně popsat, jaké korpusy a jazyky současná verze obsahuje</del> 
 +    * Podrobně popsat, "How to Get It" 
 +      * <del>Skupina treebanků "Free", které šíříme přímo my</del> 
 +      * <del>Skupina treebanků "Easy", kde můžeme snadno odkázat na web, kde uživatel treebank získá</del> 
 +      * <del>Skupina treebanků "Rest" (musí se někomu napsat a o data ho požádat, případně si je objednat za peníze)</del> 
 +      * Návod k použití patchů 
 +      * <del>Odkaz na návod na instalaci Treexu</del> 
 +    * Přidat reference na naše články a jasně říct, "How to cite HamleDT" (asi chceme, aby lidi citovali nejen LINDAT, ale i naše články, takže bychom měli říct, který preferujeme) 
 +      * Hodila by se i podrobnější dokumentace obsahu treebanků a harmonizačního procesu. Pokud to nestihneme, tak alespoň tabulka afunů s vysvětlivky (v podstatě už ji máme v islandském článku) 
 +      * Dan musí dodělat v Bibliu značkování publikací, aby bylo možné na stránky HamleDTa vygenerovat seznam všech publikací, které se HamleDTa týkají 
 +    * <del>Výrazná sekce What's New: HamleDT 2.0 / Stanford nebo tak něco</del> 
 +      * <del>Nový jazyk (slovenština); kromě toho estonština byla přeřazena do skupiny Free.</del> 
 +      * <del>Nová data (čeština, hindština, doufejme arabština, pak taky asi angličtina (původně jsme psali o 2009?). Porovnat s prvním článkem!)</del> 
 +      * <del>Stanfordské transformace</del> 
 +      * <del>Numerous bugfixes</del> 
 +    * Ve spolupráci s Honzou Ptáčkem vyrobit i grafickou upoutávku na titulní stranu 
 +  * Nezapomenout inzerovat HamleDT 2.0 v corpora@uib.no! 
 +  * Přidat odkazy na HamleDT na všechna relevantní místa (zejména ke všem jazykům) do ACL Wiki
  
-  * Original PADT 1.0 as distributed by the LDC +Odloženo do příští verze HamleDTa:
-  * CoNLL 2006 +
-  * CoNLL 2007+
  
-The CoNLL 2007 version reportedly improves over CoNLL 2006 in quality of morphological annotation.+  * Vymyslet způsob, jak by se obsah webu zrcadlil v SVN, kde máme treexový kód pro HamleDTa 
 +  * Do jazyků s cizími písmy doplnit transliteraci. 
 +    * Pro některou z příštích verzí zvažujeme přidat automatický a zarovnaný překlad od Googlu, tak bychom transliteraci mohli odložit na stejný okamžik. 
 +  * Přidat HamleDT do (aktualizovat v) PML-TQ. Dořešit přístup pro nepřihlášené vs. přihlášené uživatele. Odkázat na to ze stránek HamleDTa. 
 +  * Zavést verzování dat, dotáhnout pravidelné automatické regresní testování (cron-diff, Dan má zatím první nástřel) 
 +  * Vytvořit webovou službu (např. scénář v rámci Treex::Web), s jejíž pomocí si uživatel bude moci normalizovat nebo transformovat svoje data, aniž by si musel nainstalovat Treex u sebe. Podmínit to nějakým souhlasem, že smíme zpracovat jeho data.
  
-==== Obtaining and License ==== +====== Treebanks for Various Languages ======
- +
-The original PADT 1.0 is distributed by the LDC under the catalogue number [[http://www.ldc.upenn.edu/Catalog/CatalogEntry.jsp?catalogId=LDC2004T23|LDC2004T23]]. It is free for LDC members 2004, price for non-members is unknown (contact LDC). The [[http://ufal.mff.cuni.cz/corp-lic/padt10-ord.html|license]] in short: +
- +
-  * non-commercial research usage +
-  * no redistribution +
-  * cite [[http://ufal.mff.cuni.cz/padt/PADT_1.0/#refs|one publication]] in publications; also include: "The PADT 1.0 has been developed by the Institute of Formal and Applied Linguistics and the Center for Computational Linguistics (see http://ufal.mff.cuni.cz/)." +
- +
-The CoNLL 2006 and 2007 versions are obtainable upon request under similar license terms. Their publication in the LDC together with the other CoNLL treebanks is being prepared. +
- +
-PADT was created by members of the [[http://ufal.mff.cuni.cz/|Institute of Formal and Applied Linguistics]] (Ústav formální a aplikované lingvistiky, ÚFAL), Faculty of Mathematics and Physics (Matematicko-fyzikální fakulta), Charles University in Prague (Univerzita Karlova v&nbsp;Praze), Malostranské náměstí 25, Praha, CZ-11800, Czechia. +
- +
-==== Domain ====+
  
-Newswire text from press agencies (Agence France Presse, Ummah, Al Hayat, An Nahar, Xinhua 2001-2003).+http://ufal.mff.cuni.cz/hamledt/
  
-==== Size ====+  * [[user:zeman:treebanks:grc|Ancient Greek (grc)]] 
 +  * [[user:zeman:treebanks:ar|Arabic (ar)]] 
 +  * [[user:zeman:treebanks:eu|Basque (eu)]] 
 +  * [[user:zeman:treebanks:bn|Bengali (bn)]] 
 +  * [[user:zeman:treebanks:bg|Bulgarian (bg)]] 
 +  * [[user:zeman:treebanks:ca|Catalan (ca)]] 
 +  * [[user:zeman:treebanks:cs|Czech (cs)]] 
 +  * [[user:zeman:treebanks:da|Danish (da)]] 
 +  * [[user:zeman:treebanks:nl|Dutch (nl)]] 
 +  * [[user:zeman:treebanks:en|English (en)]] 
 +  * [[user:zeman:treebanks:et|Estonian (et)]] 
 +  * [[user:zeman:treebanks:fi|Finnish (fi)]] 
 +  * [[user:zeman:treebanks:de|German (de)]] 
 +  * [[user:zeman:treebanks:el|Greek (el)]] 
 +  * [[user:zeman:treebanks:hi|Hindi (hi)]] 
 +  * [[user:zeman:treebanks:hu|Hungarian (hu)]] 
 +  * [[user:zeman:treebanks:it|Italian (it)]] 
 +  * [[user:zeman:treebanks:ja|Japanese (ja)]] 
 +  * [[user:zeman:treebanks:la|Latin (la)]] 
 +  * [[user:zeman:treebanks:fa|Persian (fa)]] 
 +  * [[user:zeman:treebanks:pt|Portuguese (pt)]] 
 +  * [[user:zeman:treebanks:ro|Romanian (ro)]] 
 +  * [[user:zeman:treebanks:ru|Russian (ru)]] 
 +  * [[user:zeman:treebanks:sk|Slovak (sk)]] 
 +  * [[user:zeman:treebanks:sl|Slovene (sl)]] 
 +  * [[user:zeman:treebanks:es|Spanish (es)]] 
 +  * [[user:zeman:treebanks:sv|Swedish (sv)]] 
 +  * [[user:zeman:treebanks:ta|Tamil (ta)]] 
 +  * [[user:zeman:treebanks:te|Telugu (te)]] 
 +  * [[user:zeman:treebanks:tr|Turkish (tr)]]
  
-According to their website, the original PADT 1.0 contains 113,500 tokens annotated analytically. The CoNLL 2006 version contains 59752 tokens in 1606 sentences, yielding 37.21 tokens per sentence on average (CoNLL 2006 data split: 54379 tokens / 1460 sentences training, 5373 tokens / 146 sentences test). The CoNLL 2007 version contains 116,793 tokens in 3043 sentences, yielding 38.38 tokens per sentence on average (CoNLL 2007 data split: 111,669 tokens / 2912 sentences training, 5124 tokens / 131 sentences test).+===== To Process =====
  
-==== References ====+Ahoj, 
 +stáhl jsem nový španělský závislostní korpus IULA (větší než AnCora) 
 +/net/projects/tectomt_shared/data/resources/treebanks/es
  
-  * Website +License:  CC BY 3.0 (Unported) 
-    http://ufal.mff.cuni.cz/padt+Web:      http://www.iula.upf.edu/recurs01_tbk_uk.htm 
-  * Data +Doc:      http://www.iula.upf.edu/recurs01_conll_uk.htm 
-    * Jan Hajič, Otakar Smrž, Petr Zemánek, Petr Pajas, Jan Šnaidauf, Emanuel Beška, Jakub Kráčmar, Kamila Hassanová: //Prague Arabic Dependency Treebank 1.0// (LDC2004T23)Linguistic Data Consortium, Philadelphia, USA, 2004ISBN 1-58563-319-4+Download: http://repositori.upf.edu/handle/10230/20048 
-  * Principal publications +Parsing:  http://www.taln.upf.edu/system/files/biblio_files/ijcnlp_final_padro_et_al_2013.pdf 
-    * Jan Hajič, Otakar Smrž, Petr Zemánek, Jan Šnaidauf, Emanuel Beška[[http://ufal.mff.cuni.cz/padt/PADT_1.0/docs/papers/2004-nemlar-padt.pdf|Prague Arabic Dependency Treebank: Development in Data and Tools]]In: //Proceedings of the NEMLAR International Conference on Arabic Language Resources and Tools//, pages 110-117CairoEgypt, 2004.+          state-of-the-art LAS score is 94.7 using Mate-C 
 +sentences  42,000 
 +tokens    590,000
  
-==== TO DO ====+The sentences have been choosed from the IULA LSP corpus, automatically annotated with POS information and manually annotated with syntactical information using the DELPH-IN environment. The resulting syntactic analysis is automatically converted to dependencies and delivered using the CONLL format.
  
-  * Documentation of m-tags, s-tags etc., tokenization issues, vocalization, Buckwalter transliteration, link to Elixir +Martin
-  * Sample sentence, statistics of nonprojectivity etc. +
-  * Known published parsing accuracies, especially CoNLL 2006 and 2007 +
-  * Missing is_member attribute in CoNLL versions+

[ Back to the navigation ] [ Back to the content ]