Differences
This shows you the differences between two versions of the page.
| Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
|
user:zeman:treebanks [2011/11/20 21:21] zeman Jednotlivé jazyky už musely být přesunuty na samostatné stránky. |
user:zeman:treebanks [2014/05/26 17:28] zeman Honza vyvěsil upoutávku dřív, než jsem mu o to stihl napsat :-) |
||
|---|---|---|---|
| Line 1: | Line 1: | ||
| + | ====== HamleDT 2.0 TO DO ====== | ||
| + | |||
| + | 22.4.2014: DZ: Prošel jsem všech 30 jazyků a dal jsem jejich pražskou normalizaci alespoň částečně do pořádku. Částečně znamená, že jsem vynuloval testy na AfunNotNR, FinalPunctuation a vše kolem nekonzistentních koordinací. Samozřejmě by to chtělo dál pracovat na Auxech, interpunkci a zbytečných neprojektivitách, | ||
| + | |||
| + | **Verze 2.0 by měla být hotová a zakonzervovaná nejpozději v pátek 23.5.2014!** V pondělí 26. začíná LREC na Islandu, kde bude Ruda tuto verzi prezentovat. | ||
| + | |||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * Vygenerovat HamleDT 2.0 free do ''/ | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * Asi už zrušit webový přístup k této složce. Kvůli verzi 1.0 to šlo, ale teď by měli všichni chodit přes Lindat. | ||
| + | * < | ||
| + | * Aktualizovat [[http:// | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * < | ||
| + | * Přidat odkazy na HamleDT na všechna relevantní místa (zejména ke všem jazykům) do ACL Wiki | ||
| + | |||
| + | Odloženo na dobu po vydání HamleDTa 2.0: | ||
| + | |||
| + | * Po LRECu 2014 doplnit referenci na nový článek a na webu z něj udělat ten hlavní "how to cite". | ||
| + | * K odkazům na články dodat také odkazy na PDF a BibTeX. | ||
| + | * Hodila by se i podrobnější dokumentace obsahu treebanků a harmonizačního procesu. Pokud to nestihneme, tak alespoň tabulka afunů s vysvětlivky (v podstatě už ji máme v islandském článku) | ||
| + | * Dan musí dodělat v Bibliu značkování publikací, aby bylo možné na stránky HamleDTa vygenerovat seznam všech publikací, které se HamleDTa týkají | ||
| + | * Vymyslet lepší hierarchii složek na disku? | ||
| + | * Rozšířit systém testů, aby pokrýval i stanfordskou mutaci HamleDTa. | ||
| + | * Zlepšit podporu práci s CoNLL patchi. Dodat skript, který to slepí s původními daty a případně nějak pomůže u treebanků, u kterých není jasné, jak se jmenují a jak jsou uspořádané soubory, ve kterých uživatel dostal originální verzi. | ||
| + | * Dotáhnout parsing HamleDTa 2.0 a popsat jeho výsledky na webu. | ||
| + | * Vymyslet způsob, jak by se obsah webu zrcadlil v SVN, kde máme treexový kód pro HamleDTa | ||
| + | * Do jazyků s cizími písmy doplnit transliteraci. | ||
| + | * Pro některou z příštích verzí zvažujeme přidat automatický a zarovnaný překlad od Googlu, tak bychom transliteraci mohli odložit na stejný okamžik. | ||
| + | * Přidat HamleDT do (aktualizovat v) PML-TQ. Dořešit přístup pro nepřihlášené vs. přihlášené uživatele. Odkázat na to ze stránek HamleDTa. | ||
| + | * Zavést verzování dat, dotáhnout pravidelné automatické regresní testování (cron-diff, Dan má zatím první nástřel) | ||
| + | * Zařídit posílání e-mailů a automatické mazání výstupů, ve kterých nebyl zjištěn žádný rozdíl. Jinak se rychle zaplní disk, každou noc tam přibude několik gigabajtů. | ||
| + | * Vytvořit webovou službu (např. scénář v rámci Treex:: | ||
| + | * Nahradit arabská data novými (Zdeněk je slíbil do začátku května) | ||
| + | * Aktualizace 19. května: Zdeněk to nestihne. Znamená to, že v 99 % vět je alespoň jeden uzel, který nemá vyplněné lemma nebo značku nebo obojí. Nemám spočítané přímo procento všech uzlů, ale bude taky velmi vysoké. Rozhodně to není tak, že by v každé větě byl jen jeden uzel vadný. | ||
| + | * Bohužel teď nemáme moc možností, co s tím. Stará data z CoNLL 2007 byla mizerná, protože tam chyběly hodnoty is_member. K nim se vracet nechci. S novými daty nedokážu ve zbývajícím čase nic pořádného udělat, to bude urgentní TODO po vydání HamleDTa 2.0. Vynechat arabštinu taky nechci, je to jeden z těch volných jazyků a v článku jsme ho slíbili. Takže to prostě vydáme v tom stavu, ve kterém to je, nedá se nic dělat. | ||
| + | * Konečné rozhodnutí pro HamleDT 2.0: vrátil jsem se k PADT r349, z ní jsem do HamleDTa zařadil jen ty věty, ve kterých všechny uzly měly vyplněný afun. Pro další verze HamleDTa musíme nejdříve dotáhnout do přijatelného stavu samotné PADT. | ||
| + | |||
| ====== Treebanks for Various Languages ====== | ====== Treebanks for Various Languages ====== | ||
| + | http:// | ||
| + | |||
| + | * [[user: | ||
| * [[user: | * [[user: | ||
| - | * [[user: | + | * [[user: |
| * [[user: | * [[user: | ||
| + | * [[user: | ||
| * [[user: | * [[user: | ||
| * [[user: | * [[user: | ||
| * [[user: | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| * [[user: | * [[user: | ||
| * [[user: | * [[user: | ||
| - | * [[user: | + | * [[user: |
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | |||
| + | ===== To Process ===== | ||
| + | |||
| + | Ahoj, | ||
| + | stáhl jsem nový španělský závislostní korpus IULA (větší než AnCora) | ||
| + | / | ||
| + | |||
| + | License: | ||
| + | Web: http:// | ||
| + | Doc: http:// | ||
| + | Download: http:// | ||
| + | Parsing: | ||
| + | state-of-the-art LAS score is 94.7 using Mate-C | ||
| + | sentences | ||
| + | tokens | ||
| + | |||
| + | The sentences have been choosed from the IULA LSP corpus, automatically annotated with POS information and manually annotated with syntactical information using the DELPH-IN environment. The resulting syntactic analysis is automatically converted to dependencies and delivered using the CONLL format. | ||
| + | Martin | ||