====== HamleDT 2.0 TO DO ======

22.4.2014: DZ: Prošel jsem všech 30 jazyků a dal jsem jejich pražskou normalizaci alespoň částečně do pořádku. Částečně znamená, že jsem vynuloval testy na AfunNotNR, FinalPunctuation a vše kolem nekonzistentních koordinací. Samozřejmě by to chtělo dál pracovat na Auxech, interpunkci a zbytečných neprojektivitách, ale to už se v této verzi nedá zvládnout. Máme tu další související úkoly a přinejmenším některé z nich mají podle mě teď vyšší prioritu:

**Verze 2.0 by měla být hotová a zakonzervovaná nejpozději v pátek 23.5.2014!** V pondělí 26. začíná LREC na Islandu, kde bude Ruda tuto verzi prezentovat.

  * <del>Přegenerovat Stanfordí část HamleDTa.</del>
  * <del>Do archivu ''/net/projects/tectomt_shared/data/archive/hamledt/2.0_2014-05-24_treex-r12700'' zmrazit všechny podstatné soubory této verze:</del>
    * <del>Původní, pražská i stanfordská anotace</del>
    * <del>Formáty Treex i CoNLL, pro stanfordskou anotaci navíc stanfordský formát. Každý soubor jednotlivě zagzipovat (v pracovní složce tohle zatím nemáme u stanfordských stromů)</del>
    * <del>Aktuální výsledky testů pražské anotace (''make table > tests.txt'')</del>
    * <del>Otestovat alespoň, že máme pro každý jazyk stejnou sadu souborů za každý typ/formát.</del>
    * <del>V archivní složce rekurzivně odebrat právo zápisu.</del>
  * <del>Připravit aktuální soubor s licencí, odkazy na původní treebanky jakož i na web HamleDTa: ''README.txt''.</del>
  * <del>Vygenerovat HamleDT 2.0 free do ''/net/projects/tectomt_shared/hamledt/2.0'':</del>
    * <del>Pro 13 volných jazyků (ar, cs, da, et, fa, fi, grc, la, nl, pt, ro, sv, ta) zkopírovat všechny soubory, které jsme dali do archivu.</del>
    * <del>Pro zbývající jazyky pouze CoNLL patche (pražská i stanfordská anotace).</del>
    * <del>Opět otestovat alespoň počty a názvy souborů pro jednotlivé jazyky a datové formáty.</del>
    * <del>Místo souboru s testy vložit ''README.txt'' s licencí a odkazy (viz výše).</del>
    * <del>Rekurzivně odebrat právo zápisu.</del>
    * <del>Celé to zabalit do jednoho balíku ''hamledt-2.0-free.tar''.</del>
  * <del>Vydat HamleDT 2.0 free v Lindatu.</del>
  * <del>Aktualizovat [[http://ufal.mff.cuni.cz/hamledt|web HamleDT]]</del>
    * <del>Podrobně popsat, jaké korpusy a jazyky současná verze obsahuje</del>
    * <del>Podrobně popsat, "How to Get It"</del>
      * <del>Skupina treebanků "Free", které šíříme přímo my</del>
      * <del>Skupina treebanků "Easy", kde můžeme snadno odkázat na web, kde uživatel treebank získá</del>
      * <del>Skupina treebanků "Rest" (musí se někomu napsat a o data ho požádat, případně si je objednat za peníze)</del>
      * <del>Odkaz na návod na instalaci Treexu</del>
      * <del>Návod k použití patchů</del>
    * <del>Výrazná sekce What's New: HamleDT 2.0 / Stanford nebo tak něco</del>
      * <del>Nový jazyk (slovenština); kromě toho estonština byla přeřazena do skupiny Free.</del>
      * <del>Nová data (čeština, hindština, doufejme arabština, pak taky asi angličtina (původně jsme psali o 2009?). Porovnat s prvním článkem!)</del>
      * <del>Stanfordské transformace</del>
      * <del>Numerous bugfixes</del>
    * <del>Ve spolupráci s Honzou Ptáčkem vyrobit i grafickou upoutávku na titulní stranu</del>
    * <del>Zkontrolovat a aktualizovat upoutávku na http://ufal.mff.cuni.cz/projects/corpora</del>
  * <del>Inzerovat HamleDT 2.0 v corpora@uib.no!</del>
  * <del>Inzerovat na ufal-l (tam včetně místní cesty k neveřejným datům)</del>
  * <del>Upozornit stávající uživatele HamleDTa na novou verzi</del>
  * <del>Inzerovat na facebookové stránce ÚFALu</del>
  * <del>Přidat odkazy na HamleDT na všechna relevantní místa (zejména ke všem jazykům) do ACL Wiki</del>

Nové po vydání HamleDTa 2.0:

  * Dodělat normalizaci chorvatštiny (SETimes.HR) pro verzi 2.1.
  * Vyměnit maďarská data za nový Szeged Treebank a přeřadit maďarštinu do námi šiřitelné části (ostatní ji nemohou šířit dál, čili to je nový druh šíření) pro verzi 2.1.
  * Prokopis Prokopidis má zřejmě nějakou novější verzi řeckého treebanku v PML. Zkusit ji od něj získat včetně práva distribuce. Případně mu nabídnout ten reader a writer do Treexu jako protihodnotu.

Odloženo na dobu po vydání HamleDTa 2.0:

  * Po LRECu 2014 doplnit referenci na nový článek a na webu z něj udělat ten hlavní "how to cite".
    * <del>K odkazům na články dodat také odkazy na PDF a BibTeX.</del>
    * <del>Hodila by se i podrobnější dokumentace obsahu treebanků a harmonizačního procesu. Pokud to nestihneme, tak alespoň tabulka afunů s vysvětlivky (v podstatě už ji máme v islandském článku)</del>
    * Dan musí dodělat v Bibliu značkování publikací, aby bylo možné na stránky HamleDTa vygenerovat seznam všech publikací, které se HamleDTa týkají
  * Dotáhnout parsing HamleDTa 2.0 a popsat jeho výsledky na webu.
    * Přidat parsing stanfordské mutace.
  * Vymyslet lepší hierarchii složek na disku?
  * Přidat HamleDT do (aktualizovat v) PML-TQ. Dořešit přístup pro nepřihlášené vs. přihlášené uživatele. Odkázat na to ze stránek HamleDTa.
  * Zavést verzování dat, dotáhnout pravidelné automatické regresní testování (cron-diff, Dan má zatím první nástřel)
    * Zařídit posílání e-mailů a automatické mazání výstupů, ve kterých nebyl zjištěn žádný rozdíl. Jinak se rychle zaplní disk, každou noc tam přibude několik gigabajtů.
  * Rozšířit systém testů, aby pokrýval i stanfordskou mutaci HamleDTa.
  * Zlepšit podporu práci s CoNLL patchi. Dodat skript, který to slepí s původními daty a případně nějak pomůže u treebanků, u kterých není jasné, jak se jmenují a jak jsou uspořádané soubory, ve kterých uživatel dostal originální verzi.
  * Vymyslet způsob, jak by se obsah webu zrcadlil v SVN, kde máme treexový kód pro HamleDTa
  * Do jazyků s cizími písmy doplnit transliteraci.
    * Pro některou z příštích verzí zvažujeme přidat automatický a zarovnaný překlad od Googlu, tak bychom transliteraci mohli odložit na stejný okamžik.
  * Vytvořit webovou službu (např. scénář v rámci Treex::Web), s jejíž pomocí si uživatel bude moci normalizovat nebo transformovat svoje data, aniž by si musel nainstalovat Treex u sebe. Podmínit to nějakým souhlasem, že smíme zpracovat jeho data.
  * Nahradit arabská data novými (Zdeněk je slíbil do začátku května)
    * Aktualizace 19. května: Zdeněk to nestihne. Znamená to, že v 99 % vět je alespoň jeden uzel, který nemá vyplněné lemma nebo značku nebo obojí. Nemám spočítané přímo procento všech uzlů, ale bude taky velmi vysoké. Rozhodně to není tak, že by v každé větě byl jen jeden uzel vadný.
    * Bohužel teď nemáme moc možností, co s tím. Stará data z CoNLL 2007 byla mizerná, protože tam chyběly hodnoty is_member. K nim se vracet nechci. S novými daty nedokážu ve zbývajícím čase nic pořádného udělat, to bude urgentní TODO po vydání HamleDTa 2.0. Vynechat arabštinu taky nechci, je to jeden z těch volných jazyků a v článku jsme ho slíbili. Takže to prostě vydáme v tom stavu, ve kterém to je, nedá se nic dělat.
    * Konečné rozhodnutí pro HamleDT 2.0: vrátil jsem se k PADT r349, z ní jsem do HamleDTa zařadil jen ty věty, ve kterých všechny uzly měly vyplněný afun. Pro další verze HamleDTa musíme nejdříve dotáhnout do přijatelného stavu samotné PADT.