[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

This is an old revision of the document!


Table of Contents

Cesky akademicky korpus 2.0

  1. publikovani
    • u LDC
  2. CD ROM
    • bonus-tracks/
      • STYX/
      • TrEdVoice/
    • data/
      • format: PML (CSTS?)
      • zahrnout puvodni anotace?
    • tutorials/
    • tools/
      • Bonito/
      • LAW/
      • TrEd/
      • Netgraph/
      • tool_chain/
        • tokenizer/
        • morphology/
        • tagger/
        • parser/
        • tool_chain - tATP
          • -t … tokenizer
          • -A … morfologicka analyza
          • -T … tagging
          • -AT … morf. analyza a nasledne tagging
          • -P … parsing
          • -tATP - run it all
  3. Pruvodce
    • cesky, nasledne anglicky preklad
      1. Predmluva (BH, predmluva.xml)
      2. Uvod (BH, uvod.xml))
        1. Projekt Ceskeho akademickeho korpusu
        2. Co je Cesky akademicky korpus 2.0
        3. Zdroje textu
        4. Roviny anotace
        5. Kvantitativni udaje
      3. CD-ROM Cesky akademicky korpus 2.0
        1. Adresarova struktura (BH, adresar.xml)
        2. Data (Jirka M., data.xml)
          1. Format dat
          2. Konvence pojmenovani souboru
          3. Velikost dat
        3. Nastroje
          1. Bonito (Jarka, nastroje-bonito.xml)
          2. LAW (Jirka H., nastroje-law.xml)
          3. TrEd (XY, nastroje-tred.xml)
          4. Netgraph (Jirka M., nastroje-netgraph.xml)
          5. Automaticke zpracovani textu (BH, KR o parseru, nastroje-zprac.xml)
        4. Bonusovy material (bonus.xml)
        5. Tutorialy (BH, tutorialy.xml)
      4. Instalace (BH, instalace.xml)
      5. Osobnosti v projektu (BH, osobnosti.xml)
      6. Podekovani (BH, podekovani.xml)
      7. Literatura (BH, literatura.xml)
      8. Priloha A Zdroje textu (BH, zdroje.xml)
      9. Priloha B Pavucina (BH, pavucina.xml)
      10. Priloha C Popis lemmat (BH, lemmata.xml)
      11. Priloha D Popis morfologickych znacek (BH, znacky.xml)
      12. Priloha E Popis analytickych funkci (BH, funkce.xml)
  4. Design
    • CD, plakat, web

KDO-CO-JAK

Pokud jste se zatoulali na tuto stranku a nasli zde prekvapive (bez predchoziho varovani) svoje jmeno, tak mate pravdu;-) Vezte, ze budete varovani velmi brzo!!

Ondrej Bojar

Jarka Hlavacova

  1. Na cd-rom CAC 2.0 by mela byt 'nova' morfologie, ktera uz nepotrebuje 2GB mista.
  2. Tak jak je mozne prohlizet i anal. fce PDT, tak to bude mozne i pro CAC. Volani morfologie z Bonito zustane zachovano.

Emil Jerabek
Michal Kebrt

Oldrich Kruza

  1. Postup stejny jako pro CAC 1.0, tj. az budou data nachystana k publikaci, tak je nalit do Bonito.

Ondrej Kucera

Pavel Kveton

Jirka Mirovsky

Pavel Pecina

11.4.2007 Pavel pise:
Ano, tokenizer muzete pouzit.

Jeho kod je zde: /net/projects/textseg

A dokumentace tady: https://wiki.ufal.ms.mff.cuni.cz/internal:textseg

Pavel Ceska uz na nem nepracuje, ale nic v nem neni zadratovano tak, aby
to neslo rychle a dobre upravit. Porad planujeme pizzovy seminar, na
kterem by se to mohlo vsechno jeste probrat a pripadne upravit. Takze,
nez budete chtit nejakou finalni verzi, tak nam jeste dejte vedet.

Kiril Ribarov

  1. S jakym formatem dat MST pracuje? Umi PML.
  2. MST parser natrenovat na jakych datech - kompletni syntakticky anotovana data z PDT 2.0?

Michal Sotkovsky

Honza Votrubec

  1. bude umet cist z a zapisovat do PML?
    1. > ano, bude
  2. Tagger natrenovat na jakych datech - kompletni morfologicky anotovana data z PDT 2.0?
    1. > nic jiného k trénování vhodného asi ani nemáme - ale PDT je v některých věcech nekompatibilní s CAK (např. číslovky)

KALENDAR

18.6. v 8:30 probehla schuzka o praci na datech; PRITOMNI: Alla Bemova, Veronika Curdova (anotatorka), Jan Hajic, Barbora Hladka, Jiri Mirovsky, Kiril Ribarov, Zdenka Uresova, Lenka Zehrova (anotatorka)

Udaje psane kurzivou signalizuji splneni.

|
2007 ^ duben ^ kveten ^ cerven ^cervenec ^srpen ^zari ^rijen ^listopad ^ prosinec ^
^ Bara |zahajit komunikaci s LDC (spolu s Honzou H.)|-|do 20. cervna odevzdat 'naplnene' xml soubory;
18.6. 8:30 schuzka o datech|1. verze Pruvodce|-|-|-|-|-|
^ |do 17.4. pripravit osnovu Pruvodce - viz cast CO bod 3|-|-|-|-|-|-|-|-|
^ |24.4. oslovit ty, kteri budou psat casti Pruvodce|-|-|-|-|-|-|-|-|
^ Jirka H. |-|-|do 20. cervna odevzdat 'naplneny' xml soubor|-|-|dodat df verzi LAW pro cd|dodat tutorial k LAW|-|-|
^ Jarka |-|-|do 20. cervna odevzdat 'naplnene' xml soubory|-|-|dodat df verzi morf. anal. pro cd|dodat tutorial k Bonito|-|-|
^ Jirka M. |kontrola morf. anotaci|-|do 20. cervna odevzdat 'naplnene' xml soubory; seznamit se s kontrolnimi PDT 2.0 skripty;
18.6. 8:30 schuzka o datech|-|-|-|dodat tutorial k Netgraphuy|-|-|
^ Kiril |prubezne priprava dat pro anotatory|vymyslet strategii pro porovnani souboru od anotatoru|makra do TrEd;
18.6. 8:30 schuzka o datech|-|-|dodat df verzi parseru pro cd|-|-|-|
^ Honza V. |do 23.4. pripravit xml soubory pro jednotlive casti Pruvodce|-|-|1. verze Pruvodce|-|dodat df verzi taggeru pro cd|-|-|-|
^ Pavel Q. |-|-|-|-|-|dodat morfologii pro Bonito|-|-|-|
^ Ondra B. |-|-|-|-|-|-|-|1. verze instalatoru|-|
^ Michal K. |-|-|-|-|-|-|morph-parse-chain|-|-|
^ Michal S. |-|-|dodat designove podklady|-|-|-|-|-|-|
^ Ondrej K. |-|-|-|-|-|dodat df verzi STYX pro cd|dodat tutorial k STYX|-|-|

====== POKYNY ======

===== Pruvodce =====

Vsechny potrebne soubory jsou ~/votrubec/cac-guide. Protoze nektere odstavce budou totozne s odstavci z Pruvodce CAK 1.0, realizujte 'cut'n paste' ze souboru z adresare cac1/.


cac1/ - finalni verze CAC 1.0
upload/ - oblibeny adresar pro zapis zmenenych souboru
pdf/ - aktualni pdf verze


===== Dokumentace k nastrojum =====

Adresar nastroje bude mit nasledujici strukturu
* docs/ # uzivatelska dokumentace, instalacni pokyny - cesky I anglicky
* README_{CZ|EN}.txt # cesky a anglicky 'hruba' dokumentace
* instalacni balicek/balicky

Viz napr. /net/projects/REST/data/CAC/cac10/tools/LAW

===== Tutorialy =====

K nastrojum s grafickym rozhranim, tedy
* Bonito
* LAW
* TrEd
* Netgraph
* Styx
* BB FlashBack Express - viz demo_1
* Wink software - viz demo_2

Pro demo_1 k STYX jsem pouzila BB FlashBack Express, ktery bylo mozne ziskat zdarma. K tomu, aby se primo do tutorialu daly vkladat poznamky, tak bude potreba koupit BB FlashBack. Pak jsem nasla program Wink, ktery existuje jak pod Win, tak pod Linux - coz je pro nas dulezite. Vyzkousela jsem a vzniklo demo_2. Podivejte se na ne, prosim.

Smysluplnost tutorialu ODSOUHLASENA. (Jeste vas prosim o nazor, jestli vidite takoveto tutorialy smysluplne, tedy smysluplne na to, abychom je dali na cd CAC 2.0. Ja si myslim, ze to smysl ma. )

V Pruvodci CAC 2.0 bude rovnez odkaz na PDT tutorial z lonskeho listopadu

====== PRACE NA DATECH ======
* 18.6. 8:30 schuzka o datech; výsledek schůzky:
* Vytvoření adresářové struktury v /net/projects/REST/data/CAC/work_CAC20/data s dále uvedenými podadresáři.
* Data budou uložena a zpracována takto, v závorce jsou lidé zodpovědní za obsah adresáře:
* 00_actual - aktuální data celého korpusu (Jiří Mírovský)
*     odtud bude brát Kiril data a rozdělovat práci anotátorkám
* 01_annotations - anotace souborů jednotlivými anotátorkami (Kiril Ribarov)
*     odtud si bude Jirka brát data a pustí na ně první sadu “100%” automatických kontrol
* 02_auto_check_A - první fáze automatických kontrol (Jiří Mírovský)
*     data odtud si vezme Kiril a provede porovnání a slití dvou verzí do jedné
* 03_comparison - porovnání a slití souborů do jedné verze
*     takto slitá data dá Kiril paní Bémové ke kontrole
* 04_manual_check_1 - ruční kontrola a oprava nesrovnalostí dvou anotací, případně výstupu skriptů (Kiril Ribarov)
*     na ručně prošlá data se pustí další, již méně spolehlivé skripty, které jen upozorňují na podezřelá místa
* 05_auto_check_B - druhá fáze automatických kontrol (Jiří Mírovský)
*     podezřelá místa pak znovu zkontroluje paní Bémová, když bude tak hodná
* 06_manual_check_2 - ruční kontrola a oprava podezřelých míst, na která upozornily skripty (Kiril Ribarov)
*     odtud již vychází hotová analytická rovina; morfologická rovina a slovní měly zůstat beze změny, kromě atributu guessed_form na morfologické rovině, kam anotátorky mohly něco doplnit; kontrolu, že se nic nezměnilo, a slití guessed_form do aktuálního morfologického souboru provede Jirka
* 07_finished - tady budou hotová data, tedy ta část korpusu, která je již hotová; hotová data se budou kopírovat rovněž do adresáře 00_actual, aby se odtud v případě potřeby mohla brát (Jiří Mírovský, Kiril Ribarov)

* Polo-automaticka kontrola morfologickych anotaci 'sama proti sobe'
* Jirka Mirovsky
* na kontrolach m-souboru pracuje lokalne u sebe
* Polo-automaticka kontrola morfologickych anotaci vzhledem k syntaktickym anotacim
* Jirka Mirovsky
* brat a-soubory z adresare net/projects/rest/data/CAC/atrees/MST2/odAlly (popis viz nize)
* k 3/6 umisteny souborty s11-s16
* Priprava dat k dvojite rucni syntakticke anotaci
* Kiril - zpracovani dat MST parserem
* podpora v TrEdu pro snadnejsi anotaci: pro anotovani PDT 1.0 byla v TrEd nabizena makra pro prijemnejsi anotaci. Tato makra byla napsana pro format fs a jeste pro koncepci PDT 1.0, ktera se v nekterych ohledech lisi od te v PDT 2.0 (napr. viz koordinace). Kdyz se v soucasne distribuci TrEd nastavi kontext Analytic, tak ten nabizi prave zminena makra. 12/6/2007
Kirile,
tady preposilam soubor PML_A_Edit.mak a k nemu prilohu od Katky. Radovan jim tato makra udelal primo do PML_A_Edit, coz neni dobre, protoze tim padem my a oni mame jiny PML_A_Edit. Je potreba to udelat “spravne” (tj.v duchu PML schemat) - nechat PML_A_Edit byt, a udelat novy (napr. pojmenovany PML_CAC_A_Edit), ktery “includuje” vsechna makra z PML_A_Edit, a ty specificka pro
anotaci CAC (vc. afunu, koordinaci apod.) prida prave do nej. Myslim, ze taky bude dobre, aby cesti anotatori a slovaci meli ted vsechno stejne - takze az to budes mit, posli to prosim zpet
Radovanovi at jim to nainstaluje. Jinak jsem dnes odpodival na nekolik dotazu ohledne 2. kola;
myslim, ze nejdulezitejsi je, abys jim poslal doplnene pokyny o tom, co smeji a nesmeji pouzivat.
Diky, Honza

* Bara - rozdeleni souboru anotatorum - viz Prehled zpracovani souboru
* Rucni kontrola syntaktickych anotaci
* data po rucni anotaci v adresari net/projects/rest/data/CAC/atrees/MST2/odAnotatoru
* Kiril - do TrEdu udelatka pro pohodlnejsi kontrolu diskrepanci
* Alla - resit diskrepance anotatoru
* data po Alline kontrole v adresari net/projects/rest/data/CAC/atrees/MST2/odAlly
* Skripty (z PDT 2.0) pro kontrolu syntaktickych anotaci
*
Jirko, mohl by ses prosim seznamit se skripty navrzenymi pro kontrolu syntaktickych anotaci PDT 2.0. Je potreba to udelat co nejdrive (samozrejme az budou nejake soubory v net/projects/rest/data/CAC/atrees/MST2/odAlly), protoze pokud by se zjistilo, ze je nutno neco doimplementovat, tak aby na to byl cas. Dulezite poznamky uvadej zde.**


[ Back to the navigation ] [ Back to the content ]