• 28/04/2008 Podivejte se prosim na anglickou verzi Pruvodce jak ve formatu html, tak i v pdf. Abych tak rekla … nemusi to byt vylozene systematicky (napr. ze si vytisknete pdf a cele ho prectete), protoze kdyz se na text podiva nekdo, kdo ho cele noci needitoval, tak jeho prvni pohled padne na nejaky nedostatek:-( Komentare posilejte Honzovi Raabovi s Cc: hladka. Ucinte tak prosim nejpozdeji ve stredu 30. 4. - opravdu uz finisujeme, na zacatku kvetna odchazi CD-ROM do LDC.
  • anglicke html
  • anglicke pdf
• 18/12/07 REKAPITULACE roku 2007, aktulizace ke dni 7. 1. 2008
  • Pruvodce CAK 2.0
    • ceska verze DOKONCENO
    • anglicka verze PRACUJE SE NA NI
  • CD-ROM
    • data PRACUJE SE NA NICH
    • nastroje
      • zrevidovat soubory README
      • Bonito - zavisi na datech
      • LAW - DOKONCENO
      • Netgraph - DOKONCENO (až na přiložená data ve formátu fs, která jsou zatím neúplná)
      • TrEd - DOKONCENO
      • tool_chain - LADI SE, otaznik u konverze pml w-soubor ↔ csts
        • do souboru README napsat verze nastroju, na jakych datech byly natrenovany, e-mailove odkazy
        • tokenizace - dokumentace?
        • morfologicka analyza - dokumentace?
        • tagger
        • parser
    • bonusy
      • STYX - DOKONCENO
      • TrEdVoice - DOKONCENO
    • tutorialy
      • Bonito - DOKONCENO - jsou tam jeste nejake otazniky - viz vyse
      • Netgraph - DOKONCENO
      • TrEdVoice - DOKONCENO
      • LAW - DOKONCENO
      • TrEd - DOKONCENO
      • STYX - DOKONCENO
• 23/11/07
  • Pruvodce CAK 2.0 (pdf, html)
    • Pruvodce je uz v takove fazi, ze je vhodne, abyste si ho precetli
    • Prosim o korektury - korektury zaneste do vytisteneho Pruvodce. Byla bych moc rada, kdybyste je stihli do patku 30. listopadu t.r. (prijdu si pro ne:-))Nektere obrazky z pdf vypadly, podivejte se na ne v html (diky).
  • Prosim o komentar k demosnimkum, ktere najdete v /net/projects/rest/CAC/cac20/tutorials (jeste chybi demosnimek k TrEd - Petr Pajas udela; STYX - chybi df. verze STYX, LAW) Komentare prosim piste primo sem na wiki.
    • Nethraph
      • JM: libi se;-)
      • BH: moc rychly, komentare k dotazum; aktualizace JM: zpomalil jsem to o 10% a pridal komentar ke strukturnimu dotazu
    • Bonito
      • BH: moc velka obrazovka, doplnit uvod a zaver
      • JM: libi se, u frekvencni distribuce obe sipky oznaceny VPRED
    • TredVoice
      • BH: libi se mi
      • JM: libi se
    • Styx
    • TrEd
  • Prosim o testovani skriptu tool_chain (/net/projects/rest/CAC/cac20/tools/tool_chain). Komentar posilejte primo Michalovi Kebrtovi (michalek.k@seznam.cz)
• 24/9/07 v 9:00 schuzka k CAK 2.0. chodba ve 4. patre zapadniho kridla - body pgmu, ktere jsme probrali, jsem presunula na patricna mista wiki dokumentace
  • CAK 1.0
    • Rozesilani Pruvodce - Zatim jsem koupila 50 vytisku, z UFALovskeho adresare jsem vzala ty adresy, ktere u sebe maji alespon jeden z priznaku PDT0, PDT1, PCEDT, PADT a nekolik kousku jiz odeslo (cervene v prilozenem souboru vybranych adres). Pokud chcete Pruvodce nekam poslat, tak adresu doplnte do souboru (pokud tam jeste neni), zacervenejte ji a dejte mi vedet. Realizaci odeslani zajistim.
  • Pruvodce CAK 2.0
    • aktualni verze: html
      • Zatim neni nutne cist Pruvodce jako celek. Jeste udelame jedno kolo zmen/doplnku/…,
      • Podivejte se na barvy.
• 19/7/07
  • Pruvodce CAK 1.0 vysel (viz zde)
  • podepsana smlouva mezi UK MFF a LDC
  • prvni verze Pruvodce CAK 2.0 vznikla dle planu - diky! Do pulky srpna doplnim, prip. opravim co je potreba a pak se jednotlivcum zase ozvu
  • rucni anotace dat dost “boli”, nejak se mi nedari anotatory dostatecne motivovat
  • kontrolni skripty nastaveny

• u LDC
  • dohoda UK MFF ↔ LDC PODEPSANA
  • dohoda UK MFF ↔ UJC AV je schvalena LDC, jeste dat k druhemu cteni Karlovi Olivovi

Adresar /net/projects/REST/data/CAC/cac20 je nasim 'ladicim' adresarem. Az budete mit nastroje nachystane v nejake verzi (nemusi byt definitivni), tak je ulozte do spravneho adresare - abychom mohli zvolna zacit ladit.

• bonus-tracks/
  • STYX/
  • TrEdVoice/ ## Kam presne prijde TrEdVoice? K TrEd?
• data/
  • format: PML, CSTS ##
• tools/
  • Bonito/
  • LAW/
  • TrEd/ ## Filelist se seznamem 180 souboru CAK 2.0
  • Netgraph/ ## Klient i server.
  • tool_chain/
    • tokenizer/ ##
    • morphology/ ## I SLED?
    • tagger/
    • parser/ ## Mozne problemy - velikost natrenovaneho modulu, vypocetni a pametove naroky. (KR)
    • tool_chain
• tutorials/

• cesky, nasledne anglicky preklad
  1. Predmluva (BH, predmluva.xml)
  2. Uvod (BH, uvod.xml))
     1. Projekt Ceskeho akademickeho korpusu
     2. Co je Cesky akademicky korpus 2.0
     3. Zdroje textu
     4. Roviny anotace
     5. Vyvoj projektu
        1. CAK 1.0
        2. Na ceste k CAK 2.0
           • Tabulka 2.2 - upravy (ktere BH, realizace JR)
           • Doplnit popis pilotni studie (KR)
           • Jake dalsi morf. kontroly se delaly, upozornit na guessed-form. (JM)
           • Doplnit logistiku syntaktickych kontrol. (KR, JM)
     6. Kvantitativni udaje
  3. CD-ROM Cesky akademicky korpus 2.0
     1. Adresarova struktura (BH, adresar.xml)
        • Doplnit kam prijde TrEdVoice.
        • Ohlidat info o tokenizaci.
     2. Data (Jirka M., data.xml)
        1. Format dat
        2. Konvence pojmenovani souboru
        3. Velikost dat
     3. Nastroje U kazdeho nastroje uvest odkaz do kapitoly Tutorialy.
        1. Bonito (Jarka, nastroje-bonito.xml)
           • Doplnit dotazy na linearni vyhledavani ve stromove strukture.
           • Obrazek 3.3 nahradit obrazovkou se vsemi atributy CAK 2.0.
           • Tabulka 3.7 cara mezi sloupci, mezi radky.
           • Tabulku 3.7 ilustrovat - nakreslit strom a u kazdeho uzlu zobrazit hodnoty vsech atributu uvedenych v tabulce a doplnit nejaky dotaz primo v Bonito.
        2. LAW (Jirka H., nastroje-law.xml)
        3. TrEd (XY, nastroje-tred.xml)
           • Doplnit (BH)
        4. Netgraph (Jirka M., nastroje-netgraph.xml)
           • Spravny spelling je Netgraph.
        5. Automaticke zpracovani textu (BH, KR o parseru, nastroje-zprac.xml)
           • Doplnit odstavec o tokenizaci, pokud tam bude.
           • Aktualizovat procenta uspesnosti u taggeru.
           • Specifikovat na jakych datech PZK 2.0 byl tagger trenovan.
           • Doplnit odstavec o parsingu (uspesnost, trenovaci data).
           • Popsat prepinace u tool_chain
     4. Bonusovy material (bonus.xml)
        • Doplnit ilustracni obrazek, neco vice k rozpoznavaci, doplnit citace. (BH)
     5. Tutorialy (BH, tutorialy.xml)
     6. Instalace (BH, instalace.xml)
     7. Distribuce a licence (BH, distribuce.xml)
  4. Osobnosti v projektu (BH, osobnosti.xml)
  5. Podekovani (BH, podekovani.xml)
  6. Literatura (BH, literatura.xml)
  7. Priloha A Zdroje textu (BH, zdroje.xml)
  8. Priloha B Popis lemmat (BH, lemmata.xml)
  9. Priloha C Popis morfologickych znacek (BH, znacky.xml)
  10. Priloha D Popis analytickych funkci (BH, funkce.xml)
  11. Priloha E Pavucina (BH, pavucina.xml)

• CD, plakat, web

Pokud jste se zatoulali na tuto stranku a nasli zde prekvapive (bez predchoziho varovani) svoje jmeno, tak mate pravdu;-) Vezte, ze budete varovani velmi brzo!!

Ondrej Bojar

• instalacni skripty (viz CAK 1.0)

Jarka Hlavacova

• Bonito
  • prohlizeni *.m souboru (viz CAK 1.0)
  • prohlizeni anal. fci z *.a souboru (viz PDT)
  • morfologie (viz CAK 1.0)
• MA
  • 'studentska' MA

1. Na cd-rom CAC 2.0 by mela byt 'nova' morfologie, ktera uz nepotrebuje 2GB mista.
2. Tak jak je mozne prohlizet i anal. fce PDT, tak to bude mozne i pro CAC. Volani morfologie z Bonito zustane zachovano.

Emil Jerabek
Michal Kebrt

• morph-parse-chain
  • cast 'morph' - viz CAK 1.0?
  • doplnit parser
  • s jakym formatem dat pracovat (PML vs. CSTS)?

Oldrich Kruza

• CAK do Bonito
  • viz CAK 1.0

1. Postup stejny jako pro CAC 1.0, tj. az budou data nachystana k publikaci, tak je nalit do Bonito.

Ondrej Kucera

• STYX

Pavel Kveton

• morfologie v Bonito
  • viz CAK 1.0

Jirka Mirovsky

• kontrola morfologickych anotaci
• kontrolni skripty morf. vs. syntax a syntax (PDT2.0-like kontroly)
  • kontrola syntaxe probehne ve dvou fazich:
    1. s hotovym necelym vzorkem dat - pripraveni skriptu
    2. posleze se vsemi daty, az budou hotova

Pavel Pecina

• tokenizer

11.4.2007 Pavel pise:
Ano, tokenizer muzete pouzit.

Jeho kod je zde: /net/projects/textseg

A dokumentace tady: https://wiki.ufal.ms.mff.cuni.cz/internal:textseg

Pavel Ceska uz na nem nepracuje, ale nic v nem neni zadratovano tak, aby
to neslo rychle a dobre upravit. Porad planujeme pizzovy seminar, na
kterem by se to mohlo vsechno jeste probrat a pripadne upravit. Takze,
nez budete chtit nejakou finalni verzi, tak nam jeste dejte vedet.

Kiril Ribarov

• parser
• priprava dat pro anotatory

1. S jakym formatem dat MST pracuje? Umi PML.
2. MST parser natrenovat na jakych datech - kompletni syntakticky anotovana data z PDT 2.0?

Michal Sotkovsky

• design
• navrh tak pekny jako CAK 1.0 - pouze zmenit barvicky

Honza Raab

• tagger

1. bude umet cist z a zapisovat do PML?
   1. > ano, bude
2. Tagger natrenovat na jakych datech - kompletni morfologicky anotovana data z PDT 2.0?
   1. > nic jiného k trénování vhodného asi ani nemáme - ale PDT je v některých věcech nekompatibilní s CAK (např. číslovky)

• technicky editor pruvodce

18.6. v 8:30 probehla schuzka o praci na datech; PRITOMNI: Alla Bemova, Veronika Curdova (anotatorka), Jan Hajic, Barbora Hladka, Jiri Mirovsky, Kiril Ribarov, Zdenka Uresova, Lenka Zehrova (anotatorka)

Udaje psane kurzivou signalizuji splneni.

Vsechny potrebne soubory jsou ~/raab/cac-guide. Protoze nektere odstavce budou totozne s odstavci z Pruvodce CAK 1.0, realizujte 'cut'n paste' ze souboru z adresare cac1/.

      cac1/ - finalni verze CAC 1.0
      upload/ - oblibeny adresar pro zapis zmenenych souboru
      pdf/ - aktualni pdf verze

Adresar nastroje bude mit nasledujici strukturu

• docs/ # uzivatelska dokumentace, instalacni pokyny - cesky I anglicky
• README_{CZ|EN}.txt # cesky a anglicky 'hruba' dokumentace
• instalacni balicek/balicky

Viz napr. /net/projects/REST/data/CAC/cac10/tools/LAW

K nastrojum s grafickym rozhranim, tedy

• Bonito
• LAW
• TrEd
• Netgraph
• Styx
  • BB FlashBack Express - viz demo_1
  • Wink software - viz demo_2

Pro demo_1 k STYX jsem pouzila BB FlashBack Express, ktery bylo mozne ziskat zdarma. K tomu, aby se primo do tutorialu daly vkladat poznamky, tak bude potreba koupit BB FlashBack. Pak jsem nasla program Wink, ktery existuje jak pod Win, tak pod Linux - coz je pro nas dulezite. Vyzkousela jsem a vzniklo demo_2. Podivejte se na ne, prosim.

Smysluplnost tutorialu ODSOUHLASENA.

V Pruvodci CAC 2.0 bude rovnez odkaz na PDT tutorial z lonskeho listopadu

• Textove materialy k anotaci
  • Pokyny pro anotaci (23/6/2007) (CTI ME - shrnuti vsech podstatnych informaci)
  • Valencni slovnik z PDT (a k němu manuál k používání pro analytickou anotaci)
  • Postrehy z kontroly dvojite anotace textu
    • Jan Štěpánek: poznámky
  • Prehled maker kontextu PML_CAC_A_Edit editoru TrEd
  • Slajdy ze snidane 18/6/2007(trochu vice povidani o s. anotaci CAK)
  • Slajdy ze snidane 25/6/2007(informacni schuzka se zajemci o anotovani)
• Prehled zpracovani souboru
• Mezianotatorska shoda v cislech
  • zahrivaci kolo
  • s3-s10

• TrEd - instalace pod systémem Windows a základní instrukce
  • TrEd je ke stažení ve standardní distribuci (platné i pro anotaci CAC) na jeho “domácích stránkách” na http://ufal.mff.cuni.cz/~pajas/tred.
  • Rychlý návod k instalaci (pro “offline” použití; pro anotátory ze SNK instaluje TrEd Radovan jinak):
    • Z výše uvedené stránky stáhněte na svůj notebook soubor tred_wininst_en.zip.
    • Rozbalte jej kdekoliv; dostanete adresář tred_wininst_en.
    • V tomto adresáři spusťte soubor setup.bat. Pozor, v adresáři je několik podobně pojmenovaných .bat souborů - vy spusťte tento základní.
    • Na všechny otázky odpovězte yes (y), nebo tak, aby instalace pokračovala, a nechte pro všechno, co vám instalační program nabízí, defaultní hodnoty.
    • Po dokončení instalace spusťte TrEd (pomocí ikony na ploše). Ověřte (Help→About), že se jedná o verzi nejméně 1.3050 nebo vyšší.
    • Po ověření verze si nastavte tzv. stylesheet, tj. to, co všechno se vám při anotaci zobrazí. Při všech dalších spuštění TrEd se bude zobrazovat to, co jste si nastavili. Zkušenosti říkají, že stačí u uzlu zobrazit slovo a analytickou funkci. Z menu View → Edit Stylesheet, pravou část okna smažte a vložte následující, které potvrďte ok:

context: .*
hint:
text:<? $${m/w/token}eq$${m/form} ?
'#{'.CustomColor('sentence').'}${m/w/token}' :
'#{-over:1}#{'.CustomColor('spell').'}['.
join(“ ”,map { $_→{token} } ListV($this→attr('m/w'))).
']#{-over:0}#{'.CustomColor('sentence').'}${m/form}' ?>
node:<? $${afun} eq “AuxS” ? '${id}' : '${m/form}' ?>
node:<?$${afun}?>

• Rychlý návod ke spuštění TrEdu a anotaci (otevření souboru a nastavení prostředí, anotace)
  • Spusťte TrEd, a pomocí Open (nebo z Recent Files) otevřete příslušný .a soubor.
  • Nastavte “kontext” (vpravo nahoře) PML_CAC_A_Edit.
  • Používejte makra z PML_CAC_A_Edit (User-defined → PML_CAC_A_Edit, příp. More) a dále smíte používat Open, Save, Save As z hlavního menu File, a všechny další funkce, které slouží k “prohlížení” souboru(ů) - například posouvání po větách, přímý skok na větu s daným pořadovým číslem (tj. různá GoTo…), vyhledávání v souboru pomocí F3/F4 apod. NIKDY ale nepoužívejte jakékoli funkce, které mění strom nebo hodnoty atributů z menu Node, ani z maker Tred_Macro nebo jiných maker a kontextů.
  • První uložení souboru po jeho prvním otevření a zahájení jeho anotace
    • Soubor se ukládá pomocí Save As (menu File), pak zvolte “Current” v okně pro volbu formátu.
    • Soubor uložte pod původním jménem s přidaným podtržítkem a iniciálami vašeho jména; postup: zvolte původní soubor s koncovkou .a v nabízeném seznamu, a přidejte mu před .a ješte _JP (J - inicála jména, P - iniciála příjmení).
    • Po odsouhlasení jména na vás vyskočí okno “Select resources to save”. Klikněte na první řádek (soubor s příponou .m) - měl by se vysvítit. Pak zvolte tlačítko “Change Filename”, a rovněž u tohoto souboru připište k jeho jménu “_JP” (těsně před příponu .m, obdobně jako u .a souboru). Po odsouhlasení zkontrolujte, že v okně “Select resources to save” je jméno správně upravené (s tím _JP). Odsouhlaste uložení tlačítkem “OK”.
  • Další otevření a uložení částečně anotovaného nebo dodatečně opravovaného souboru
    • Pro druhé a další otevření téhož souboru pro provádění další anotace nebo jakýchkoli jiných změn použijte soubor s modifikovaným jménem (…._JP.a).
    • Pro jeho uložení po provedení změn použijte File → Save (F2).
    • V okne “Select resources to save” klikněte na první řádek (mělo by v něm být jméno už rovněž modifikované, s _JP.m na konci). Hned poté odsouhlaste uložení pomocí tlačítka “OK” (tedy není nutno znovu měnit jméno souboru pomocí Change Filename).

• 18.6. 8:30 schuzka o datech
  • Vytvoření adresářové struktury v /net/projects/REST/data/CAC/work_CAC20/data s dále uvedenými podadresáři.
  • Data budou uložena a zpracována takto, v závorce jsou lidé zodpovědní za obsah adresáře (aktualizováno po schůzce 24.9.2007):
    • 00_actual - aktuální .w a .m data celého korpusu (Jiří Mírovský)
    •     odtud bude brát Kiril data a pouštět na ně parser
    • 01_MST_Parsed - sem umístí Kiril vždy nově zparsovaný korpus (kdykoliv ho bude nově parsovat), do podadresáře pojmenovaného podle data (Kiril Ribarov)
    •     odtud si bude Jirka brát data a pustí na ně automatické kontrolní skripty
    • 02_auto_check_A - první fáze automatických kontrol (Jiří Mírovský)
    •     odtud bude Bára brát data a rozdělovat práci anotátorkám
    • 03_2annotations - anotace souborů jednotlivými anotátorkami (Kiril Ribarov)
    •     data odtud si vezme Kiril a provede porovnání a slití dvou verzí do jedné
    • 04_comparison - porovnání a slití souborů do jedné verze (Kiril Ribarov)
    •     odtud si vezme data Jirka a znovu na ně spustí kontrolní skripty
    • 05_auto_check_B - druhá fáze automatických kontrol (Jiří Mírovský)
    •     odtud vezme data Kiril a dá je paní Bémové ke kontrole
    • 06_manual_check - sem dá Kiril data poté, co jsou zkontrolována paní Bémovou (Kiril Ribarov)
    •     odtud již vychází hotová analytická rovina; morfologická rovina a slovní měly zůstat beze změny, kromě atributu guessed_form na morfologické rovině, kam anotátorky mohly něco doplnit; kontrolu, že se nic nezměnilo, a slití guessed_form do aktuálního morfologického souboru provede Jirka; vezme si odtud data a znovu na ně spustí kontrolní skripty
    • 07_auto_check_C - třetí fáze automatických kontrol; analytická rovina se považuje už za správnou, Jirka ručně opraví morfologii (Jiří Mírovský)
    •     odtud dá Jirka data do následujícího adresáře, je hotovo
    • 08_finished - tady budou hotová data, tedy ta část korpusu, která je již hotová; hotová .w a .m data se budou kopírovat rovněž do adresáře 00_actual, aby se odtud v případě potřeby mohla brát (.w by se měnit nemělo) (Jiří Mírovský, Kiril Ribarov)
    • _schemas - aktuální PML-schémata potřebná k otevření souborů ve výše uvedených adresářích
• Polo-automaticka kontrola morfologickych anotaci vzhledem k syntaktickym anotacim
  • Jirka Mirovsky
  • brat a-soubory z adresare net/projects/rest/data/CAC/atrees/MST2/odAlly (popis viz nize)
  • k 3/6 umisteny souborty s11-s16
• Priprava dat k dvojite rucni syntakticke anotaci
  • Kiril - zpracovani dat MST parserem
  • podpora v TrEdu pro snadnejsi anotaci: pro anotovani PDT 1.0 byla v TrEd nabizena makra pro prijemnejsi anotaci. Tato makra byla napsana pro format fs a jeste pro koncepci PDT 1.0, ktera se v nekterych ohledech lisi od te v PDT 2.0 (napr. viz koordinace). Kdyz se v soucasne distribuci TrEd nastavi kontext Analytic, tak ten nabizi prave zminena makra. 12/6/2007
Kirile,
tady preposilam soubor PML_A_Edit.mak a k nemu prilohu od Katky. Radovan jim tato makra udelal primo do PML_A_Edit, coz neni dobre, protoze tim padem my a oni mame jiny PML_A_Edit. Je potreba to udelat “spravne” (tj.v duchu PML schemat) - nechat PML_A_Edit byt, a udelat novy (napr. pojmenovany PML_CAC_A_Edit), ktery “includuje” vsechna makra z PML_A_Edit, a ty specificka pro
anotaci CAC (vc. afunu, koordinaci apod.) prida prave do nej. Myslim, ze taky bude dobre, aby cesti anotatori a slovaci meli ted vsechno stejne - takze az to budes mit, posli to prosim zpet
Radovanovi at jim to nainstaluje. Jinak jsem dnes odpodival na nekolik dotazu ohledne 2. kola;
myslim, ze nejdulezitejsi je, abys jim poslal doplnene pokyny o tom, co smeji a nesmeji pouzivat.
Diky, Honza
• Rucni kontrola syntaktickych anotaci
  • data po rucni anotaci v adresari net/projects/rest/data/CAC/atrees/MST2/odAnotatoru
  • Kiril - do TrEdu udelatka pro pohodlnejsi kontrolu diskrepanci
  • Alla - resit diskrepance anotatoru
  • data po Alline kontrole v adresari net/projects/rest/data/CAC/atrees/MST2/odAlly
• Skripty (z PDT 2.0) pro kontrolu syntaktickych anotaci
  • Jirko, mohl by ses prosim seznamit se skripty navrzenymi pro kontrolu syntaktickych anotaci PDT 2.0. Je potreba to udelat co nejdrive (samozrejme az budou nejake soubory v net/projects/rest/data/CAC/atrees/MST2/odAlly), protoze pokud by se zjistilo, ze je nutno neco doimplementovat, tak aby na to byl cas. Dulezite poznamky uvadej zde.

• Alla Bemova (bemova@ufal.mff.cuni.cz, kontrola anotaci)
• Katarina Gajdosova (katarinag@korpus.juls.savba.sk, sk, anotatorka)
• Jan Hajic (hajic@ufal.mff.cuni.cz)
• Barbora Hladka (hladka@ufal.mff.cuni.cz)
• Katarína Kandračová (sk, )
• Jirka Mirovsky (mirovsky@ufal.mff.cuni.cz)
• Kiril Ribarov (ribarov@ufal.mff.cuni.cz, TrEd)
• Zdenka Uresova (uresova@ufal.mff.cuni.cz, kontrola anotaci)
• MZ