Differences
This shows you the differences between two versions of the page.
Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:dz-parser [2007/02/28 11:25] zeman |
user:zeman:dz-parser [2007/05/15 13:00] zeman |
||
---|---|---|---|
Line 3: | Line 3: | ||
DZ Parser má svoji stránku na adrese http:// | DZ Parser má svoji stránku na adrese http:// | ||
- | < | + | < |
- | svn checkout file:/// | + | |
- | </ | + | * [[user: |
+ | * [[user: | ||
+ | * [[user: | ||
+ | * [[user: | ||
+ | * [[user: | ||
+ | |||
+ | ===== Chování vstupu a výstupu ===== | ||
+ | |||
+ | V posledním roce jsem vnesl zmatek do chování vstupu a výstupu DZ Parseru. Jak by se tedy měl chovat a jak se momentálně chová? | ||
+ | |||
+ | ==== Vstup ==== | ||
+ | |||
+ | Vstupem train.pl jsou trénovací data a případně konfigurační soubor. | ||
+ | Vstupem parse.pl je natrénovaná statistika, testovací data a případně konfigurační soubor. | ||
+ | |||
+ | Malou část konfigurace lze provést přepínači na příkazovém řádku. V budoucnosti by měla být možnost provést tady veškerou konfiguraci, | ||
+ | |||
+ | Pokud konfigurace obsahuje cestu ke vstupním datům (trénovací korpus, testovací korpus, natrénovaná statistika), | ||
+ | |||
+ | Pokud konfigurace (ani ta z příkazového řádku) neobsahuje cestu ke vstupním datům, ale na příkazovém řádku zbývají nevyužité argumenty, tyto argumenty se interpretují jako cesty ke vstupním souborům a ty se načtou. Pokud nezbývají ani argumenty, čte se standardní vstup. (To neplatí o natrénované statistice na vstupu parse.pl, ta se čte vždy ze souboru. Pokud chybí určení cesty, postupuje se jako kdyby určení bylo " | ||
+ | |||
+ | Pokud konfigurace neobsahuje cestu k pracovní složce, považuje se za pracovní složka, ze které byl program spuštěn (" | ||
+ | |||
+ | ==== Výstup ==== | ||
+ | |||
+ | Hlavním výstupem train.pl je natrénovaná statistika. Hlavním výstupem parse.pl jsou rozebraná testovací data ve formátu CSTS. Hlavní výstupy se posílají na standardní výstup. | ||
+ | |||
+ | V ladícím režimu (lze ho zapnout v konfiguraci) se totéž loguje i do souboru. Případně lze vypnout standardní výstup a pouze logovat do souboru. | ||
+ | |||
+ | Každý program může navíc generovat různé vedlejší výstupy, které lze regulovat pomocí konfigurace. Tyto výstupy standardně směřují na standardní chybový výstup (STDERR), ale v konfiguraci lze zapnout jejich logování do souboru v pracovní složce. | ||
===== To do ===== | ===== To do ===== | ||
+ | * CoNLL 2007 | ||
+ | * Otestovat mé výstupy oficiálním skriptem eval.pl, nebo jak se jmenuje. | ||
+ | * Zkusit ještě jednou pustit parser na všechny jazyky s vypnutým rozepisováním alternativ. | ||
+ | * Totéž, ale vypnout úpravy morfologických značek, na ne-PDT značkách to nemůže fungovat. | ||
+ | * Totéž, ale učit se pouze na podrobných slovních druzích, hodnoty rysů zahodit. | ||
+ | * Totéž, ale navíc rys pád. | ||
+ | * Učit se na morfologických značkách překódovaných do sady PDT. | ||
+ | * Kombinace parserů ([[: | ||
+ | * Angličtina (větev adaptace na novou doménu)? | ||
+ | * Vše přetrénovat na celých trénovacích datech, rozebrat slepá testovací data a do soboty odeslat výsledky. | ||
+ | * Nová regrese na PDT 2.0 a commit (změny v ud.pm). Co je nového? Možnost vypnout rozepisování alternativ! U CoNLL to může uškodit, ale nemůže to pomoct! Kromě toho není dobře, že neSGML znak na vstupu má zvláštní význam - vlastně by se měl zakódovat jako & | ||
* Vyřešit situaci, kdy svislítko ve vstupních datech (značkách, | * Vyřešit situaci, kdy svislítko ve vstupních datech (značkách, | ||
* Půjde zřejmě o rozsáhlejší přestavbu funkce ud(), kterou bude potřeba pečlivě otestovat na parsingu PDT. Součástí přestavby by mělo být i to, že parametrem funkce už nebude jeden řetězec, ale pole, kde prvním prvkem bude typ události a další prvky budou její parametry. Pak bude jasné, že na alternativy se dělí každý parametr zvlášť a že je potřeba nakombinovat všechny alternativy všech parametrů. | * Půjde zřejmě o rozsáhlejší přestavbu funkce ud(), kterou bude potřeba pečlivě otestovat na parsingu PDT. Součástí přestavby by mělo být i to, že parametrem funkce už nebude jeden řetězec, ale pole, kde prvním prvkem bude typ události a další prvky budou její parametry. Pak bude jasné, že na alternativy se dělí každý parametr zvlášť a že je potřeba nakombinovat všechny alternativy všech parametrů. | ||
Line 20: | Line 60: | ||
* koordinace = 0. Zvláštní zpracování koordinací předpokládá určité konkrétní syntaktické značky (Coord, _Co). Pokud tam nejsou, koordinace se nepoznají. Horší ale je, když tam jsou, ale nesplňují tatáž pravidla jako v PDT (např. v PADT). | * koordinace = 0. Zvláštní zpracování koordinací předpokládá určité konkrétní syntaktické značky (Coord, _Co). Pokud tam nejsou, koordinace se nepoznají. Horší ale je, když tam jsou, ale nesplňují tatáž pravidla jako v PDT (např. v PADT). | ||
- | |||
- | ===== Výsledky ===== | ||
- | |||
- | ==== Arabština CoNLL 2006 ==== | ||
- | |||
- | < | ||
- | train.pl < / | ||
- | parse.pl < / | ||
- | </ | ||
- | |||
- | G 3086 - B 2287 - P < | ||
- | |||
- | ==== Čeština PDT 2.0 ==== | ||
- | |||
- | < | ||
- | train.pl -i parser-pdt.ini | ||
- | parse.pl -i parser-pdt.ini | ||
- | </ | ||
- | |||
- | A 158962 - G 118894 - B 40068 - P < |