Differences
This shows you the differences between two versions of the page.
| Next revision | Previous revision Next revision Both sides next revision | ||
|
user:zeman:dz-parser [2007/02/28 11:25] zeman |
user:zeman:dz-parser [2007/05/15 15:13] zeman To do - co je hotovo a co je potřeba. |
||
|---|---|---|---|
| Line 3: | Line 3: | ||
| DZ Parser má svoji stránku na adrese http:// | DZ Parser má svoji stránku na adrese http:// | ||
| - | < | + | < |
| - | svn checkout file:/// | + | |
| - | </ | + | * [[user: |
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | * [[user: | ||
| + | |||
| + | ===== Chování vstupu a výstupu ===== | ||
| + | |||
| + | V posledním roce jsem vnesl zmatek do chování vstupu a výstupu DZ Parseru. Jak by se tedy měl chovat a jak se momentálně chová? | ||
| + | |||
| + | ==== Vstup ==== | ||
| + | |||
| + | Vstupem train.pl jsou trénovací data a případně konfigurační soubor. | ||
| + | Vstupem parse.pl je natrénovaná statistika, testovací data a případně konfigurační soubor. | ||
| + | |||
| + | Malou část konfigurace lze provést přepínači na příkazovém řádku. V budoucnosti by měla být možnost provést tady veškerou konfiguraci, | ||
| + | |||
| + | Pokud konfigurace obsahuje cestu ke vstupním datům (trénovací korpus, testovací korpus, natrénovaná statistika), | ||
| + | |||
| + | Pokud konfigurace (ani ta z příkazového řádku) neobsahuje cestu ke vstupním datům, ale na příkazovém řádku zbývají nevyužité argumenty, tyto argumenty se interpretují jako cesty ke vstupním souborům a ty se načtou. Pokud nezbývají ani argumenty, čte se standardní vstup. (To neplatí o natrénované statistice na vstupu parse.pl, ta se čte vždy ze souboru. Pokud chybí určení cesty, postupuje se jako kdyby určení bylo " | ||
| + | |||
| + | Pokud konfigurace neobsahuje cestu k pracovní složce, považuje se za pracovní složka, ze které byl program spuštěn (" | ||
| + | |||
| + | ==== Výstup ==== | ||
| + | |||
| + | Hlavním výstupem train.pl je natrénovaná statistika. Hlavním výstupem parse.pl jsou rozebraná testovací data ve formátu CSTS. Hlavní výstupy se posílají na standardní výstup. | ||
| + | |||
| + | V ladícím režimu (lze ho zapnout v konfiguraci) se totéž loguje i do souboru. Případně lze vypnout standardní výstup a pouze logovat do souboru. | ||
| + | |||
| + | Každý program může navíc generovat různé vedlejší výstupy, které lze regulovat pomocí konfigurace. Tyto výstupy standardně směřují na standardní chybový výstup (STDERR), ale v konfiguraci lze zapnout jejich logování do souboru v pracovní složce. | ||
| ===== To do ===== | ===== To do ===== | ||
| - | * Vyřešit situaci, kdy svislítko ve vstupních datech (značkách, | + | * CoNLL 2007 |
| + | * Otestovat mé výstupy oficiálním skriptem eval.pl, nebo jak se jmenuje. | ||
| + | * Zkusit ještě jednou pustit parser na všechny jazyky s vypnutým rozepisováním alternativ. | ||
| + | * Totéž, ale vypnout úpravy morfologických značek, na ne-PDT značkách to nemůže fungovat. | ||
| + | * Totéž, ale učit se pouze na podrobných slovních druzích, hodnoty rysů zahodit. | ||
| + | * Totéž, ale navíc rys pád. | ||
| + | * Učit se na morfologických značkách překódovaných do sady PDT. | ||
| + | * Kombinace parserů ([[: | ||
| + | * Angličtina (větev adaptace na novou doménu)? | ||
| + | * Vše přetrénovat na celých trénovacích datech, rozebrat slepá testovací data a do soboty odeslat výsledky. | ||
| + | * Následující už je asi vyřešeno, ale je třeba to zdokumentovat: | ||
| * Půjde zřejmě o rozsáhlejší přestavbu funkce ud(), kterou bude potřeba pečlivě otestovat na parsingu PDT. Součástí přestavby by mělo být i to, že parametrem funkce už nebude jeden řetězec, ale pole, kde prvním prvkem bude typ události a další prvky budou její parametry. Pak bude jasné, že na alternativy se dělí každý parametr zvlášť a že je potřeba nakombinovat všechny alternativy všech parametrů. | * Půjde zřejmě o rozsáhlejší přestavbu funkce ud(), kterou bude potřeba pečlivě otestovat na parsingu PDT. Součástí přestavby by mělo být i to, že parametrem funkce už nebude jeden řetězec, ale pole, kde prvním prvkem bude typ události a další prvky budou její parametry. Pak bude jasné, že na alternativy se dělí každý parametr zvlášť a že je potřeba nakombinovat všechny alternativy všech parametrů. | ||
| * Odstranit závislost parseru na konfiguračním souboru '' | * Odstranit závislost parseru na konfiguračním souboru '' | ||
| Line 20: | Line 59: | ||
| * koordinace = 0. Zvláštní zpracování koordinací předpokládá určité konkrétní syntaktické značky (Coord, _Co). Pokud tam nejsou, koordinace se nepoznají. Horší ale je, když tam jsou, ale nesplňují tatáž pravidla jako v PDT (např. v PADT). | * koordinace = 0. Zvláštní zpracování koordinací předpokládá určité konkrétní syntaktické značky (Coord, _Co). Pokud tam nejsou, koordinace se nepoznají. Horší ale je, když tam jsou, ale nesplňují tatáž pravidla jako v PDT (např. v PADT). | ||
| - | |||
| - | ===== Výsledky ===== | ||
| - | |||
| - | ==== Arabština CoNLL 2006 ==== | ||
| - | |||
| - | < | ||
| - | train.pl < / | ||
| - | parse.pl < / | ||
| - | </ | ||
| - | |||
| - | G 3086 - B 2287 - P < | ||
| - | |||
| - | ==== Čeština PDT 2.0 ==== | ||
| - | |||
| - | < | ||
| - | train.pl -i parser-pdt.ini | ||
| - | parse.pl -i parser-pdt.ini | ||
| - | </ | ||
| - | |||
| - | A 158962 - G 118894 - B 40068 - P < | ||