Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:dz-parser:conll [2008/03/26 11:56] zeman Trénování parseru na češtině z CoNLL 2006. |
user:zeman:dz-parser:conll [2008/03/27 21:10] zeman Výsledky dtest původní značky. |
||
---|---|---|---|
Line 1: | Line 1: | ||
====== Pokusy s DZ Parserem pro CoNLL ====== | ====== Pokusy s DZ Parserem pro CoNLL ====== | ||
- | Tato stránka původně vznikla jako záznam o tom, jakým způsobem jsem spouštěl parser během soutěže v parsingu CoNLL 2007, abych tyto pokusy dokázal zopakovat. Postupně se mění na stránku o pokusech s daty CoNLL obecně (nejen 2007). | + | Tato stránka původně vznikla jako záznam o tom, jakým způsobem jsem spouštěl parser během soutěže v parsingu CoNLL 2007, abych tyto pokusy dokázal zopakovat. Postupně se mění na stránku o pokusech s& |
===== Proměnné ===== | ===== Proměnné ===== | ||
Line 13: | Line 14: | ||
Kromě toho mám ve své '' | Kromě toho mám ve své '' | ||
+ | |||
+ | Další proměnné, určené přímo pro rozbor dat CoNLL mým parserem: | ||
+ | |||
+ | < | ||
+ | setenv OUTPUT / | ||
+ | |||
+ | ===== Výsledky ===== | ||
+ | |||
+ | Následující tabulka ukazuje úspěšnost DZ parseru s výchozím nastavením na průběžných testovacích datech CoNLL 2007, s původními značkami CoNLL (tabulátory, | ||
+ | |||
+ | | Jazyk | A | G | B | P | | ||
+ | | ar | 5873 | 3757 | 2116 | 64,0 | | ||
+ | | ca | 10971 | 7670 | 3301 | 69,9 | | ||
+ | | cs | 5760 | 4061 | 1699 | 70,5 | | ||
+ | | el | 4874 | 3132 | 1742 | 64,3 | | ||
+ | | en | 9529 | 6163 | 3366 | 64,7 | | ||
+ | | eu | 4334 | 2477 | 1857 | 57,2 | | ||
+ | | hu | 5995 | 4088 | 1907 | 68,2 | | ||
+ | | it | 7643 | 5556 | 2087 | 72,7 | | ||
+ | | tr | 6210 | 3920 | 2290 | 63,1 | | ||
+ | | zh | 2277 | 1506 | 771 | 66,1 | | ||
+ | |||
+ | ===== Zpracování ===== | ||
+ | |||
+ | Každý jazyk zkouším zpracovat jednak s& | ||
+ | |||
+ | < | ||
+ | setenv ROK 2007 | ||
+ | setenv JAZYK cs | ||
+ | $PARSER/ | ||
+ | ($PARSER/ | ||
===== Starší poznámky ===== | ===== Starší poznámky ===== | ||
Line 42: | Line 74: | ||
$parser/ | $parser/ | ||
$parser/ | $parser/ | ||
+ | |||
+ | |||
+ | |||
+ | |||
===== Čeština 2006 ===== | ===== Čeština 2006 ===== | ||
Line 50: | Line 86: | ||
csts_convert_tags.pl -f cs::conll -t cs::pdt < cstrain.csts > cstrain.pdttags.csts | csts_convert_tags.pl -f cs::conll -t cs::pdt < cstrain.csts > cstrain.pdttags.csts | ||
csts_convert_tags.pl -f cs::conll -t cs::pdt < cstest.csts > cstest.pdttags.csts | csts_convert_tags.pl -f cs::conll -t cs::pdt < cstest.csts > cstest.pdttags.csts | ||
- | $PARSER/ | + | $PARSER/ |
+ | $PARSER/ | ||
+ | |||
+ | Výsledky (365 vět, které CoNLL dodalo jako testovací): | ||
+ | |||
+ | Parser (i trénování) byl spuštěn s výchozími parametry bez konfiguračního souboru. Neměl tušení, že zpracovává svůj rodný jazyk. Kromě toho, že testovací data jsou jiná (a podstatně menší), než jsem měl přímo při práci s PDT, také chybí přídavné informace u lemmat (protože je CoNLL částečně přesunulo do atributu Sem, jehož hodnotu jsem při převádění značek zpět na PDT zahodil). Parser z nich využíval informace o křestním jménu a příjmení. Na druhou stranu parseru mohlo pomoct, že pracujeme s ručně přiřazenými značkami. |