Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:dz-parser:conll [2008/03/28 18:57] zeman |
user:zeman:dz-parser:conll [2009/03/02 11:38] zeman Výsledky CoNLL 2009 (zatím bez úprav značek). |
||
---|---|---|---|
Line 28: | Line 28: | ||
$PARSER/ | $PARSER/ | ||
($PARSER/ | ($PARSER/ | ||
+ | |||
+ | ===== Zpracování na clusteru ===== | ||
+ | |||
+ | V& | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
===== Výsledky ===== | ===== Výsledky ===== | ||
+ | |||
==== Výchozí nastavení ==== | ==== Výchozí nastavení ==== | ||
Následující tabulka ukazuje úspěšnost DZ parseru s výchozím nastavením na průběžných testovacích datech CoNLL, s původními neupravenými značkami CoNLL (tabulátory, | Následující tabulka ukazuje úspěšnost DZ parseru s výchozím nastavením na průběžných testovacích datech CoNLL, s původními neupravenými značkami CoNLL (tabulátory, | ||
+ | Úspěšnost parsingu s& | ||
| Jazyk | Rok | P | | | Jazyk | Rok | P | | ||
| ar | 2006 | 63.9 | | | ar | 2006 | 63.9 | | ||
Line 40: | Line 51: | ||
| bg | 2006 | 72.3 | | | bg | 2006 | 72.3 | | ||
| ca | 2007 | 72.7 | | | ca | 2007 | 72.7 | | ||
+ | | ca | 2009 | 73.6 | | ||
| cs | 2006 | 64.1 | | | cs | 2006 | 64.1 | | ||
| cs | 2007 | 69.1 | | | cs | 2007 | 69.1 | | ||
+ | | cs | 2009 | 65.8 | | ||
| da | 2006 | 69.9 | | | da | 2006 | 69.9 | | ||
| de | 2006 | 71.8 | | | de | 2006 | 71.8 | | ||
+ | | de | 2009 | 72.3 | | ||
| el | 2007 | 65.0 | | | el | 2007 | 65.0 | | ||
| en | 2007 | 70.6 | | | en | 2007 | 70.6 | | ||
+ | | en | 2009 | 69.5 | | ||
+ | | es | 2009 | 71.8 | | ||
| eu | 2007 | 58.6 | | | eu | 2007 | 58.6 | | ||
| hu | 2007 | 62.3 | | | hu | 2007 | 62.3 | | ||
| it | 2007 | 71.5 | | | it | 2007 | 71.5 | | ||
| ja | 2006 | 87.3 | | | ja | 2006 | 87.3 | | ||
+ | | ja | 2009 | 83.2 | | ||
| nl | 2006 | 73.7 | | | nl | 2006 | 73.7 | | ||
| pt | 2006 | 73.8 | | | pt | 2006 | 73.8 | | ||
Line 57: | Line 74: | ||
| zh | 2006 | 69.9 | | | zh | 2006 | 69.9 | | ||
| zh | 2007 | 69.0 | | | zh | 2007 | 69.0 | | ||
+ | | zh | 2009 | 57.7 | | ||
Následující tabulka srovnává výsledky s původními značkami CoNLL a výsledky se značkami PDT. Data jsou dtest. Nastavení parseru je výchozí, tj. úprava značek ani selektivní lexikalizace není zapnuta. Poslední sloupec říká, zda je změna úspěšnosti statisticky významná podle McNemarova testu na úrovni 0,05 (χ< | Následující tabulka srovnává výsledky s původními značkami CoNLL a výsledky se značkami PDT. Data jsou dtest. Nastavení parseru je výchozí, tj. úprava značek ani selektivní lexikalizace není zapnuta. Poslední sloupec říká, zda je změna úspěšnosti statisticky významná podle McNemarova testu na úrovni 0,05 (χ< | ||
Line 67: | Line 85: | ||
| cs | 2007 | 69.1 | 68.6 | horší | ano (3.948357) | | | cs | 2007 | 69.1 | 68.6 | horší | ano (3.948357) | | ||
| da | 2006 | 69.9 | 70.5 | lepší | ne (2.082218) | | | da | 2006 | 69.9 | 70.5 | lepší | ne (2.082218) | | ||
+ | | de | 2006 | 71.8 | 67.5 | horší | ano (61.301887) | | ||
| en | 2007 | 70.6 | 65.4 | horší | ano (227.951382) | | | en | 2007 | 70.6 | 65.4 | horší | ano (227.951382) | | ||
+ | | pt | 2006 | 73.8 | 76.4 | lepší | ano (44.312588) | | ||
| sv | 2006 | 71.0 | 72.6 | lepší | ano (12.763713) | | | sv | 2006 | 71.0 | 72.6 | lepší | ano (12.763713) | | ||
| zh | 2006 | 69.9 | 68.4 | horší | ne (1.574297) | | | zh | 2006 | 69.9 | 68.4 | horší | ne (1.574297) | | ||
Line 178: | Line 198: | ||
==== 03: navíc zapnuté modelování pseudovalence ==== | ==== 03: navíc zapnuté modelování pseudovalence ==== | ||
+ | Úspěšnost parsingu s& | ||
| Jazyk | Rok | P | | | Jazyk | Rok | P | | ||
| ar | 2006 | 64.4 | | | ar | 2006 | 64.4 | | ||
Line 201: | Line 222: | ||
| zh | 2007 | 64.6 | | | zh | 2007 | 64.6 | | ||
+ | Srovnání úspěšnosti parsingu s& | ||
| Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar | | | Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar | | ||
| ar | 2006 | 64.4 | 67.6 | lepší | ano (23.953216) | | | ar | 2006 | 64.4 | 67.6 | lepší | ano (23.953216) | | ||
| ar | 2007 | 59.8 | 67.0 | lepší | ano (165.491130) | | | ar | 2007 | 59.8 | 67.0 | lepší | ano (165.491130) | | ||
| bg | 2006 | 67.6 | 71.0 | lepší | ano (45.224638) | | | bg | 2006 | 67.6 | 71.0 | lepší | ano (45.224638) | | ||
- | | cs | 2006 | 49.2 | 62.7 | lepší | ano (7.529412) | | + | | cs | 2006 | 56.0 | 71.4 | lepší | ano (587.655280) | |
| cs | 2007 | 58.7 | 74.3 | lepší | ano (627.063764) | | | cs | 2007 | 58.7 | 74.3 | lepší | ano (627.063764) | | ||
| da | 2006 | 68.3 | 69.8 | lepší | ano (8.878214) | | | da | 2006 | 68.3 | 69.8 | lepší | ano (8.878214) | | ||
+ | | de | 2006 | 69.5 | 67.7 | horší | ano (9.841876) | | ||
| en | 2007 | 64.2 | 67.9 | lepší | ano (110.976037) | | | en | 2007 | 64.2 | 67.9 | lepší | ano (110.976037) | | ||
+ | | pt | 2006 | 73.5 | 76.4 | lepší | ano (42.581187) | | ||
| sv | 2006 | 71.0 | 73.2 | lepší | ano (27.717540) | | | sv | 2006 | 71.0 | 73.2 | lepší | ano (27.717540) | | ||
| zh | 2006 | 67.5 | 68.8 | lepší | ne (2.042553) | | | zh | 2006 | 67.5 | 68.8 | lepší | ne (2.042553) | | ||
| zh | 2007 | 64.6 | 64.6 | stejná | ne (0.000000) | | | zh | 2007 | 64.6 | 64.6 | stejná | ne (0.000000) | | ||
+ | Totéž, ale parsing s& | ||
| Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar | | | Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar | | ||
| ar | 2006 | 63.9 | 67.6 | lepší | ano (27.380000) | | | ar | 2006 | 63.9 | 67.6 | lepší | ano (27.380000) | | ||
| ar | 2007 | 64.9 | 67.0 | lepší | ano (12.949640) | | | ar | 2007 | 64.9 | 67.0 | lepší | ano (12.949640) | | ||
| bg | 2006 | 72.3 | 71.0 | horší | ne (3.688525) | | | bg | 2006 | 72.3 | 71.0 | horší | ne (3.688525) | | ||
- | | cs | 2006 | 55.9 | 62.7 | lepší | ne (2.666667) | | + | | cs | 2006 | 64.1 | 71.4 | lepší | ano (167.052632) | |
| cs | 2007 | 69.1 | 74.3 | lepší | ano (87.422200) | | | cs | 2007 | 69.1 | 74.3 | lepší | ano (87.422200) | | ||
| da | 2006 | 69.9 | 69.8 | horší | ne (0.046272) | | | da | 2006 | 69.9 | 69.8 | horší | ne (0.046272) | | ||
+ | | de | 2006 | 71.8 | 67.7 | horší | ano (54.691057) | | ||
| en | 2007 | 70.6 | 67.9 | horší | ano (55.470000) | | | en | 2007 | 70.6 | 67.9 | horší | ano (55.470000) | | ||
+ | | pt | 2006 | 73.8 | 76.4 | lepší | ano (34.848721) | | ||
| sv | 2006 | 71.0 | 73.2 | lepší | ano (22.530318) | | | sv | 2006 | 71.0 | 73.2 | lepší | ano (22.530318) | | ||
| zh | 2006 | 69.9 | 68.8 | horší | ne (0.757576) | | | zh | 2006 | 69.9 | 68.8 | horší | ne (0.757576) | | ||
| zh | 2007 | 69.0 | 64.6 | horší | ano (14.266376) | | | zh | 2007 | 69.0 | 64.6 | horší | ano (14.266376) | | ||
+ | |||
+ | ===== Která konfigurace je nejúspěšnější pro který jazyk? ===== | ||
+ | |||
+ | | Jazyk | Rok | orig df | pdt df | orig 03 | pdt 03 | | ||
+ | | ar | 2006 | 63.9 | 66.8 | 64.4 | 67.6 | | ||
+ | | ar | 2007 | 64.9 | 64.2 | 59.8 | 67.0 | | ||
+ | | bg | 2006 | 72.3 | 71.2 | 67.6 | 71.0 | | ||
+ | | ca | 2007 | 72.7 | | 69.9 | | | ||
+ | | cs | 2006 | 64.1 | 64.1 | 56.0 | 71.4 | | ||
+ | | cs | 2007 | 69.1 | 68.6 | 58.7 | 74.3 | | ||
+ | | da | 2006 | 69.9 | 70.5 | 68.3 | 69.8 | | ||
+ | | de | 2006 | 71.8 | 67.5 | 69.5 | 67.7 | | ||
+ | | el | 2007 | 65.0 | | 67.2 | | | ||
+ | | en | 2007 | 70.6 | 65.4 | 64.2 | 67.9 | | ||
+ | | eu | 2007 | 58.6 | | 58.4 | | | ||
+ | | hu | 2007 | 62.3 | | 62.3 | | | ||
+ | | it | 2007 | 71.5 | | 72.2 | | | ||
+ | | ja | 2006 | 87.3 | | 74.9 | | | ||
+ | | nl | 2006 | 73.7 | | 73.2 | | | ||
+ | | pt | 2006 | 73.8 | 76.4 | 73.5 | 76.4 | | ||
+ | | sl | 2006 | 58.7 | | 63.8 | | | ||
+ | | sv | 2006 | 71.0 | 72.6 | 71.0 | 73.2 | | ||
+ | | tr | 2007 | 64.6 | | 65.2 | | | ||
+ | | zh | 2006 | 69.9 | 68.4 | 67.5 | 68.8 | | ||
+ | | zh | 2007 | 69.0 | 63.7 | 64.6 | 64.6 | | ||
===== Starší poznámky ===== | ===== Starší poznámky ===== |