Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:dz-parser:conll [2008/03/28 18:57] zeman 02 a 03. |
user:zeman:dz-parser:conll [2009/03/02 11:38] zeman Výsledky CoNLL 2009 (zatím bez úprav značek). |
||
---|---|---|---|
Line 28: | Line 28: | ||
$PARSER/ | $PARSER/ | ||
($PARSER/ | ($PARSER/ | ||
+ | |||
+ | ===== Zpracování na clusteru ===== | ||
+ | |||
+ | V& | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
+ | * '' | ||
===== Výsledky ===== | ===== Výsledky ===== | ||
+ | |||
==== Výchozí nastavení ==== | ==== Výchozí nastavení ==== | ||
Následující tabulka ukazuje úspěšnost DZ parseru s výchozím nastavením na průběžných testovacích datech CoNLL, s původními neupravenými značkami CoNLL (tabulátory, | Následující tabulka ukazuje úspěšnost DZ parseru s výchozím nastavením na průběžných testovacích datech CoNLL, s původními neupravenými značkami CoNLL (tabulátory, | ||
+ | Úspěšnost parsingu s& | ||
| Jazyk | Rok | P | | | Jazyk | Rok | P | | ||
| ar | 2006 | 63.9 | | | ar | 2006 | 63.9 | | ||
Line 40: | Line 51: | ||
| bg | 2006 | 72.3 | | | bg | 2006 | 72.3 | | ||
| ca | 2007 | 72.7 | | | ca | 2007 | 72.7 | | ||
+ | | ca | 2009 | 73.6 | | ||
| cs | 2006 | 64.1 | | | cs | 2006 | 64.1 | | ||
| cs | 2007 | 69.1 | | | cs | 2007 | 69.1 | | ||
+ | | cs | 2009 | 65.8 | | ||
| da | 2006 | 69.9 | | | da | 2006 | 69.9 | | ||
| de | 2006 | 71.8 | | | de | 2006 | 71.8 | | ||
+ | | de | 2009 | 72.3 | | ||
| el | 2007 | 65.0 | | | el | 2007 | 65.0 | | ||
| en | 2007 | 70.6 | | | en | 2007 | 70.6 | | ||
+ | | en | 2009 | 69.5 | | ||
+ | | es | 2009 | 71.8 | | ||
| eu | 2007 | 58.6 | | | eu | 2007 | 58.6 | | ||
| hu | 2007 | 62.3 | | | hu | 2007 | 62.3 | | ||
| it | 2007 | 71.5 | | | it | 2007 | 71.5 | | ||
| ja | 2006 | 87.3 | | | ja | 2006 | 87.3 | | ||
+ | | ja | 2009 | 83.2 | | ||
| nl | 2006 | 73.7 | | | nl | 2006 | 73.7 | | ||
| pt | 2006 | 73.8 | | | pt | 2006 | 73.8 | | ||
Line 57: | Line 74: | ||
| zh | 2006 | 69.9 | | | zh | 2006 | 69.9 | | ||
| zh | 2007 | 69.0 | | | zh | 2007 | 69.0 | | ||
+ | | zh | 2009 | 57.7 | | ||
Následující tabulka srovnává výsledky s původními značkami CoNLL a výsledky se značkami PDT. Data jsou dtest. Nastavení parseru je výchozí, tj. úprava značek ani selektivní lexikalizace není zapnuta. Poslední sloupec říká, zda je změna úspěšnosti statisticky významná podle McNemarova testu na úrovni 0,05 (χ< | Následující tabulka srovnává výsledky s původními značkami CoNLL a výsledky se značkami PDT. Data jsou dtest. Nastavení parseru je výchozí, tj. úprava značek ani selektivní lexikalizace není zapnuta. Poslední sloupec říká, zda je změna úspěšnosti statisticky významná podle McNemarova testu na úrovni 0,05 (χ< | ||
Line 67: | Line 85: | ||
| cs | 2007 | 69.1 | 68.6 | horší | ano (3.948357) | | | cs | 2007 | 69.1 | 68.6 | horší | ano (3.948357) | | ||
| da | 2006 | 69.9 | 70.5 | lepší | ne (2.082218) | | | da | 2006 | 69.9 | 70.5 | lepší | ne (2.082218) | | ||
+ | | de | 2006 | 71.8 | 67.5 | horší | ano (61.301887) | | ||
| en | 2007 | 70.6 | 65.4 | horší | ano (227.951382) | | | en | 2007 | 70.6 | 65.4 | horší | ano (227.951382) | | ||
+ | | pt | 2006 | 73.8 | 76.4 | lepší | ano (44.312588) | | ||
| sv | 2006 | 71.0 | 72.6 | lepší | ano (12.763713) | | | sv | 2006 | 71.0 | 72.6 | lepší | ano (12.763713) | | ||
| zh | 2006 | 69.9 | 68.4 | horší | ne (1.574297) | | | zh | 2006 | 69.9 | 68.4 | horší | ne (1.574297) | | ||
Line 126: | Line 146: | ||
| zh | 2006 | 69.9 | 68.1 | horší | ne (2.330645) | | | zh | 2006 | 69.9 | 68.1 | horší | ne (2.330645) | | ||
| zh | 2007 | 69.0 | 63.6 | horší | ano (22.769829) | | | zh | 2007 | 69.0 | 63.6 | horší | ano (22.769829) | | ||
+ | |||
==== 02: navíc zakázané přeskakování bezdětných předložek ==== | ==== 02: navíc zakázané přeskakování bezdětných předložek ==== | ||
Line 175: | Line 196: | ||
| zh | 2007 | 69.0 | 63.5 | horší | ano (23.875776) | | | zh | 2007 | 69.0 | 63.5 | horší | ano (23.875776) | | ||
- | ==== 03: navíc zapnuté modelování | + | ==== 03: navíc zapnuté modelování |
+ | |||
+ | Úspěšnost parsingu s& | ||
| Jazyk | Rok | P | | | Jazyk | Rok | P | | ||
| ar | 2006 | 64.4 | | | ar | 2006 | 64.4 | | ||
Line 199: | Line 222: | ||
| zh | 2007 | 64.6 | | | zh | 2007 | 64.6 | | ||
+ | Srovnání úspěšnosti parsingu s& | ||
| Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar | | | Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar | | ||
| ar | 2006 | 64.4 | 67.6 | lepší | ano (23.953216) | | | ar | 2006 | 64.4 | 67.6 | lepší | ano (23.953216) | | ||
| ar | 2007 | 59.8 | 67.0 | lepší | ano (165.491130) | | | ar | 2007 | 59.8 | 67.0 | lepší | ano (165.491130) | | ||
| bg | 2006 | 67.6 | 71.0 | lepší | ano (45.224638) | | | bg | 2006 | 67.6 | 71.0 | lepší | ano (45.224638) | | ||
- | | cs | 2006 | 49.2 | 62.7 | lepší | ano (7.529412) | | + | | cs | 2006 | 56.0 | 71.4 | lepší | ano (587.655280) | |
| cs | 2007 | 58.7 | 74.3 | lepší | ano (627.063764) | | | cs | 2007 | 58.7 | 74.3 | lepší | ano (627.063764) | | ||
| da | 2006 | 68.3 | 69.8 | lepší | ano (8.878214) | | | da | 2006 | 68.3 | 69.8 | lepší | ano (8.878214) | | ||
+ | | de | 2006 | 69.5 | 67.7 | horší | ano (9.841876) | | ||
| en | 2007 | 64.2 | 67.9 | lepší | ano (110.976037) | | | en | 2007 | 64.2 | 67.9 | lepší | ano (110.976037) | | ||
+ | | pt | 2006 | 73.5 | 76.4 | lepší | ano (42.581187) | | ||
| sv | 2006 | 71.0 | 73.2 | lepší | ano (27.717540) | | | sv | 2006 | 71.0 | 73.2 | lepší | ano (27.717540) | | ||
| zh | 2006 | 67.5 | 68.8 | lepší | ne (2.042553) | | | zh | 2006 | 67.5 | 68.8 | lepší | ne (2.042553) | | ||
| zh | 2007 | 64.6 | 64.6 | stejná | ne (0.000000) | | | zh | 2007 | 64.6 | 64.6 | stejná | ne (0.000000) | | ||
+ | Totéž, ale parsing s& | ||
| Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar | | | Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar | | ||
| ar | 2006 | 63.9 | 67.6 | lepší | ano (27.380000) | | | ar | 2006 | 63.9 | 67.6 | lepší | ano (27.380000) | | ||
| ar | 2007 | 64.9 | 67.0 | lepší | ano (12.949640) | | | ar | 2007 | 64.9 | 67.0 | lepší | ano (12.949640) | | ||
| bg | 2006 | 72.3 | 71.0 | horší | ne (3.688525) | | | bg | 2006 | 72.3 | 71.0 | horší | ne (3.688525) | | ||
- | | cs | 2006 | 55.9 | 62.7 | lepší | ne (2.666667) | | + | | cs | 2006 | 64.1 | 71.4 | lepší | ano (167.052632) | |
| cs | 2007 | 69.1 | 74.3 | lepší | ano (87.422200) | | | cs | 2007 | 69.1 | 74.3 | lepší | ano (87.422200) | | ||
| da | 2006 | 69.9 | 69.8 | horší | ne (0.046272) | | | da | 2006 | 69.9 | 69.8 | horší | ne (0.046272) | | ||
+ | | de | 2006 | 71.8 | 67.7 | horší | ano (54.691057) | | ||
| en | 2007 | 70.6 | 67.9 | horší | ano (55.470000) | | | en | 2007 | 70.6 | 67.9 | horší | ano (55.470000) | | ||
+ | | pt | 2006 | 73.8 | 76.4 | lepší | ano (34.848721) | | ||
| sv | 2006 | 71.0 | 73.2 | lepší | ano (22.530318) | | | sv | 2006 | 71.0 | 73.2 | lepší | ano (22.530318) | | ||
| zh | 2006 | 69.9 | 68.8 | horší | ne (0.757576) | | | zh | 2006 | 69.9 | 68.8 | horší | ne (0.757576) | | ||
| zh | 2007 | 69.0 | 64.6 | horší | ano (14.266376) | | | zh | 2007 | 69.0 | 64.6 | horší | ano (14.266376) | | ||
+ | |||
+ | ===== Která konfigurace je nejúspěšnější pro který jazyk? ===== | ||
+ | |||
+ | | Jazyk | Rok | orig df | pdt df | orig 03 | pdt 03 | | ||
+ | | ar | 2006 | 63.9 | 66.8 | 64.4 | 67.6 | | ||
+ | | ar | 2007 | 64.9 | 64.2 | 59.8 | 67.0 | | ||
+ | | bg | 2006 | 72.3 | 71.2 | 67.6 | 71.0 | | ||
+ | | ca | 2007 | 72.7 | | 69.9 | | | ||
+ | | cs | 2006 | 64.1 | 64.1 | 56.0 | 71.4 | | ||
+ | | cs | 2007 | 69.1 | 68.6 | 58.7 | 74.3 | | ||
+ | | da | 2006 | 69.9 | 70.5 | 68.3 | 69.8 | | ||
+ | | de | 2006 | 71.8 | 67.5 | 69.5 | 67.7 | | ||
+ | | el | 2007 | 65.0 | | 67.2 | | | ||
+ | | en | 2007 | 70.6 | 65.4 | 64.2 | 67.9 | | ||
+ | | eu | 2007 | 58.6 | | 58.4 | | | ||
+ | | hu | 2007 | 62.3 | | 62.3 | | | ||
+ | | it | 2007 | 71.5 | | 72.2 | | | ||
+ | | ja | 2006 | 87.3 | | 74.9 | | | ||
+ | | nl | 2006 | 73.7 | | 73.2 | | | ||
+ | | pt | 2006 | 73.8 | 76.4 | 73.5 | 76.4 | | ||
+ | | sl | 2006 | 58.7 | | 63.8 | | | ||
+ | | sv | 2006 | 71.0 | 72.6 | 71.0 | 73.2 | | ||
+ | | tr | 2007 | 64.6 | | 65.2 | | | ||
+ | | zh | 2006 | 69.9 | 68.4 | 67.5 | 68.8 | | ||
+ | | zh | 2007 | 69.0 | 63.7 | 64.6 | 64.6 | | ||
===== Starší poznámky ===== | ===== Starší poznámky ===== |