Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:dz-parser:conll [2008/03/28 12:28] zeman Statistická významnost. |
user:zeman:dz-parser:conll [2008/03/28 15:20] zeman Opravný experiment. |
||
---|---|---|---|
Line 28: | Line 28: | ||
$PARSER/ | $PARSER/ | ||
($PARSER/ | ($PARSER/ | ||
+ | |||
+ | |||
+ | |||
Line 60: | Line 63: | ||
| zh | 2007 | 2277 | 1506 | 771 | 66,1 | | | zh | 2007 | 2277 | 1506 | 771 | 66,1 | | ||
- | Následující tabulka srovnává výsledky s původními značkami CoNLL a výsledky se značkami PDT. Data jsou dtest. Nastavení parseru je výchozí, tj. značky nejsou upravovány a selektivní lexikalizace není zapnuta. Poslední sloupec říká, zda je změna úspěšnosti statisticky významná podle McNemarova testu na úrovni 0,05 (χ< | + | Následující tabulka srovnává výsledky s původními značkami CoNLL a výsledky se značkami PDT. Data jsou dtest. Nastavení parseru je výchozí, tj. selektivní lexikalizace není zapnuta, ale úprava (zkracování) značek ve výchozí konfiguraci omylem zapnuté bylo. I tak se občas dostal do značky tabulátor a takové značky se pak chybně ukládají ve statistice. Poslední sloupec říká, zda je změna úspěšnosti statisticky významná podle McNemarova testu na úrovni 0,05 (χ< |
| Jazyk | Rok | Značky | A | G | B | P | SV | | | Jazyk | Rok | Značky | A | G | B | P | SV | | ||
Line 66: | Line 69: | ||
| ar | 2006 | PDT | 3955 | 2595 | 1360 | 65,6 | ne | | | ar | 2006 | PDT | 3955 | 2595 | 1360 | 65,6 | ne | | ||
| ar | 2007 | CoNLL | 5873 | 3757 | 2116 | 64,0 | | | ar | 2007 | CoNLL | 5873 | 3757 | 2116 | 64,0 | | ||
- | | ar | 2007 | PDT | 5873 | 3793 | 2080 | 64,6 | | + | | ar | 2007 | PDT | 5873 | 3793 | 2080 | 64,6 | ne | |
| bg | 2006 | CoNLL | 4677 | 3178 | 1499 | 67,9 | | | bg | 2006 | CoNLL | 4677 | 3178 | 1499 | 67,9 | | ||
| bg | 2006 | PDT | 4677 | 3338 | 1339 | 71,4 | ano | | | bg | 2006 | PDT | 4677 | 3338 | 1339 | 71,4 | ano | | ||
Line 72: | Line 75: | ||
| cs | 2006 | PDT | 5643 | 4050 | 1593 | 71,8 | ano | | | cs | 2006 | PDT | 5643 | 4050 | 1593 | 71,8 | ano | | ||
| cs | 2007 | CoNLL | 5760 | 4061 | 1699 | 70,5 | | | cs | 2007 | CoNLL | 5760 | 4061 | 1699 | 70,5 | | ||
- | | cs | 2007 | PDT | 5760 | 4294 | 1466 | 74,5 | | + | | cs | 2007 | PDT | 5760 | 4294 | 1466 | 74,5 | ano | |
| da | 2006 | CoNLL | 5470 | 3792 | 1678 | 69,3 | | | da | 2006 | CoNLL | 5470 | 3792 | 1678 | 69,3 | | ||
| da | 2006 | PDT | 5470 | 3804 | 1666 | 69,5 | ne | | | da | 2006 | PDT | 5470 | 3804 | 1666 | 69,5 | ne | | ||
| en | 2007 | CoNLL | 9529 | 6163 | 3366 | 64,7 | | | en | 2007 | CoNLL | 9529 | 6163 | 3366 | 64,7 | | ||
- | | en | 2007 | PDT | 9529 | 6254 | 3275 | 65,6 | | + | | en | 2007 | PDT | 9529 | 6254 | 3275 | 65,6 | ano | |
| sv | 2006 | CoNLL | 7140 | 5075 | 2065 | 71,1 | | | sv | 2006 | CoNLL | 7140 | 5075 | 2065 | 71,1 | | ||
| sv | 2006 | PDT | 7140 | 5232 | 1908 | 73,3 | ano | | | sv | 2006 | PDT | 7140 | 5232 | 1908 | 73,3 | ano | | ||
Line 82: | Line 85: | ||
| zh | 2006 | PDT | 1839 | 1252 | 587 | 68,1 | ne | | | zh | 2006 | PDT | 1839 | 1252 | 587 | 68,1 | ne | | ||
| zh | 2007 | CoNLL | 2277 | 1506 | 771 | 66,1 | | | zh | 2007 | CoNLL | 2277 | 1506 | 771 | 66,1 | | ||
- | | zh | 2007 | PDT | 2277 | 1449 | 828 | 63,6 | | + | | zh | 2007 | PDT | 2277 | 1449 | 828 | 63,6 | ano | |
- | Převod značek do sady PDT pomohl všude kromě čínštiny, | + | Převod značek do sady PDT pomohl všude kromě čínštiny, |
+ | |||
+ | Následující tabulka je opravou té předchozí. Značky obsahující tabulátory už se ukládají správně, úprava značek je opravdu vypnutá. | ||
+ | |||
+ | | Jazyk | Rok | Značky | A | G | B | P | SV | | ||
+ | | ar | 2006 | CoNLL | 3955 | 2527 | 1428 | 63,9 | | ||
+ | | ar | 2006 | PDT | 3955 | 2640 | 1315 | 66,8 | ano | | ||
+ | | ar | 2007 | CoNLL | 5873 | 3813 | 2060 | 64,9 | | ||
+ | | ar | 2007 | PDT | 5873 | 3771 | 2102 | 64,2 | ne | | ||
+ | | bg | 2006 | CoNLL | 4677 | 3380 | 1297 | 72,3 | | ||
+ | | bg | 2006 | PDT | 4677 | 3331 | 1346 | 71,2 | ne | | ||
+ | | cs | 2006 | CoNLL | 5643 | 3617 | 2026 | 64,1 | | ||
+ | | cs | 2006 | PDT | 5643 | 3618 | 2025 | 64,1 | ne | | ||
+ | | cs | 2007 | CoNLL | 5760 | 3981 | 1779 | 69,1 | | ||
+ | | cs | 2007 | PDT | 5760 | 3952 | 1808 | 68,6 | ano | | ||
+ | | da | 2006 | CoNLL | 5470 | 3825 | 1645 | 69,9 | | ||
+ | | da | 2006 | PDT | 5470 | 3858 | 1612 | 70,5 | ne | | ||
+ | | en | 2007 | CoNLL | 9529 | 6725 | 2804 | 70,6 | | ||
+ | | en | 2007 | PDT | 9529 | 6236 | 3293 | 65,4 | ano | | ||
+ | | sv | 2006 | CoNLL | 7140 | 5071 | 2069 | 71,0 | | ||
+ | | sv | 2006 | PDT | 7140 | 5181 | 1959 | 72,6 | ano | | ||
+ | | zh | 2006 | CoNLL | 1839 | 1286 | 553 | 69,9 | | ||
+ | | zh | 2006 | PDT | 1839 | 1258 | 581 | 68,4 | ne | | ||
+ | | zh | 2007 | CoNLL | 2277 | 1570 | 707 | 69,0 | | ||
+ | | zh | 2007 | PDT | 2277 | 1450 | 827 | 63,7 | ano | | ||
===== Starší poznámky ===== | ===== Starší poznámky ===== |