[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » user » zeman » dz-parser » conll

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
Next revision Both sides next revision
user:zeman:dz-parser:conll [2008/03/28 18:15]
zeman 		user:zeman:dz-parser:conll [2008/04/29 12:56]
zeman Doplnění německých a portugalských výsledků s výchozí konfigurací parseru.
Line 29: Line 29:
 ($PARSER/parse.pl -m $JAZYK.stat < $DATA/$ROK/$JAZYK/dtest.csts > $JAZYK.dtest.dz.csts) >& $JAZYK.dtest.log</code> ($PARSER/parse.pl -m $JAZYK.stat < $DATA/$ROK/$JAZYK/dtest.csts > $JAZYK.dtest.dz.csts) >& $JAZYK.dtest.log</code>
  
 +===== Zpracování na clusteru =====
  
- +V&nbsp;''$OUTPUT/bin'' mám několik skriptů, které odesílají parsovací úlohy na cluster: 
- +  * ''qtp2006.csh'' ... přetrénování a rozbor všech jazyků 2006 bez machinací se značkami 
- +  * ''qtp2007.csh'' ... přetrénování a rozbor všech jazyků 2007 bez machinací se značkami 
- +  * ''qtppdt.csh'' ... přetrénování a rozbor dat se značkami převedenými do sady PDT u jazyků, u kterých to umíme, z&nbsp;obou let 
- +  * ''trainparse.csh ROK JAZYK VAR INI'' ... přetrénování a rozbor jednoho korpusu (rok a jazyk jsou jasné parametry, var je varianta dat, třeba "''pdttags''", a ini je název konfiguračního souboru bez přípony .ini, třeba "''03''") 
- +  * ''harvest.csh'' ... pro všechny roky a jazyky (a u korpusů, u kterých to umíme, i pro data se značkami převedenými do PDT) zavolá ''porovnat.pl'' na zlatý standard a výstup parseru, čímž kromě úspěšnosti získáme i McNemarův test statistické významnosti zlepšení nebo zhoršení, které přinesl převod značek oproti datům s&nbsp;původními značkami 
- +  * ''vypsat_tabulku.pl'' dělá podobnou věc jako ''harvest.csh'', ale výsledky rovnou formátuje jako tabulku, kterou můžeme uložit v&nbsp;této wiki. Má parametr ''INI'', který říká, jaké výsledky (získané s&nbsp;jakým konfiguračním souborem) se mají sbírat.
- +
- +
  
 ===== Výsledky ===== ===== Výsledky =====
Line 46: Line 44:
  
 Následující tabulka ukazuje úspěšnost DZ parseru s výchozím nastavením na průběžných testovacích datech CoNLL, s původními neupravenými značkami CoNLL (tabulátory, rysy oddělené svislítky). Následující tabulka ukazuje úspěšnost DZ parseru s výchozím nastavením na průběžných testovacích datech CoNLL, s původními neupravenými značkami CoNLL (tabulátory, rysy oddělené svislítky).
 +Úspěšnost parsingu s&nbsp;původními značkami CoNLL:
 | Jazyk | Rok | P | | Jazyk | Rok | P |
 | ar | 2006 | 63.9 | | ar | 2006 | 63.9 |
Line 79: Line 77:
 | cs | 2007 | 69.1 | 68.6 | horší | ano (3.948357) | | cs | 2007 | 69.1 | 68.6 | horší | ano (3.948357) |
 | da | 2006 | 69.9 | 70.5 | lepší | ne (2.082218) | | da | 2006 | 69.9 | 70.5 | lepší | ne (2.082218) |
 +| de | 2006 | 71.8 | 67.5 | horší | ano (61.301887) |
 | en | 2007 | 70.6 | 65.4 | horší | ano (227.951382) | | en | 2007 | 70.6 | 65.4 | horší | ano (227.951382) |
 +| pt | 2006 | 73.8 | 76.4 | lepší | ano (44.312588) |
 | sv | 2006 | 71.0 | 72.6 | lepší | ano (12.763713) | | sv | 2006 | 71.0 | 72.6 | lepší | ano (12.763713) |
 | zh | 2006 | 69.9 | 68.4 | horší | ne (1.574297) | | zh | 2006 | 69.9 | 68.4 | horší | ne (1.574297) |
Line 124: Line 124:
 | zh | 2006 | 69.0 | 68.1 | horší | ne (1.000000) | | zh | 2006 | 69.0 | 68.1 | horší | ne (1.000000) |
 | zh | 2007 | 66.1 | 63.6 | horší | ano (8.950413) | | zh | 2007 | 66.1 | 63.6 | horší | ano (8.950413) |
 +
 +=== Srovnání výchozího nastavení CoNLL s nastavením 01 PDT ===
 +
 +| Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar |
 +| ar | 2006 | 63.9 | 67.3 | lepší | ano (21.670630) |
 +| ar | 2007 | 64.9 | 66.7 | lepší | ano (9.078534) |
 +| bg | 2006 | 72.3 | 71.4 | horší | ne (1.904968) |
 +| cs | 2006 | 64.1 | 71.6 | lepší | ano (170.571020) |
 +| cs | 2007 | 69.1 | 74.2 | lepší | ano (85.242604) |
 +| da | 2006 | 69.9 | 69.5 | horší | ne (0.821288) |
 +| en | 2007 | 70.6 | 65.6 | horší | ano (176.765737) |
 +| sv | 2006 | 71.0 | 73.1 | lepší | ano (24.369923) |
 +| zh | 2006 | 69.9 | 68.1 | horší | ne (2.330645) |
 +| zh | 2007 | 69.0 | 63.6 | horší | ano (22.769829) |
 +
 +
 +==== 02: navíc zakázané přeskakování bezdětných předložek ====
 +| Jazyk | Rok | P |
 +| ar | 2006 | 64.3 |
 +| ar | 2007 | 59.8 |
 +| bg | 2006 | 68.0 |
 +| ca | 2007 | 69.9 |
 +| cs | 2006 | 56.1 |
 +| cs | 2007 | 58.7 |
 +| da | 2006 | 68.3 |
 +| de | 2006 | 68.5 |
 +| el | 2007 | 67.1 |
 +| en | 2007 | 63.8 |
 +| eu | 2007 | 58.4 |
 +| hu | 2007 | 62.3 |
 +| it | 2007 | 72.1 |
 +| ja | 2006 | 74.6 |
 +| nl | 2006 | 73.0 |
 +| pt | 2006 | 73.5 |
 +| sl | 2006 | 63.8 |
 +| sv | 2006 | 71.0 |
 +| tr | 2007 | 65.1 |
 +| zh | 2006 | 69.0 |
 +| zh | 2007 | 66.1 |
 +
 +| Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar |
 +| ar | 2006 | 64.3 | 67.6 | lepší | ano (24.635569) |
 +| ar | 2007 | 59.8 | 66.9 | lepší | ano (162.665108) |
 +| bg | 2006 | 68.0 | 71.3 | lepší | ano (41.317073) |
 +| cs | 2006 | 56.1 | 71.4 | lepší | ano (583.183944) |
 +| cs | 2007 | 58.7 | 74.0 | lepší | ano (611.467919) |
 +| da | 2006 | 68.3 | 69.8 | lepší | ano (9.116809) |
 +| en | 2007 | 63.8 | 67.3 | lepší | ano (97.889876) |
 +| sv | 2006 | 71.0 | 73.5 | lepší | ano (38.126126) |
 +| zh | 2006 | 69.0 | 68.0 | horší | ne (1.249135) |
 +| zh | 2007 | 66.1 | 63.5 | horší | ano (9.836066) |
 +
 +| Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar |
 +| ar | 2006 | 63.9 | 67.6 | lepší | ano (26.578554) |
 +| ar | 2007 | 64.9 | 66.9 | lepší | ano (12.122523) |
 +| bg | 2006 | 72.3 | 71.3 | horší | ne (2.198697) |
 +| cs | 2006 | 64.1 | 71.4 | lepší | ano (163.208696) |
 +| cs | 2007 | 69.1 | 74.0 | lepší | ano (78.750246) |
 +| da | 2006 | 69.9 | 69.8 | horší | ne (0.065772) |
 +| en | 2007 | 70.6 | 67.3 | horší | ano (80.847587) |
 +| sv | 2006 | 71.0 | 73.5 | lepší | ano (35.800000) |
 +| zh | 2006 | 69.9 | 68.0 | horší | ne (2.623482) |
 +| zh | 2007 | 69.0 | 63.5 | horší | ano (23.875776) |
 +
 +
 +
 +==== 03: navíc zapnuté modelování pseudovalence ====
 +
 +Úspěšnost parsingu s&nbsp;původními značkami CoNLL:
 +| Jazyk | Rok | P |
 +| ar | 2006 | 64.4 |
 +| ar | 2007 | 59.8 |
 +| bg | 2006 | 67.6 |
 +| ca | 2007 | 69.9 |
 +| cs | 2006 | 56.0 |
 +| cs | 2007 | 58.7 |
 +| da | 2006 | 68.3 |
 +| de | 2006 | 69.5 |
 +| el | 2007 | 67.2 |
 +| en | 2007 | 64.2 |
 +| eu | 2007 | 58.4 |
 +| hu | 2007 | 62.3 |
 +| it | 2007 | 72.2 |
 +| ja | 2006 | 74.9 |
 +| nl | 2006 | 73.2 |
 +| pt | 2006 | 73.5 |
 +| sl | 2006 | 63.8 |
 +| sv | 2006 | 71.0 |
 +| tr | 2007 | 65.2 |
 +| zh | 2006 | 67.5 |
 +| zh | 2007 | 64.6 |
 +
 +Srovnání úspěšnosti parsingu s&nbsp;původními značkami a se značkami PDT:
 +| Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar |
 +| ar | 2006 | 64.4 | 67.6 | lepší | ano (23.953216) |
 +| ar | 2007 | 59.8 | 67.0 | lepší | ano (165.491130) |
 +| bg | 2006 | 67.6 | 71.0 | lepší | ano (45.224638) |
 +| cs | 2006 | 56.0 | 71.4 | lepší | ano (587.655280) |
 +| cs | 2007 | 58.7 | 74.3 | lepší | ano (627.063764) |
 +| da | 2006 | 68.3 | 69.8 | lepší | ano (8.878214) |
 +| de | 2006 | 69.5 | 67.7 | horší | ano (9.841876) |
 +| en | 2007 | 64.2 | 67.9 | lepší | ano (110.976037) |
 +| pt | 2006 | 73.5 | 76.4 | lepší | ano (42.581187) |
 +| sv | 2006 | 71.0 | 73.2 | lepší | ano (27.717540) |
 +| zh | 2006 | 67.5 | 68.8 | lepší | ne (2.042553) |
 +| zh | 2007 | 64.6 | 64.6 | stejná | ne (0.000000) |
 +
 +Totéž, ale parsing s&nbsp;původními značkami použil výchozí konfiguraci místo 03.
 +| Jazyk | Rok | P(CoNLL) | P(PDT) | Změna | McNemar |
 +| ar | 2006 | 63.9 | 67.6 | lepší | ano (27.380000) |
 +| ar | 2007 | 64.9 | 67.0 | lepší | ano (12.949640) |
 +| bg | 2006 | 72.3 | 71.0 | horší | ne (3.688525) |
 +| cs | 2006 | 64.1 | 71.4 | lepší | ano (167.052632) |
 +| cs | 2007 | 69.1 | 74.3 | lepší | ano (87.422200) |
 +| da | 2006 | 69.9 | 69.8 | horší | ne (0.046272) |
 +| de | 2006 | 71.8 | 67.7 | horší | ano (54.691057) |
 +| en | 2007 | 70.6 | 67.9 | horší | ano (55.470000) |
 +| pt | 2006 | 73.8 | 76.4 | lepší | ano (34.848721) |
 +| sv | 2006 | 71.0 | 73.2 | lepší | ano (22.530318) |
 +| zh | 2006 | 69.9 | 68.8 | horší | ne (0.757576) |
 +| zh | 2007 | 69.0 | 64.6 | horší | ano (14.266376) |
  
 ===== Starší poznámky ===== ===== Starší poznámky =====

[ Back to the navigation ] [ Back to the content ]