[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

• ÚFAL Wiki Home
• ÚFAL Home
• Sitemap
• RSS
• ÚFAL calendar
• Recent changes
• Login
• Hledat:

[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

View differences: Side by SideInline Go

Link to this comparison view

Both sides previous revision Previous revision 2009/03/26 08:21 zeman Úvod.2009/03/13 18:25 zeman A pak ještě Makefile.2009/03/13 18:24 zeman Sémantika.2009/03/03 16:28 zeman Makefile.2009/03/02 11:38 zeman Výsledky CoNLL 2009 (zatím bez úprav značek).2008/04/29 13:04 zeman Srovnání konfigurací parseru.2008/04/29 12:56 zeman Doplnění německých a portugalských výsledků s výchozí konfigurací parseru.2008/04/29 12:23 zeman Tvar parametru VAR.2008/04/29 10:12 zeman Výsledky němčiny a portugalštiny.2008/04/25 11:49 zeman Parametr vypsat_tabulku.pl2008/04/25 11:42 zeman Upřesnění parametrů.2008/04/25 11:30 zeman Dokumentace skriptů.2008/04/01 10:03 zeman Dodatečně ještě němčina.2008/03/28 18:57 zeman 2008/03/28 18:57 zeman 02 a 03.2008/03/28 18:23 zeman Srovnání výchozího nastavení CoNLL s nastavením 01 PDT.2008/03/28 18:15 zeman 2008/03/28 17:56 zeman 2008/03/28 16:44 zeman Zapnutá úprava morfologických značek a selektivní lexikalizace.2008/03/28 15:49 zeman Oprava výchozích výsledků. Nyní se opravdu neupravují morfologické značky a správně se ukládají události s tabulátory.2008/03/28 15:43 zeman 2008/03/28 15:20 zeman Opravný experiment.2008/03/28 12:45 zeman 2008/03/28 12:42 zeman Statistická významnost.2008/03/28 12:28 zeman Statistická významnost.2008/03/27 22:58 zeman Komentář k výsledkům se značkami PDT.2008/03/27 22:49 zeman Čeština 2006.2008/03/27 22:38 zeman Výsledky se značkami PDT.2008/03/27 21:51 zeman Výsledky 2006.2008/03/27 21:10 zeman Výsledky dtest původní značky.2008/03/27 20:44 zeman 2008/03/26 16:35 zeman Výsledky rozboru češtiny.2008/03/26 16:05 zeman Ještě výstup.2008/03/26 16:01 zeman Rozbor češtiny. Go Next revision		Previous revision 2009/03/26 08:21 zeman Úvod.2009/03/13 18:25 zeman A pak ještě Makefile.2009/03/13 18:24 zeman Sémantika.2009/03/03 16:28 zeman Makefile.2009/03/02 11:38 zeman Výsledky CoNLL 2009 (zatím bez úprav značek).2008/04/29 13:04 zeman Srovnání konfigurací parseru.2008/04/29 12:56 zeman Doplnění německých a portugalských výsledků s výchozí konfigurací parseru.2008/04/29 12:23 zeman Tvar parametru VAR.2008/04/29 10:12 zeman Výsledky němčiny a portugalštiny.2008/04/25 11:49 zeman Parametr vypsat_tabulku.pl2008/04/25 11:42 zeman Upřesnění parametrů.2008/04/25 11:30 zeman Dokumentace skriptů.2008/04/01 10:03 zeman Dodatečně ještě němčina.2008/03/28 18:57 zeman 2008/03/28 18:57 zeman 02 a 03.2008/03/28 18:23 zeman Srovnání výchozího nastavení CoNLL s nastavením 01 PDT.2008/03/28 18:15 zeman 2008/03/28 17:56 zeman 2008/03/28 16:44 zeman Zapnutá úprava morfologických značek a selektivní lexikalizace.2008/03/28 15:49 zeman Oprava výchozích výsledků. Nyní se opravdu neupravují morfologické značky a správně se ukládají události s tabulátory.2008/03/28 15:43 zeman 2008/03/28 15:20 zeman Opravný experiment.2008/03/28 12:45 zeman 2008/03/28 12:42 zeman Statistická významnost.2008/03/28 12:28 zeman Statistická významnost.2008/03/27 22:58 zeman Komentář k výsledkům se značkami PDT.2008/03/27 22:49 zeman Čeština 2006.2008/03/27 22:38 zeman Výsledky se značkami PDT.2008/03/27 21:51 zeman Výsledky 2006.2008/03/27 21:10 zeman Výsledky dtest původní značky.2008/03/27 20:44 zeman 2008/03/26 16:35 zeman Výsledky rozboru češtiny.2008/03/26 16:05 zeman Ještě výstup.2008/03/26 16:01 zeman Rozbor češtiny.2008/03/26 13:30 zeman Trénování se značkami PDT.2008/03/26 11:56 zeman Trénování parseru na češtině z CoNLL 2006.2008/03/26 09:49 zeman Čeština 2006.2008/03/05 18:53 zeman Parsing korpusu s převedenými značkami.2008/03/05 18:49 zeman Převod značek do sady PDT.2008/03/05 14:32 zeman Nefunguje.2007/03/29 23:13 zeman vytvořeno Go Next revision Both sides next revision
user:zeman:dz-parser:conll [2008/04/29 10:12] zeman Výsledky němčiny a portugalštiny.		user:zeman:dz-parser:conll [2008/04/29 12:56] zeman Doplnění německých a portugalských výsledků s výchozí konfigurací parseru.
Line 28:		Line 28:
	$PARSER/train.pl < $DATA/$ROK/$JAZYK/dtrain.csts > $JAZYK.stat		$PARSER/train.pl < $DATA/$ROK/$JAZYK/dtrain.csts > $JAZYK.stat
	($PARSER/parse.pl -m $JAZYK.stat < $DATA/$ROK/$JAZYK/dtest.csts > $JAZYK.dtest.dz.csts) >& $JAZYK.dtest.log</code>		($PARSER/parse.pl -m $JAZYK.stat < $DATA/$ROK/$JAZYK/dtest.csts > $JAZYK.dtest.dz.csts) >& $JAZYK.dtest.log</code>
-
-
	===== Zpracování na clusteru =====		===== Zpracování na clusteru =====
Line 37:		Line 35:
	* ''qtp2007.csh'' ... přetrénování a rozbor všech jazyků 2007 bez machinací se značkami		* ''qtp2007.csh'' ... přetrénování a rozbor všech jazyků 2007 bez machinací se značkami
	* ''qtppdt.csh'' ... přetrénování a rozbor dat se značkami převedenými do sady PDT u jazyků, u kterých to umíme, z&nbsp;obou let		* ''qtppdt.csh'' ... přetrénování a rozbor dat se značkami převedenými do sady PDT u jazyků, u kterých to umíme, z&nbsp;obou let
-	* ''trainparse.csh ROK JAZYK VAR INI'' ... přetrénování a rozbor jednoho korpusu (rok a jazyk jsou jasné parametry, var je varianta dat, třeba "''.pdttags''", a ini je název konfiguračního souboru bez přípony .ini, třeba "''03''")	+	* ''trainparse.csh ROK JAZYK VAR INI'' ... přetrénování a rozbor jednoho korpusu (rok a jazyk jsou jasné parametry, var je varianta dat, třeba "''pdttags''", a ini je název konfiguračního souboru bez přípony .ini, třeba "''03''")
	* ''harvest.csh'' ... pro všechny roky a jazyky (a u korpusů, u kterých to umíme, i pro data se značkami převedenými do PDT) zavolá ''porovnat.pl'' na zlatý standard a výstup parseru, čímž kromě úspěšnosti získáme i McNemarův test statistické významnosti zlepšení nebo zhoršení, které přinesl převod značek oproti datům s&nbsp;původními značkami		* ''harvest.csh'' ... pro všechny roky a jazyky (a u korpusů, u kterých to umíme, i pro data se značkami převedenými do PDT) zavolá ''porovnat.pl'' na zlatý standard a výstup parseru, čímž kromě úspěšnosti získáme i McNemarův test statistické významnosti zlepšení nebo zhoršení, které přinesl převod značek oproti datům s&nbsp;původními značkami
	* ''vypsat_tabulku.pl'' dělá podobnou věc jako ''harvest.csh'', ale výsledky rovnou formátuje jako tabulku, kterou můžeme uložit v&nbsp;této wiki. Má parametr ''INI'', který říká, jaké výsledky (získané s&nbsp;jakým konfiguračním souborem) se mají sbírat.		* ''vypsat_tabulku.pl'' dělá podobnou věc jako ''harvest.csh'', ale výsledky rovnou formátuje jako tabulku, kterou můžeme uložit v&nbsp;této wiki. Má parametr ''INI'', který říká, jaké výsledky (získané s&nbsp;jakým konfiguračním souborem) se mají sbírat.
Line 46:		Line 44:
	Následující tabulka ukazuje úspěšnost DZ parseru s výchozím nastavením na průběžných testovacích datech CoNLL, s původními neupravenými značkami CoNLL (tabulátory, rysy oddělené svislítky).		Následující tabulka ukazuje úspěšnost DZ parseru s výchozím nastavením na průběžných testovacích datech CoNLL, s původními neupravenými značkami CoNLL (tabulátory, rysy oddělené svislítky).
		+	Úspěšnost parsingu s&nbsp;původními značkami CoNLL:
	| Jazyk | Rok | P |		| Jazyk | Rok | P |
	| ar | 2006 | 63.9 |		| ar | 2006 | 63.9 |
Line 79:		Line 77:
	| cs | 2007 | 69.1 | 68.6 | horší | ano (3.948357) |		| cs | 2007 | 69.1 | 68.6 | horší | ano (3.948357) |
	| da | 2006 | 69.9 | 70.5 | lepší | ne (2.082218) |		| da | 2006 | 69.9 | 70.5 | lepší | ne (2.082218) |
		+	| de | 2006 | 71.8 | 67.5 | horší | ano (61.301887) |
	| en | 2007 | 70.6 | 65.4 | horší | ano (227.951382) |		| en | 2007 | 70.6 | 65.4 | horší | ano (227.951382) |
		+	| pt | 2006 | 73.8 | 76.4 | lepší | ano (44.312588) |
	| sv | 2006 | 71.0 | 72.6 | lepší | ano (12.763713) |		| sv | 2006 | 71.0 | 72.6 | lepší | ano (12.763713) |
	| zh | 2006 | 69.9 | 68.4 | horší | ne (1.574297) |		| zh | 2006 | 69.9 | 68.4 | horší | ne (1.574297) |

---

[ Back to the navigation ] [ Back to the content ]