Differences

This shows you the differences between two versions of the page.

--- user:zeman:dz-parser:conll [2008/03/05 18:49]
zeman Převod značek do sady PDT.
+++ user:zeman:dz-parser:conll [2008/03/26 16:35]
zeman Výsledky rozboru češtiny.
@@ Line 1: / Line 1: @@
-====== Pokusy s DZ Parserem pro CoNLL 2007 ======
+====== Pokusy s DZ Parserem pro CoNLL ======
-Musíme odeslat i angličtinu!
+Tato stránka původně vznikla jako záznam o tom, jakým způsobem jsem spouštěl parser během soutěže v parsingu CoNLL 2007, abych tyto pokusy dokázal zopakovat. Postupně se mění na stránku o pokusech s daty CoNLL obecně (nejen 2007).
+===== Proměnné =====
+Používám proměnné prostředí, které mám nastavené ve svém ''.cshrc'' takto:
+<code>setenv PARSINGROOT /net/work/people/zeman/parsing
+setenv TOOLS $PARSINGROOT/tools
+setenv INTERSET ~zeman/projekty/interset
+setenv PARSER ~zeman/projekty/parser</code>
+Kromě toho mám ve své ''PATH'' přidáno ''$INTERSET/bin'' a v ''PERLLIB'' a ''PERL5LIB'' mám mj. ''$INTERSET/lib'' a ''$PARSINGROOT/lib''.
+===== Starší poznámky =====
 Postup zpracování jednoho jazyka CoNLL:
@@ Line 25: / Line 38: @@
 $parser/train.pl < $cesta/${xx}dtrain.csts > $cesta/${xx}.stat
 $parser/parse.pl -m $cesta/${xx}.stat < $cesta/${xx}dtest.csts > $cesta/${xx}dtest.dz.csts
-~zeman/projekty/interset/bin/csts-zh-conll-cs-pdt.pl < $cesta/${xx}dtrain.csts > $cesta/${xx}dtrain.pdt.csts</code>
+~zeman/projekty/interset/bin/csts-zh-conll-cs-pdt.pl < $cesta/${xx}dtrain.csts > $cesta/${xx}dtrain.pdt.csts
+~zeman/projekty/interset/bin/csts-zh-conll-cs-pdt.pl < $cesta/${xx}dtest.csts > $cesta/${xx}dtest.pdt.csts
+$parser/train.pl < $cesta/${xx}dtrain.pdt.csts > $cesta/${xx}.pdt.stat
+$parser/parse.pl -m $cesta/${xx}.pdt.stat < $cesta/${xx}dtest.pdt.csts > $cesta/${xx}dtest.pdt.dz.csts</code>
+===== Čeština 2006 =====
+<code>setenv cesta /net/data/conll/2006/czech/pdt
+setenv xx cs
+cd $cesta
+csts_convert_tags.pl -f cs::conll -t cs::pdt < cstrain.csts > cstrain.pdttags.csts
+csts_convert_tags.pl -f cs::conll -t cs::pdt < cstest.csts > cstest.pdttags.csts
+$PARSER/train.pl < $cesta/${xx}train.pdttags.csts > $cesta/${xx}.pdttags.stat
+$PARSER/parse.pl -m $cesta/${xx}.pdttags.stat < $cesta/${xx}test.pdttags.csts > $cesta/${xx}test.pdttags.dz.csts</code>
+Výsledky (365 vět, které CoNLL dodalo jako testovací): A 5853 - G 4197 - B 1656 - P <html><span style='background:yellow'>71,71</span></html>&nbsp;%
+Parser (i trénování) byl spuštěn s výchozími parametry bez konfiguračního souboru. Neměl tušení, že zpracovává svůj rodný jazyk. Kromě toho, že testovací data jsou jiná (a podstatně menší), než jsem měl přímo při práci s PDT, také chybí přídavné informace u lemmat (protože je CoNLL částečně přesunulo do atributu Sem, jehož hodnotu jsem při převádění značek zpět na PDT zahodil). Parser z nich využíval informace o křestním jménu a příjmení. Na druhou stranu parseru mohlo pomoct, že pracujeme s ručně přiřazenými značkami.

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences