This is an old revision of the document!
Table of Contents
Výsledky
Čeština PDT 2.0
train.pl -i parser-pdt.ini parse.pl -i parser-pdt.ini
A 158962 - G 118894 - B 40068 - P 0.74793975918773. Tato úspěšnost je nižší než dříve. Podle záznamů na stránce o českém parsingu jsem už dříve na d-testu PDT 2.0 dosáhl 75 %. SVN revize 3 ale dává stejné výsledky jako teď (P 74,8, G 118894). Uvidíme, co udělá revize 1, která ale není zvyklá pracovat s daty zakódovanými v UTF-8.
Při rutinní kontrole 28.3.2007 (po separaci funkce ud() do modulu ud.pm) je to najednou zase vyšší, tak nechápu, co jsem to minule dělal. Každopádně to commitnu.
A 158962 - G 118984 - B 39978 - P 0.748505932235377.
15.5.2007:
train.pl -i parser-pdt.ini > pracovni/pdt2.stat
Trénink trval na zenu 27 minut.
parse.pl -i parser-pdt.ini -m pracovni/pdt2.stat > pracovni/pdt2dtest.dz.csts
Rozbor trval na zenu 35 minut.
A 158962 - G 118984 - B 39978 - P 0.748505932235377.
Výsledky CoNLL 2006
Arabština
train.pl < /net/data/CoNLL/2006/arabic/padt/artrain.02.csts parse.pl < /net/data/CoNLL/2006/arabic/padt/artest.02.csts
G 3086 - B 2287 - P 57,44 %. Ruční značky (jiné nemáme) převedené z CoNLL do PDT. Slova a hesla obsahují za podtržítkem Buckwalterovu transliteraci tak jako v CoNLL. Ta je ovšem převedena na malá písmena, což můj parser dělá i jinde.
Výsledky CoNLL 2007
Viz též Data CoNLL.
Arabština
train.pl < /net/data/conll/2007/arabic/padt/ardtrain.csts parse.pl < /net/data/conll/2007/arabic/padt/ardtest.csts
G 3591 - P = 61,1 %
Baskičtina
train.pl < /net/data/CoNLL/2007/basque/3lbBasque/eudtrain.csts parse.pl < /net/data/CoNLL/2007/basque/3lbBasque/eudtest.csts
A 4334 - G 2630 - B 1704 - P 0.606829718504845.
Čeština
Nastavení: stejné jako pro ostatní jazyky, podle výchozího parser.ini. Zvláštní zpracování koordinací je vypnuté. Značky se sice upravují, ale z tvaru CoNLL, v důsledku čehož parser nemá k dispozici informaci o pádu.
train.pl < /net/data/CoNLL/2007/czech/pdt/csdtrain.csts parse.pl < /net/data/CoNLL/2007/czech/pdt/csdtest.csts
A 5760 - G 3067 - B 2693 - P 0.532465277777778.
Zkouším primitivní model přiřazení syntaktických značek závislostem. Model přiřazuje nejčetnější syntaktickou značku pro danou dvojici morfologických značek rodiče a dítěte. Trénuje se na ručně přiřazených značkách.
atrain.pl < /net/data/conll/2007/czech/pdt/csdtrain.csts > cs.astat
Při nasazení modelu na trénovací (!) data je úspěšnost 85 %: A 451536 - G 385252 - B 66284 - P 0.853203288331384. Překvapivé je, že na testovacích datech to není horší, ale dokonce nepatrně lepší: A 6124 - G 5237 - B 887 - P 0.855160026126715.
Další pokus. Tentokrát pouštím na stromy vypadlé z parseru. První běh stavěl stromy podle návrhů parseru, druhý podle původní ruční anotace. Druhý by tedy měl odpovídat výše naměřenému výsledku na testovacích datech, ale neodpovídá.
12:49 zen:/export/home/zeman/projekty/parser> aclass.pl < csdtest.dz.csts A 6124 - G 3355 - B 2769 - P 0.547844546048334 12:49 zen:/export/home/zeman/projekty/parser> aclass.pl < csdtest.dz.csts A 6124 - G 4875 - B 1249 - P 0.796048334421946
Potřebujeme umět skriptu říct pomocí parametrů na příkazovém řádku, podle jaké anotace se má stavět strom, na jehož základě budeme odhadovat syntaktické značky.
Potřebujeme umět skriptu předat cestu k modelu, podle kterého má syntaktické značky odhadovat.
Potřebujeme umět skriptu říct, že místo testování úspěšnosti chceme vypsat CSTS s přidanými syntaktickými značkami.
Čínština
train.pl < /net/data/CoNLL/2007/chinese/sinica/zhdtrain.csts parse.pl < /net/data/CoNLL/2007/chinese/sinica/zhdtest.csts
A 2277 - G 1513 - B 764 - P 0.664470794905577.
Italština
train.pl < /net/data/CoNLL/2007/italian/isst/itdtrain.csts parse.pl < /net/data/CoNLL/2007/italian/isst/itdtest.csts
A 7643 - G 4866 - B 2777 - P 0.63666099699071.
Katalánština
train.pl < /net/data/CoNLL/2007/catalan/cess-cat/cadtrain.csts parse.pl < /net/data/CoNLL/2007/catalan/cess-cat/cadtest.csts
A 10971 - G 6768 - B 4203 - P 0.616899097621001.
Maďarština
train.pl < /net/data/CoNLL/2007/hungarian/szeged/hudtrain.csts parse.pl < /net/data/CoNLL/2007/hungarian/szeged/hudtest.csts
A 5995 - G 3164 - B 2831 - P 0.527773144286906.
Řečtina
train.pl < /net/data/CoNLL/2007/greek/gdt/eldtrain.csts parse.pl < /net/data/CoNLL/2007/greek/gdt/eldtest.csts
A 4874 - G 3122 - B 1752 - P 0.640541649569142.
Turečtina
train.pl < /net/data/CoNLL/2007/turkish/metu/trdtrain.csts parse.pl < /net/data/CoNLL/2007/turkish/metu/trdtest.csts
A 6210 - G 4037 - B 2173 - P 0.650080515297907.