[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » user » zeman » dz-parser » vysledky

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
user:zeman:dz-parser:vysledky [2007/05/16 12:03]
zeman Výsledek PADT ruční značky. 		user:zeman:dz-parser:vysledky [2008/02/20 13:29] (current)
zeman Bulharština, slovinština a konec Atanasova dva roky starého mailu.
Line 136: Line 136:
  
 A 6210 - G 4037 - B 2173 - P <html><span style='background:yellow'>0.650080515297907</span></html>. A 6210 - G 4037 - B 2173 - P <html><span style='background:yellow'>0.650080515297907</span></html>.
 +
 +
 +
 +
 +===== Atanas Čanev, jaro 2006 až 2008 =====
 +
 +Atanas se mi ozval, že zkouší použít DZ Parser na italský TUT (Turin University Treebank) a na pár dalších (BulTreeBank, Slovene Dependency Treebank). Úspěšnost nebyla nic moc a měl nějaké problémy s nastavením. Na poslední mail z 13.4.2006 jsem mu téměř 2 roky neodpověděl a teď už to ztrácí smysl.
 +
 +Pokusy s TUT mám na nilu jako samostatný projekt ve složce projekty\tut. Na zenu tenhle projekt nemám, tam mám jen projekty/parser. Dnes (19.2.2008) ho tam kopíruji, ale cílem je sloučit ho se složkou parser a data odstěhovat do příslušných složek na data.
 +
 +
 +==== 20.3.2006 ====
 +
 +Tyto výsledky jsem zaznamenal při prvních pokusech s Turínským treebankem. Parser používal původní turínské morfologické značky (snad přiřazené ručně, ale nevím). Značky nebyly nijak upravovány. Koordinace nebyla zpracovávána odlišně od pravých závislostí. Celá data obsahují 1500 vět, které jsem si rozdělil na prvních 1350 trénovacích a zbývajících 150 testovacích. Průměrná délka turínské věty je 27,7 tokenů (v češtině je to jen asi 17). Trénovací data obsahují 37557 tokenů. Testovací data obsahují 4059 tokenů.
 +
 +Parsing **všech** (i trénovacích!) dat parserem natrénovaným na všech datech:
 +
 +A 41616 - G 30254 - B 11362 - P 72,7 %
 +
 +Výsledky na testovacích datech:
 +
 +A 4059 - G 2862 - B 1197 - P 70,5 %
 +
 +==== 19.2.2008 ====
 +
 +Následující příkazy nefungují, protože DZ Parser zatím není možné spustit z jiné složky, než ve které se nachází. Perl nenajde knihovny .pm.
 +
 +<code>cd /home/zeman/projekty/tut
 +../parser/train.pl -i parser-tut.ini < tut.dz.csts
 +../parser/parse.pl -i parser-tut.ini < test.dz.csts</code>
 +
 +Chtělo by to přidat nějakou inicializaci (BEGIN), která zařídí, že skript se dívá po knihovnách ve složce, ve které sám leží, aniž by tato složka musela být aktuální.
 +
 +<code perl>BEGIN {my $path = `dirname $0`; $path =~ s/\r?\n$//; unshift(@INC, $path) unless(grep {$_ eq $path} @INC)}</code>
 +
 +Přidal jsem výše uvedený řádek do train.pl a funguje to. Měl bych totéž přidat ještě do parse.pl a všechno uložit do SVN.
 +
 +Dále se zdá, že současná verze parseru nepřečte treebank, který není v UTF-8, ale v ISO 8859-1 (italština). Jakmile narazí na ne-ASCII znak, vyhodnotí ho jako začátek poškozeného znaku UTF-8, ohlásí chybu a skončí. Pro tuto chvíli to řeším tím, že převádím Turínský treebank do UTF-8. Je to divné, protože na první pohled treebank vůbec neobsahuje ne-ASCII znaky. Italské samohlásky s accentem grave se tu totiž objevují jako ASCII samohlásky následované apostrofem. Jak se zdá, týká se to výhradně "většítkových uvozovek" ("»").
 +
 +<code>../parser/train.pl -i parser-tut.ini < train.dz.utf.csts > tut.utf.stat
 +../parser/parse.pl -i parser-tut.ini --model tut.utf.stat < test.dz.csts</code>
 +
 +<code>17:33:59 Statistika obsahuje 150383 událostí.
 +Počet vět  = 1500
 +Počet slov = 41616
 +Maska pro jména souborů s daty: -
 +Nalezeno 1 souborů.
 +17:34:01 Otevírá se soubor -
 +17:34:01 N-tice: Zpracovává se věta 0.
 +Výpočet skončil v 17:34:01.
 +Program běžel 00:00:14 hodin.</code>
 +
 +
 +
 +
 +==== 20.2.2008 ====
 +
 +Propracoval jsem se až k puštění parsingu, ale stěžuje si, že nemůže otevřít soubor zakazy_preskoceni.txt. Tenhle soubor pochopitelně pro italštinu vůbec nemám, ale divím se, že ho tahle verze ještě vyžaduje, všechny podobné externí zdroje jsem se totiž už dávno snažil zakomponovat do trénování. Snad bude stačit vypnout zákaz přeskakování v konfiguračním souboru.
 +
 +Nyní se pro změnu shání po souboru rematizatory. Tohle se zřejmě konfigurovat nedá, tak prostě nalinkuju český soubor ze sousední složky.
 +
 +A 4059 - G 2925 - B 1134 - P <html><span style='background:yellow'>0.720620842572062</span></html>.
 +
 +Nyní je na čase ověřit, jak se současná verze parseru liší od poslední verze uložené v SVN. Přinejmenším úprava pro nalezení knihoven by se tam uložit měla. Ukládám do SVN revizi 5.
 +
 +Nyní by to chtělo uklidit. Projekt tut zrušit, data přestěhovat mezi data, konfiguraci parseru přestěhovat do projektu parser.
 +
 +==== Bulharština ====
 +
 +Atanas mi ještě psal o problémech, které měl s rozborem bulharštiny z BulTreeBanku. U některých vět, které obsahovaly 2 slova (ve skutečnosti to byly nadpisy), na výstupu dostal pouze 1 slovo. Nemám dost podkladů, abych tuto chybu zopakoval (například nemám jeho trénovací data), takže tento problém nebudu řešit.
 +
 +Atanas hlásil na bulharštině úspěšnost 63,78 % (CoNLL bez interpunkce, unlabelled).
 +
 +==== Slovinština ====
 +
 +Atanas hlásil na slovinštině úspěšnost 58,34 % (CoNLL bez interpunkce, unlabelled).
 +

[ Back to the navigation ] [ Back to the content ]