[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » user » zeman » dz-parser » icon

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
Next revision Both sides next revision
user:zeman:dz-parser:icon [2009/11/19 15:49]
zeman Inventura seznamu věcí k udělání. 		user:zeman:dz-parser:icon [2009/11/19 22:30]
zeman Nová data?
Line 5: Line 5:
 ===== Zbývá udělat ===== ===== Zbývá udělat =====
  
-  * Vybrat SVN repozitář, do kterého tyto pokusy budu archivovat, vybrat soubory, které tam patří (Makefile, specifické skripty, vstupní data, soubory s vyhodnocením...) a dát je tam. +  * Zjistit, čím se liší nová data, která pořadatelé zveřejnili po prvním vyhodnocení, a jaká mi na nich vychází úspěšnost.
-  * Více si pohrát s konfigurací Malt parseru. Zejména vyzkoušet všech 7 algoritmů.+
   * Více si pohrát s rysy. Naučit se parserům předhazovat rysy. U Malt parseru je to dobře zdokumentováno, u MST ne.   * Více si pohrát s rysy. Naučit se parserům předhazovat rysy. U Malt parseru je to dobře zdokumentováno, u MST ne.
   * Přidat jako rys chunk label, a to i pro DZ Parser.   * Přidat jako rys chunk label, a to i pro DZ Parser.
Line 13: Line 12:
   * Vyzkoušet neprojektivní parsing MST parserem.   * Vyzkoušet neprojektivní parsing MST parserem.
   * Zjistit, proč je tolik chyb v syntaktickém značkování, a vylepšit ho. Třeba pomocí nějakého toolkitu pro strojové učení (Mallet apod.) Uvědomit si, že na jednom slovesu zřejmě nemohou viset dvě káčka se stejnými čísly (karma-karta). Taky že většina sloves asi vyžaduje k1.   * Zjistit, proč je tolik chyb v syntaktickém značkování, a vylepšit ho. Třeba pomocí nějakého toolkitu pro strojové učení (Mallet apod.) Uvědomit si, že na jednom slovesu zřejmě nemohou viset dvě káčka se stejnými čísly (karma-karta). Taky že většina sloves asi vyžaduje k1.
 +  * Více si pohrát s konfigurací Malt parseru. 7 algoritmů už jsem vyzkoušel, ale některé z nich mají ještě další parametry (práce s kořenem apod.), které jsem neměnil.
   * Vyhodnotit křivku učení.   * Vyhodnotit křivku učení.
   * Vyhodnotit požadavky na procesor, paměť a disk (je třeba nejdříve rozchodit skript).   * Vyhodnotit požadavky na procesor, paměť a disk (je třeba nejdříve rozchodit skript).
Line 217: Line 217:
   Unlabeled attachment score: 947 / 1250 * 100 = 75.76 %   Unlabeled attachment score: 947 / 1250 * 100 = 75.76 %
   Label accuracy score:       685 / 1250 * 100 = 54.80 %   Label accuracy score:       685 / 1250 * 100 = 54.80 %
 +
 +===== Parsovací algoritmy Malt parseru =====
 +
 +Zatím jsem neměnil root handling u Nivreho algoritmů (-r strict|relaxed|normal) a allow shift/root u Covingtona (-cs, -cr). Tohle jsou nejlepší hodnoty, kterých jsem dosáhl. Na každém jazyku vyhrál jiný algoritmus. Na hindštině Malt parser opět překonal MST, takže bude potřeba upravit váhy při hlasování. Současný výsledek Malt parseru je lepší než dosud nejlepší výsledek dosažený hlasováním!
 +
 +hi 87.60 stacklazy
 +bn 85.57 covproj
 +te 81.04 stackeager
 +
 +==== nivrestandard ====
 +
 +Hindština i bengálština vyšla zřetelně lépe než nivreeager, telugština si lehce pohoršila.
 +
 +Thu Nov 19 18:41:43 CET 2009
 +/net/work/people/zeman/icon-parsing/work/hi/dtest.malt.eval.txt
 +  Labeled   attachment score: 812 / 1250 * 100 = 64.96 %
 +  Unlabeled attachment score: 1082 / 1250 * 100 = 86.56 %
 +  Label accuracy score:       847 / 1250 * 100 = 67.76 %
 +Thu Nov 19 18:41:45 CET 2009
 +/net/work/people/zeman/icon-parsing/work/bn/dtest.malt.eval.txt
 +  Labeled   attachment score: 491 / 811 * 100 = 60.54 %
 +  Unlabeled attachment score: 693 / 811 * 100 = 85.45 %
 +  Label accuracy score:       509 / 811 * 100 = 62.76 %
 +Thu Nov 19 18:41:46 CET 2009
 +/net/work/people/zeman/icon-parsing/work/te/dtest.malt.eval.txt
 +  Labeled   attachment score: 304 / 675 * 100 = 45.04 %
 +  Unlabeled attachment score: 541 / 675 * 100 = 80.15 %
 +  Label accuracy score:       339 / 675 * 100 = 50.22 %
 +
 +==== covproj ====
 +
 +Bengálština ještě trochu lepší, možná nesignifikantně. Ostatní ne.
 +
 +Thu Nov 19 19:47:14 CET 2009
 +/net/work/people/zeman/icon-parsing/work/hi/dtest.malt.eval.txt
 +  Labeled   attachment score: 801 / 1250 * 100 = 64.08 %
 +  Unlabeled attachment score: 1079 / 1250 * 100 = 86.32 %
 +  Label accuracy score:       836 / 1250 * 100 = 66.88 %
 +Thu Nov 19 19:47:15 CET 2009
 +/net/work/people/zeman/icon-parsing/work/bn/dtest.malt.eval.txt
 +  Labeled   attachment score: 500 / 811 * 100 = 61.65 %
 +  Unlabeled attachment score: 694 / 811 * 100 = 85.57 %
 +  Label accuracy score:       516 / 811 * 100 = 63.63 %
 +Thu Nov 19 19:47:15 CET 2009
 +/net/work/people/zeman/icon-parsing/work/te/dtest.malt.eval.txt
 +  Labeled   attachment score: 303 / 675 * 100 = 44.89 %
 +  Unlabeled attachment score: 542 / 675 * 100 = 80.30 %
 +  Label accuracy score:       330 / 675 * 100 = 48.89 %
 +
 +==== covnonproj ====
 +
 +Zlepšila se hindština. Bengálština se zhoršila, telugština zůstala.
 +
 +Thu Nov 19 21:21:46 CET 2009
 +/net/work/people/zeman/icon-parsing/work/hi/dtest.malt.eval.txt
 +  Labeled   attachment score: 811 / 1250 * 100 = 64.88 %
 +  Unlabeled attachment score: 1087 / 1250 * 100 = 86.96 %
 +  Label accuracy score:       843 / 1250 * 100 = 67.44 %
 +Thu Nov 19 21:21:46 CET 2009
 +/net/work/people/zeman/icon-parsing/work/bn/dtest.malt.eval.txt
 +  Labeled   attachment score: 492 / 811 * 100 = 60.67 %
 +  Unlabeled attachment score: 682 / 811 * 100 = 84.09 %
 +  Label accuracy score:       510 / 811 * 100 = 62.89 %
 +Thu Nov 19 21:21:47 CET 2009
 +/net/work/people/zeman/icon-parsing/work/te/dtest.malt.eval.txt
 +  Labeled   attachment score: 305 / 675 * 100 = 45.19 %
 +  Unlabeled attachment score: 542 / 675 * 100 = 80.30 %
 +  Label accuracy score:       329 / 675 * 100 = 48.74 %
 +
 +==== stackproj ====
 +
 +Není nejhorší, ale taky v ničem nejlepší.
 +
 +Thu Nov 19 21:29:06 CET 2009
 +/net/work/people/zeman/icon-parsing/work/hi/dtest.malt.eval.txt
 +  Labeled   attachment score: 830 / 1250 * 100 = 66.40 %
 +  Unlabeled attachment score: 1082 / 1250 * 100 = 86.56 %
 +  Label accuracy score:       871 / 1250 * 100 = 69.68 %
 +Thu Nov 19 21:29:06 CET 2009
 +/net/work/people/zeman/icon-parsing/work/bn/dtest.malt.eval.txt
 +  Labeled   attachment score: 510 / 811 * 100 = 62.89 %
 +  Unlabeled attachment score: 690 / 811 * 100 = 85.08 %
 +  Label accuracy score:       524 / 811 * 100 = 64.61 %
 +Thu Nov 19 21:29:07 CET 2009
 +/net/work/people/zeman/icon-parsing/work/te/dtest.malt.eval.txt
 +  Labeled   attachment score: 309 / 675 * 100 = 45.78 %
 +  Unlabeled attachment score: 546 / 675 * 100 = 80.89 %
 +  Label accuracy score:       339 / 675 * 100 = 50.22 %
 +
 +==== stackeager ====
 +
 +Přestože umožňuje neprojektivity, hindština i bengálština jsou výrazně horší.
 +Zato se vytáhla telugština, kde neprojektivity téměř nejsou!
 +
 +Thu Nov 19 21:44:15 CET 2009
 +/net/work/people/zeman/icon-parsing/work/hi/dtest.malt.eval.txt
 +  Labeled   attachment score: 761 / 1250 * 100 = 60.88 %
 +  Unlabeled attachment score: 1022 / 1250 * 100 = 81.76 %
 +  Label accuracy score:       813 / 1250 * 100 = 65.04 %
 +Thu Nov 19 21:44:16 CET 2009
 +/net/work/people/zeman/icon-parsing/work/bn/dtest.malt.eval.txt
 +  Labeled   attachment score: 498 / 811 * 100 = 61.41 %
 +  Unlabeled attachment score: 680 / 811 * 100 = 83.85 %
 +  Label accuracy score:       514 / 811 * 100 = 63.38 %
 +Thu Nov 19 21:44:17 CET 2009
 +/net/work/people/zeman/icon-parsing/work/te/dtest.malt.eval.txt
 +  Labeled   attachment score: 303 / 675 * 100 = 44.89 %
 +  Unlabeled attachment score: 547 / 675 * 100 = 81.04 %
 +  Label accuracy score:       336 / 675 * 100 = 49.78 %
 +
 +==== stacklazy ====
 +
 +Na hindštině je to maximum, ostatní se zhoršily.
 +
 +Thu Nov 19 21:52:53 CET 2009
 +/net/work/people/zeman/icon-parsing/work/hi/dtest.malt.eval.txt
 +  Labeled   attachment score: 823 / 1250 * 100 = 65.84 %
 +  Unlabeled attachment score: 1095 / 1250 * 100 = 87.60 %
 +  Label accuracy score:       853 / 1250 * 100 = 68.24 %
 +Thu Nov 19 21:52:54 CET 2009
 +/net/work/people/zeman/icon-parsing/work/bn/dtest.malt.eval.txt
 +  Labeled   attachment score: 480 / 811 * 100 = 59.19 %
 +  Unlabeled attachment score: 687 / 811 * 100 = 84.71 %
 +  Label accuracy score:       496 / 811 * 100 = 61.16 %
 +Thu Nov 19 21:52:55 CET 2009
 +/net/work/people/zeman/icon-parsing/work/te/dtest.malt.eval.txt
 +  Labeled   attachment score: 307 / 675 * 100 = 45.48 %
 +  Unlabeled attachment score: 544 / 675 * 100 = 80.59 %
 +  Label accuracy score:       336 / 675 * 100 = 49.78 %
  

[ Back to the navigation ] [ Back to the content ]