Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:dz-parser:icon [2009/10/29 11:49] zeman Volba transliteračního schématu. |
user:zeman:dz-parser:icon [2009/11/21 15:28] zeman Nová data s novými značkami. |
||
---|---|---|---|
Line 5: | Line 5: | ||
===== Zbývá udělat ===== | ===== Zbývá udělat ===== | ||
- | * Napsat | + | * Upravit makefile tak, abych mohl pouštět pokusy současně se starými i novými daty. |
- | * Rozchodit podporu clusteru v makefilech, abych nemusel MST parser pouštět ručně zvlášť. | + | * Více si pohrát s rysy. Naučit se parserům předhazovat rysy. U Malt parseru je to dobře zdokumentováno, |
+ | * Přidat jako rys chunk label, a to i pro DZ Parser. | ||
+ | * Naivní parser pro telugštinu: | ||
+ | * Rozchodit podporu clusteru v makefilech, abych nemusel MST parser pouštět ručně zvlášť | ||
* Vyzkoušet neprojektivní parsing MST parserem. | * Vyzkoušet neprojektivní parsing MST parserem. | ||
- | * Zjistit, jaká je úspěšnost naivního parseru, který pověsí poslední uzel na kořen a všechny předcházející uzly na poslední. Přinejmenším v& | ||
* Zjistit, proč je tolik chyb v syntaktickém značkování, | * Zjistit, proč je tolik chyb v syntaktickém značkování, | ||
- | * Vybrat SVN repozitář, | + | * Více si pohrát s konfigurací Malt parseru. 7 algoritmů už jsem vyzkoušel, ale některé |
* Vyhodnotit křivku učení. | * Vyhodnotit křivku učení. | ||
* Vyhodnotit požadavky na procesor, paměť a disk (je třeba nejdříve rozchodit skript). | * Vyhodnotit požadavky na procesor, paměť a disk (je třeba nejdříve rozchodit skript). | ||
- | * Více si pohrát s rysy. | ||
- | * Více si pohrát s konfigurací Malt parseru. | ||
* Frekvenční slovníky, abych si trochu udělal představu o častých slovech, případně o jejich syntaktických zvláštnostech. | * Frekvenční slovníky, abych si trochu udělal představu o častých slovech, případně o jejich syntaktických zvláštnostech. | ||
- | * Konverze z& | ||
* Průzkum dat: jak dlouhé jsou věty? Indové v dokumentaci nějaká čísla uvádějí, ale tam se slova počítají včetně záložek a možná i včetně interpunkce, | * Průzkum dat: jak dlouhé jsou věty? Indové v dokumentaci nějaká čísla uvádějí, ale tam se slova počítají včetně záložek a možná i včetně interpunkce, | ||
Line 42: | Line 41: | ||
| bn | 39.52 | 44.14 | | | bn | 39.52 | 44.14 | | ||
| te | 73.75 | 76.89 | | | te | 73.75 | 76.89 | | ||
+ | |||
+ | ==== Nová data pro druhé kolo ==== | ||
+ | |||
+ | Pro druhé vyhodnocení pořadatelé připravili upravená data "with courser tags". Ukázalo se, že nejde o lepší informaci na morfologické rovině, která by případně mohla parsing usnadnit. Jde o syntaktické značky, které má parser produkovat spolu se závislostní strukturou. Otázka je, jestli jsou nové značky jednodušší, | ||
===== Analýza chyb ===== | ===== Analýza chyb ===== | ||
Line 218: | Line 221: | ||
Unlabeled attachment score: 947 / 1250 * 100 = 75.76 % | Unlabeled attachment score: 947 / 1250 * 100 = 75.76 % | ||
Label accuracy score: | Label accuracy score: | ||
+ | |||
+ | ===== Parsovací algoritmy Malt parseru ===== | ||
+ | |||
+ | Zatím jsem neměnil root handling u Nivreho algoritmů (-r strict|relaxed|normal) a allow shift/root u Covingtona (-cs, -cr). Tohle jsou nejlepší hodnoty, kterých jsem dosáhl. Na každém jazyku vyhrál jiný algoritmus. Na hindštině Malt parser opět překonal MST, takže bude potřeba upravit váhy při hlasování. Současný výsledek Malt parseru je lepší než dosud nejlepší výsledek dosažený hlasováním! | ||
+ | |||
+ | hi 87.60 stacklazy | ||
+ | bn 85.57 covproj | ||
+ | te 81.04 stackeager | ||
+ | |||
+ | ==== nivrestandard ==== | ||
+ | |||
+ | Hindština i bengálština vyšla zřetelně lépe než nivreeager, telugština si lehce pohoršila. | ||
+ | |||
+ | Thu Nov 19 18:41:43 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 1082 / 1250 * 100 = 86.56 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 18:41:45 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 693 / 811 * 100 = 85.45 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 18:41:46 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 541 / 675 * 100 = 80.15 % | ||
+ | Label accuracy score: | ||
+ | |||
+ | ==== covproj ==== | ||
+ | |||
+ | Bengálština ještě trochu lepší, možná nesignifikantně. Ostatní ne. | ||
+ | |||
+ | Thu Nov 19 19:47:14 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 1079 / 1250 * 100 = 86.32 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 19:47:15 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 694 / 811 * 100 = 85.57 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 19:47:15 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 542 / 675 * 100 = 80.30 % | ||
+ | Label accuracy score: | ||
+ | |||
+ | ==== covnonproj ==== | ||
+ | |||
+ | Zlepšila se hindština. Bengálština se zhoršila, telugština zůstala. | ||
+ | |||
+ | Thu Nov 19 21:21:46 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 1087 / 1250 * 100 = 86.96 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 21:21:46 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 682 / 811 * 100 = 84.09 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 21:21:47 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 542 / 675 * 100 = 80.30 % | ||
+ | Label accuracy score: | ||
+ | |||
+ | ==== stackproj ==== | ||
+ | |||
+ | Není nejhorší, ale taky v ničem nejlepší. | ||
+ | |||
+ | Thu Nov 19 21:29:06 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 1082 / 1250 * 100 = 86.56 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 21:29:06 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 690 / 811 * 100 = 85.08 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 21:29:07 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 546 / 675 * 100 = 80.89 % | ||
+ | Label accuracy score: | ||
+ | |||
+ | ==== stackeager ==== | ||
+ | |||
+ | Přestože umožňuje neprojektivity, | ||
+ | Zato se vytáhla telugština, | ||
+ | |||
+ | Thu Nov 19 21:44:15 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 1022 / 1250 * 100 = 81.76 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 21:44:16 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 680 / 811 * 100 = 83.85 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 21:44:17 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 547 / 675 * 100 = 81.04 % | ||
+ | Label accuracy score: | ||
+ | |||
+ | ==== stacklazy ==== | ||
+ | |||
+ | Na hindštině je to maximum, ostatní se zhoršily. | ||
+ | |||
+ | Thu Nov 19 21:52:53 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 1095 / 1250 * 100 = 87.60 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 21:52:54 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 687 / 811 * 100 = 84.71 % | ||
+ | Label accuracy score: | ||
+ | Thu Nov 19 21:52:55 CET 2009 | ||
+ | / | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 544 / 675 * 100 = 80.59 % | ||
+ | Label accuracy score: | ||