Differences

This shows you the differences between two versions of the page.

--- user:zeman:dz-parser:icon [2009/10/20 18:20]
zeman Zbývá udělat.
+++ user:zeman:dz-parser:icon [2009/10/20 23:01]
zeman Karma-karta.
@@ Line 5: / Line 5: @@
 ===== Zbývá udělat =====
+  * Napsat článek.
+  * Rozchodit podporu clusteru v makefilech, abych nemusel MST parser pouštět ručně zvlášť.
   * Vyzkoušet neprojektivní parsing MST parserem.
-  * Zjistit, proč je tolik chyb v syntaktickém značkování, a vylepšit ho. Třeba pomocí nějakého toolkitu pro strojové učení (Mallet apod.)
+  * Zjistit, jaká je úspěšnost naivního parseru, který pověsí poslední uzel na kořen a všechny předcházející uzly na poslední. Přinejmenším v&nbsp;telugských dtest datech takových případů vidím spoustu.
+  * Zjistit, proč je tolik chyb v syntaktickém značkování, a vylepšit ho. Třeba pomocí nějakého toolkitu pro strojové učení (Mallet apod.) Uvědomit si, že na jednom slovesu zřejmě nemohou viset dvě káčka se stejnými čísly (karma-karta). Taky že většina sloves asi vyžaduje k1.
   * Vybrat SVN repozitář, do kterého tyto pokusy budu archivovat, vybrat soubory, které tam patří (Makefile, specifické skripty, vstupní data, soubory s vyhodnocením...) a dát je tam.
   * Vyhodnotit křivku učení.
-  * Napsat článek.
+  * Vyhodnotit požadavky na procesor, paměť a disk (je třeba nejdříve rozchodit skript).
   * Více si pohrát s rysy.
   * Více si pohrát s konfigurací Malt parseru.
+===== Průzkum dat =====
+Jak je zvykem, máme k dispozici data pro (d)trénink, dtest a etest (ta poslední jsou slepá, aspoň zatím). Každý datový soubor je k dispozici jednak s automaticky doplněnou (a zjednoznačněnou) morfologií (lemma, značka POS, morfologické kategorie), jednak bez ní (tj. na morfologické rovině pouze slovní tvar a značka chunku, ta by ale zřejmě měla být přiřazená ručně). Každý z uvedených souborů je ještě k dispozici jednak ve formátu CoNLL 2006, jednak v SSF (Shakti Standard Format, pro Indy je domovský, takže by stálo za to zjistit, zda se z něj převodem do CoNLL něco neztrácí).
+Následující statistiky pocházejí ze souborů pro dtrénink s automatickou morfologií:
+| Jazyk | Výskytů slov | Tvarů | Lemmat | ChunkPOS | POS+case+postpos | FEATS |
+| hindština | 13779 | 3973 | 3134 | 10 | 297 | 714 |
+| bengálština | 6449 | 2997 | 2336 | 14 | 398 | 367 |
+| telugština | 5494 | 2462 | 1403 | 12 | 409 | 453 |
 První výsledky DZ Parseru na vývojových datech:

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences