Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:dz-parser:icon [2012/12/07 13:57] zeman Udělat. |
user:zeman:dz-parser:icon [2012/12/09 20:59] zeman Statistiky o výkonu. |
||
---|---|---|---|
Line 6: | Line 6: | ||
* Natrénovat McDonaldův MST parser. Pokud možno s pořádnými rysy, neprojektivně a druhý řád. Ale na druhou stranu, aby to taky někdy doběhlo. | * Natrénovat McDonaldův MST parser. Pokud možno s pořádnými rysy, neprojektivně a druhý řád. Ale na druhou stranu, aby to taky někdy doběhlo. | ||
- | * Ambati et al. použili 2. řád a training-k | + | * Ambati et al. použili 2. řád a training-k:5. |
- | * Zkontrolovat normalizaci UTF-8 (dévanágarí). | + | * Zkusit mu dát značky z jiného zdroje. Teď je to POS. Nabízí se CPOS, kombinace CPOS-POS, FEAT, nějaký výběr z FEAT (vibhakti a tam) nebo složitější kombinace výše uvedeného. |
* Natrénovat Malt parser a mezi rysy mu přidat hypotézu od MST (parser MST-Malt podle Joakimova a Ryanova článku). | * Natrénovat Malt parser a mezi rysy mu přidat hypotézu od MST (parser MST-Malt podle Joakimova a Ryanova článku). | ||
+ | * To znamená, že musím vybrat nejlepší parametry trénování MST, rozdělit trénovací data na 10 dílů, opakovaně natrénovat MST na devíti dílech a pustit ho na ten desátý. Pak musím rozhodnout, jakým způsobem se názor MST předloží Maltu. Musí to být rys položky na vstupu nebo na zásobníku. Asi nejjednodušší by bylo zavést rys, který pro každé slovo řekne značku jeho rodiče. V mnoha větách to bude ukazovat na více než jedno slovo, ale někde to snad pomůže. A pokud místo značky dáme slovo, mohla by být příliš řídká data. (Můžeme ale zavést dva rysy a dát tam obojí.) Index rodiče je jako rys k ničemu, protože hodnota má v každé větě jiný význam. Nejlepší by zřejmě bylo, kdybychom dokázali posuzovat dvě položky najednou (např. dvě horní položky v zásobníku) a říct, zda si MST parser myslí, že mezi nimi vede hrana. Ale to zase neumím popsat a je otázka, jestli to vůbec umí Malt parser, resp. ten jeho SVM rádce. | ||
+ | * Zkontrolovat normalizaci UTF-8 (dévanágarí). | ||
* Natrénovat samostatný značkovač syntaktických značek. Ambati et al.: MST labeler je blbej, použili maxent (http...lzhang, | * Natrénovat samostatný značkovač syntaktických značek. Ambati et al.: MST labeler je blbej, použili maxent (http...lzhang, | ||
* Potřebuju nějaké vyhledávadlo a zvýrazňovadlo chyb. | * Potřebuju nějaké vyhledávadlo a zvýrazňovadlo chyb. | ||
Line 14: | Line 16: | ||
HTB verze 0,51: train 12041 sent, 268093 tok? (words), dev 1233 / 26416 | HTB verze 0,51: train 12041 sent, 268093 tok? (words), dev 1233 / 26416 | ||
+ | |||
+ | **MST parser:** V& | ||
Vyhodnotit samostatně | Vyhodnotit samostatně | ||
Line 19: | Line 23: | ||
* uvnitř chunku vs. mezi chunky | * uvnitř chunku vs. mezi chunky | ||
* pro jednotlivé s-značky | * pro jednotlivé s-značky | ||
+ | |||
+ | ===== Výsledky ===== | ||
+ | |||
+ | * Na malých hindských datech (1000 vět) hlásí, že našel 397875 rysů (je to stejné pro projektivní i neprojektivní model). | ||
+ | * Projektivní trénování trvalo 12 minut a model má necelých 6 MB. | ||
+ | * Neprojektivní trénování trvalo 18 minut a velikost modelu je podobná. | ||
+ | * Na velkých hindských datech (všechny věty) hlásí, že našel 2180868 rysů. | ||
+ | * Neprojektivní trénování trvalo 4 hodiny a model má necelých 35 MB. | ||
+ | |||
+ | mst nonproj o2 full | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 20408 / 26416 * 100 = 77.26 % | ||
+ | Label accuracy score: | ||
+ | |||
+ | mst nonproj o2 1000 | ||
+ | Labeled | ||
+ | Unlabeled attachment score: 20335 / 26416 * 100 = 76.98 % | ||
+ | Label accuracy score: | ||
+ | |||
+ | Parser zřejmě použil jako part of speech sloupec CoNLL POS (nikoli CPOS nebo FEAT). | ||
====== ICON 2009 NLP Tools Contest ====== | ====== ICON 2009 NLP Tools Contest ====== |