[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » user » zeman » dz-parser » icon

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
Next revision Both sides next revision
user:zeman:dz-parser:icon [2012/12/09 11:56]
zeman Verze MST parseru. 		user:zeman:dz-parser:icon [2012/12/10 17:37]
zeman Redukce značek.
Line 25: Line 25:
  
 ===== Výsledky ===== ===== Výsledky =====
 +
 +  * Na malých hindských datech (1000 vět) hlásí, že našel 397875 rysů (je to stejné pro projektivní i neprojektivní model).
 +  * Projektivní trénování trvalo 12 minut a model má necelých 6 MB.
 +  * Neprojektivní trénování trvalo 18 minut a velikost modelu je podobná.
 +  * Na velkých hindských datech (všechny věty) hlásí, že našel 2180868 rysů.
 +  * Neprojektivní trénování trvalo 4 hodiny a model má necelých 35 MB.
 +  * Přepracováno: MST parser 0.4.3b z /home/zeman/nastroje, 2. řád neprojektivně, 1000 trénovacích vět, CoNLL formát, zatím si nejsem stoprocentně jist, které rysy si z něj bere.
 +    * Auto: trénování 9 minut, 641112 rysů, model 32 MB.
 +    * Gold: trénování 20 minut, 2334346 rysů, model 131 MB.
  
 mst nonproj o2 full mst nonproj o2 full
Line 37: Line 46:
  
 Parser zřejmě použil jako part of speech sloupec CoNLL POS (nikoli CPOS nebo FEAT). Parser zřejmě použil jako part of speech sloupec CoNLL POS (nikoli CPOS nebo FEAT).
 +
 +Přepracováno auto
 +  Labeled   attachment score: 17003 / 26416 * 100 = 64.37 %
 +  Unlabeled attachment score: 22848 / 26416 * 100 = 86.49 %
 +  Label accuracy score:       17663 / 26416 * 100 = 66.86 %
 +
 +Přepracováno gold
 +  Labeled   attachment score: 19154 / 26416 * 100 = 72.51 %
 +  Unlabeled attachment score: 22568 / 26416 * 100 = 85.43 %
 +  Label accuracy score:       19832 / 26416 * 100 = 75.08 %
 +
 +==== Různé redukce značek ====
 +
 +Je vhodné využívat formát dat CoNLL, který je i pro MST parser nyní výchozí. Při konverzi do původního formátu MST je nutné rozhodnout, co prohlásíme za morfologickou značku. Pokud nechceme zbytek informace zahodit, tak máme značky velmi dlouhé a neumožňujeme parseru vybrat si, jaká jejich část ho zajímá nejvíc. Naproti tomu ve formátu CoNLL bere MST parser 0.4.3b v úvahu všechny morfologické sloupce (CPOS, POS i FEAT), jak vyplývá z následujících pokusů. Zatím jsem nezkoumal, zda je schopen rozložit obsah sloupce FEAT na samostatné rysy. A nikdy jsem mu nedal kompletní rysy, vždy jsem je omezil buď na vibhakti + tam, nebo jsem je úplně vymazal.
 +
 +Zlatý standard morfologie, trénování na 1000 větách. Střídavě jsem redukoval nebo mazal (nahrazoval podtržítkem) hodnoty v různých sloupcích. Parser na všechny tyto změny reagoval a pokaždé dosáhl jiné úspěšnosti. To znamená, že všechny tyto sloupce bere při trénování v úvahu.
 +
 +^ CPOS ^ POS ^ FEAT ^ UAS ^ LA ^ LAS ^ Model ^ Rysů ^ Čas učení ^
 +| ano | ano | vibhakti + tam | 91.78 | 79.76 | 77.73 | 131 MB 9.12.2012 23:31:04 |  2 334 346 | 11 min |
 +| ano | ano | ne | 88.47 | 77.52 | 75.55 | 56 MB 9.12.2012 23:32:15 | 1 130 847 | 12 min |
 +| ano | ne | vibhakti + tam | 90.47 | 68.65 | 66.64 | 128 MB 10.12.2012 9:10:05 | 2 246 768 | 11 min |
 +| ne | ano | vibhakti + tam | 88.11 | 77.83 | 74.62 | 127 MB 10.12.2012 9:13:08 | 2 234 096 | 14 min |
  
 ====== ICON 2009 NLP Tools Contest ====== ====== ICON 2009 NLP Tools Contest ======

[ Back to the navigation ] [ Back to the content ]