Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Last revision Both sides next revision | ||
user:zeman:dz-parser:icon [2012/10/24 12:01] zeman |
user:zeman:dz-parser:icon [2012/12/10 17:46] zeman Zbývá udělat. |
||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== Hindi Parsing Shared Task at COLING 2012 Mumbaí | + | ====== Hindi Parsing Shared Task at COLING 2012 Mumbaī |
+ | |||
+ | http:// | ||
+ | |||
+ | ===== Udělat ===== | ||
+ | |||
+ | * Natrénovat McDonaldův MST parser. Pokud možno s pořádnými rysy, neprojektivně a druhý řád. Ale na druhou stranu, aby to taky někdy doběhlo. | ||
+ | * Ambati et al. použili 2. řád a training-k: | ||
+ | * Zkusit jinou kombinaci rysů ze sloupce FEAT. A zkusit ponechat všechny rysy (žádná redukce). | ||
+ | * Natrénovat Malt parser a mezi rysy mu přidat hypotézu od MST (parser MST-Malt podle Joakimova a Ryanova článku). | ||
+ | * To znamená, že musím vybrat nejlepší parametry trénování MST, rozdělit trénovací data na 10 dílů, opakovaně natrénovat MST na devíti dílech a pustit ho na ten desátý. Pak musím rozhodnout, jakým způsobem se názor MST předloží Maltu. Musí to být rys položky na vstupu nebo na zásobníku. Asi nejjednodušší by bylo zavést rys, který pro každé slovo řekne značku jeho rodiče. V mnoha větách to bude ukazovat na více než jedno slovo, ale někde to snad pomůže. A pokud místo značky dáme slovo, mohla by být příliš řídká data. (Můžeme ale zavést dva rysy a dát tam obojí.) Index rodiče je jako rys k ničemu, protože hodnota má v každé větě jiný význam. Nejlepší by zřejmě bylo, kdybychom dokázali posuzovat dvě položky najednou (např. dvě horní položky v zásobníku) a říct, zda si MST parser myslí, že mezi nimi vede hrana. Ale to zase neumím popsat a je otázka, jestli to vůbec umí Malt parser, resp. ten jeho SVM rádce. | ||
+ | * Zkontrolovat normalizaci UTF-8 (dévanágarí). | ||
+ | * Natrénovat samostatný značkovač syntaktických značek. Ambati et al.: MST labeler je blbej, použili maxent (http...lzhang, | ||
+ | * Potřebuju nějaké vyhledávadlo a zvýrazňovadlo chyb. | ||
+ | * Opravit normalizaci pro HamleDT. Normalizace hindštiny prý dělá na nových datech mnohem více chyb (uzel pod Coord nemá is_member apod.) Mohly by mi pomoct Martinovy transformace koordinací? | ||
- | Zkontrolovat normalizaci UTF-8 (dévanágarí). | ||
HTB verze 0,51: train 12041 sent, 268093 tok? (words), dev 1233 / 26416 | HTB verze 0,51: train 12041 sent, 268093 tok? (words), dev 1233 / 26416 | ||
+ | |||
+ | **MST parser:** V& | ||
Vyhodnotit samostatně | Vyhodnotit samostatně | ||
Line 9: | Line 24: | ||
* pro jednotlivé s-značky | * pro jednotlivé s-značky | ||
- | McDonald? | + | ===== Výsledky ===== |
- | + | ||
- | Ambati et al.: MST labeler je blbej, použili maxent (http...lzhang, | + | |
- | + | ||
- | A co MST druhého řádu? Ambati et al. použili 2. řád a training-k | + | |
- | MST jako vstupní featura pro Malt? | + | ==== Různé redukce značek ==== |
- | Potřebuju nějaké vyhledávadlo | + | Je vhodné využívat formát dat CoNLL, který je i pro MST parser nyní výchozí. Při konverzi do původního formátu MST je nutné rozhodnout, co prohlásíme za morfologickou značku. Pokud nechceme zbytek informace zahodit, tak máme značky velmi dlouhé |
- | Mohly by pomoct Martinovy transformace? | + | Zlatý standard morfologie, trénování |
- | Co ten neoznačkovaný text? TreeTagger? | + | ^ CPOS ^ POS ^ FEAT ^ UAS ^ LA ^ LAS ^ Model ^ Rysů ^ Čas učení ^ |
+ | | ano | ano | vibhakti + tam | 91.78 | 79.76 | 77.73 | 131 MB 9.12.2012 23:31:04 | 2 334 346 | 11 min | | ||
+ | | ano | ano | ne | 88.47 | 77.52 | 75.55 | 56 MB 9.12.2012 23:32:15 | 1 130 847 | 12 min | | ||
+ | | ano | ne | vibhakti + tam | 90.47 | 68.65 | 66.64 | 128 MB 10.12.2012 9:10:05 | 2 246 768 | 11 min | | ||
+ | | ne | ano | vibhakti + tam | 88.11 | 77.83 | 74.62 | 127 MB 10.12.2012 9:13:08 | 2 234 096 | 14 min | | ||
====== ICON 2009 NLP Tools Contest ====== | ====== ICON 2009 NLP Tools Contest ====== |