Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:malt-parser [2010/03/31 16:01] zeman Doběhl švédský test 45000. |
user:zeman:malt-parser [2010/04/12 10:42] zeman Nový pokus java 5000. |
||
---|---|---|---|
Line 46: | Line 46: | ||
procesor 64bit dual core AMD Opteron 2 GHz | procesor 64bit dual core AMD Opteron 2 GHz | ||
paměť 16 GB, ale proces zabírá jen 4,1 GB | paměť 16 GB, ale proces zabírá jen 4,1 GB | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
==== Nastavení od Švédů ==== | ==== Nastavení od Švédů ==== | ||
Line 104: | Line 94: | ||
| 68563 | | spadlo na '' | | 68563 | | spadlo na '' | ||
+ | ==== Proč trénování větších modelů padá? ==== | ||
+ | |||
+ | '' | ||
+ | |||
+ | < | ||
+ | cd model | ||
+ | less symboltables.sym</ | ||
+ | |||
+ | Až na jednu výjimku trénování spadlo vždy při budování '' | ||
+ | |||
+ | Joakim navrhuje, abychom zkusili dělení zjemnit, např. místo CPOSTAGu dělit modely podle slovního poddruhu (druhá pozice české značky). Pak by dílčí modely byly menší a libsvm by třeba nespadlo. Ve skutečnosti budu asi muset zjemňovat jiným způsobem, protože právě u podstatných jmen žádné zvláštní dělení na poddruhy neexistuje. Mohly by ale pomoct pády. | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ==== Javová implementace libsvm ==== | ||
+ | |||
+ | Předpokládá se, že vyžaduje více času a paměti. Podle dokumentace může dojít i k& | ||
+ | |||
+ | | N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka | | ||
+ | | 1000 | 1032117 | 2:38 min | 1252 s = 20:52 min | 1 věta / 0,14 s | 74,63 % | 6.4.2010 | | ||
+ | | 2000 | 1032118 | 8:44 min | 2344 s = 39:03 min | 1 věta / 0,25 s | 77,73 % | 6.4.2010 | | ||
+ | | 5000 | 1032131, 1032132, 1040063 | | 1631 s = 27:10 min | 1 věta / 0,18 s | 76,65 % | 6.4.2010. Nějak se pustilo dvakrát přes sebe, takže trénink bohužel nemohl zapisovat do souboru s& | ||
+ | | 10000 | 1032120 | 3:57 h | 7235 s = 2:01 h | 1 věta / 0,78 s | 82,11 % | 6.4.2010 | | ||
+ | | 20000 | 1032121 | 16:45 h | 12979 s = 3:36 h | 1 věta / 1,40 s | 83,65 % | 6.-7.4.2010 | | ||
+ | | 25000 | 1032122 | 27:43 h | 16500 s = 4:35 h | 1 věta / 1,78 s | 84,24 % | 6.-8.4.2010 | | ||
+ | | 30000 | 1032123 | 47:21 h | 24255 s = 6:44 h | 1 věta / 2,62 s | 84,54 % | 6.-8.4.2010 | | ||
+ | | 35000 | 1035249 | 2 dny 11:08 h | | | | 9.-12.4.2010 | | ||
+ | | 40000 | 1035250 | | | | | 9.4.2010 | | ||
+ | | 45000 | 1035251 | | | | | 9.4.2010 | | ||
+ | | 50000 | 1035252 | | | | | 9.4.2010 | | ||
+ | | 55000 | 1035258 | | | | | 9.4.2010 | | ||
+ | | 60000 | 1035254 | | | | | 9.4.2010 | | ||
+ | | 65000 | 1035255 | | | | | 9.4.2010 | | ||
+ | |||
+ | ==== Trénovací data rozsekaná na pětitisícové úseky ==== | ||
+ | |||
+ | | N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka | | ||
+ | | 00000-04999 | 1021425 | | | | 76,65 % | | | ||
+ | | 05000-09999 | 1021426 | | | | 76,99 % | | | ||
+ | | 10000-14999 | 1021427 | | | | 76,47 % | | | ||
+ | | 15000-19999 | 1021428 | | | | 76,72 % | | | ||
+ | | 20000-24999 | 1021429 | | | | 76,72 % | | | ||
+ | | 25000-29999 | 1021430 | | | | 76,80 % | | | ||
+ | | 30000-34999 | 1021431 | | | | 76,87 % | | | ||
+ | | 35000-39999 | 1021432 | | | | 76,94 % | | | ||
+ | | 40000-44999 | 1021433 | | | | 76,72 % | | | ||
+ | | 45000-49999 | 1021434 | | | | 76,98 % | | | ||
+ | | 50000-54999 | 1021435 | | | | 76,69 % | | | ||
+ | | 55000-59999 | 1021436 | | | | 76,96 % | | | ||
+ | | 60000-64999 | 1021437 | | | | 76,81 % | | | ||
+ | | 65000-68562 | 1021438 | | | | 75,86 % | | | ||
+ | |||
+ | Všechny díly se nakonec podařilo použít, čímž jsme definitivně vyvrátili, že by v& | ||
+ | |||
+ | Zarážející je ale úspěšnost. Přinejmenším pro první pětitisícový úsek měla být s& | ||
+ | |||
+ | === Oprava 6.4.2010 === | ||
+ | |||
+ | Předcházející pokusy s& | ||
+ | | N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka | | ||
+ | | 00000-04999 | 1032102 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | ||
+ | | 05000-09999 | 1032103 | 24:24 min | | | 80,59 % | | | ||
+ | | 10000-14999 | 1032104 | 31:56 min | | | 80,23 % | | | ||
+ | | 15000-19999 | 1032116 | 30:27 min | | | 80,52 % | | | ||
+ | | 20000-24999 | 1032106 | 21:35 min | | | 80,45 % | | | ||
+ | | 25000-29999 | 1032107 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | ||
+ | | 30000-34999 | 1032108 | 28:30 min | | | 80,48 % | | | ||
+ | | 35000-39999 | 1032109 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | ||
+ | | 40000-44999 | 1032110 | 19:17 min | | | 80,51 % | | | ||
+ | | 45000-49999 | 1032111 | 22:54 min | | | 80,62 % | | | ||
+ | | 50000-54999 | 1032112 | 22:31 min | | | 80,58 % | | | ||
+ | | 55000-59999 | 1032113 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | ||
+ | | 60000-64999 | 1032114 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | ||
+ | | 65000-68562 | 1032115 | 12:43 min | | | 79,69 % | | | ||
==== Co dál? ==== | ==== Co dál? ==== | ||
- | * Pokusy, na kterých céčková verze '' | + | * Pokusy, na kterých céčková verze '' |
+ | * Navrhnout jemnější dělení modelů '' | ||
* Rozsekat trénovací data na 14 pětitisícových kusů a s& | * Rozsekat trénovací data na 14 pětitisícových kusů a s& | ||
* Zkusit '' | * Zkusit '' | ||
+ | * Odladit '' | ||
* Jestli nakonec nějak prorazím, bude potřeba opět učesat obalovací skripty. Mj. jsem přišel na to, že ve většině svých skriptů používám jako dočasný adresář ''/ | * Jestli nakonec nějak prorazím, bude potřeba opět učesat obalovací skripty. Mj. jsem přišel na to, že ve většině svých skriptů používám jako dočasný adresář ''/ | ||
* Vyhodnotit to ještě i na e-testu a připsat to na stránku o českém parsingu. | * Vyhodnotit to ještě i na e-testu a připsat to na stránku o českém parsingu. |