Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:malt-parser [2010/04/09 10:57] zeman V noci spadla síť, zbývající pokusy pouštím znova. |
user:zeman:malt-parser [2010/04/27 12:38] zeman Nově spuštěné úlohy clibsvm. |
||
---|---|---|---|
Line 105: | Line 105: | ||
Joakim navrhuje, abychom zkusili dělení zjemnit, např. místo CPOSTAGu dělit modely podle slovního poddruhu (druhá pozice české značky). Pak by dílčí modely byly menší a libsvm by třeba nespadlo. Ve skutečnosti budu asi muset zjemňovat jiným způsobem, protože právě u podstatných jmen žádné zvláštní dělení na poddruhy neexistuje. Mohly by ale pomoct pády. | Joakim navrhuje, abychom zkusili dělení zjemnit, např. místo CPOSTAGu dělit modely podle slovního poddruhu (druhá pozice české značky). Pak by dílčí modely byly menší a libsvm by třeba nespadlo. Ve skutečnosti budu asi muset zjemňovat jiným způsobem, protože právě u podstatných jmen žádné zvláštní dělení na poddruhy neexistuje. Mohly by ale pomoct pády. | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
==== Javová implementace libsvm ==== | ==== Javová implementace libsvm ==== | ||
- | Předpokládá se, že vyžaduje více času a paměti. Podle dokumentace může dojít i k& | + | Předpokládá se, že vyžaduje více času a paměti. Podle dokumentace může dojít i k& |
- | | N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka | | + | | N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Datum | |
- | | 1000 | 1011450 | 37 s | | | | Spadlo, kód -1 není v& | + | |
- | | 2000 | 1011451 | 2:46 min | 661 s = 11 min | 1 věta / 0,07 s | 74,10 % | | | + | |
- | | 5000 | 1011452 | 17:45 min | 1527 s = 25 min | 1 věta / 0,16 s | 76,65 % | | | + | |
- | | 10000 | 1011453 | | | | | Nerozeběhlo se. | | + | |
- | | 20000 | 1011454 | 6:23 h | 5602 s = 1:33 h | 1 věta / 0,60 s | 79,90 % | | | + | |
- | | 25000 | 1011455 | 10:59 h | 6964 s = 1:56 h | 1 věta / 0,75 s | 80,32 % | | | + | |
- | | 30000 | 1011456 | | | | | Nerozeběhlo se. | | + | |
- | | 35000 | 1011457 | 22:33 h | 9230 s = 2:34 h | 1 věta / 1,00 s | 81,03 % | | | + | |
- | | 40000 | 1011458 | 36:36 h | 12484 s = 3:28 h | 1 věta / 1,35 s | 81,17 % | | | + | |
- | | 45000 | 1011459 | 46:26 h | 13889 s = 3:51 h | 1 věta / 1,50 s | 81,51 % | | | + | |
- | | 50000 | 1011460 | 58:13 h | 15711 s = 4:22 h | 1 věta / 1,69 s | 81,72 % | | | + | |
- | | 55000 | 1011461 | 65:48 h | 17031 s = 4:44 h | 1 věta / 1,84 s | 81,83 % | | | + | |
- | | 60000 | 1011462 | 90:10 h | 18145 s = 5:02 h | 1 věta / 1,96 s | 82,11 % | | | + | |
- | | 65000 | 1011463 | 89:29 h | 15808 s = 4:23 h | 1 věta / 1,71 s | 82,31 % | | | + | |
- | + | ||
- | === Oprava 6.4.2010 === | + | |
- | + | ||
- | Předcházející pokusy s& | + | |
- | + | ||
- | | N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka | + | |
| 1000 | 1032117 | 2:38 min | 1252 s = 20:52 min | 1 věta / 0,14 s | 74,63 % | 6.4.2010 | | | 1000 | 1032117 | 2:38 min | 1252 s = 20:52 min | 1 věta / 0,14 s | 74,63 % | 6.4.2010 | | ||
| 2000 | 1032118 | 8:44 min | 2344 s = 39:03 min | 1 věta / 0,25 s | 77,73 % | 6.4.2010 | | | 2000 | 1032118 | 8:44 min | 2344 s = 39:03 min | 1 věta / 0,25 s | 77,73 % | 6.4.2010 | | ||
- | | 5000 | 1032131, 1032132 | + | | 5000 | 1040063 |
| 10000 | 1032120 | 3:57 h | 7235 s = 2:01 h | 1 věta / 0,78 s | 82,11 % | 6.4.2010 | | | 10000 | 1032120 | 3:57 h | 7235 s = 2:01 h | 1 věta / 0,78 s | 82,11 % | 6.4.2010 | | ||
| 20000 | 1032121 | 16:45 h | 12979 s = 3:36 h | 1 věta / 1,40 s | 83,65 % | 6.-7.4.2010 | | | 20000 | 1032121 | 16:45 h | 12979 s = 3:36 h | 1 věta / 1,40 s | 83,65 % | 6.-7.4.2010 | | ||
| 25000 | 1032122 | 27:43 h | 16500 s = 4:35 h | 1 věta / 1,78 s | 84,24 % | 6.-8.4.2010 | | | 25000 | 1032122 | 27:43 h | 16500 s = 4:35 h | 1 věta / 1,78 s | 84,24 % | 6.-8.4.2010 | | ||
| 30000 | 1032123 | 47:21 h | 24255 s = 6:44 h | 1 věta / 2,62 s | 84,54 % | 6.-8.4.2010 | | | 30000 | 1032123 | 47:21 h | 24255 s = 6:44 h | 1 věta / 2,62 s | 84,54 % | 6.-8.4.2010 | | ||
- | | 35000 | 1035249 | | | | | 9.4.2010 | | + | | 35000 | 1035249 | 2 dny 11:08 h | 21468 s = 5:58 h | 1 věta / 2,32 s | 84,89 % | 9.-12.4.2010 | |
- | | 40000 | 1035250 | | | | | 9.4.2010 | | + | | 40000 | 1035250 | 3 dny 10 min | 24582 s = 6:50 h | 1 věta / 2,65 s | 85,08 % | 9.-12.4.2010 | |
- | | 45000 | 1035251 | | | | | 9.4.2010 | | + | | 45000 | 1035251 | 4 dny 10:53 h | 33744 s = 9:22 h | 1 věta / 3,64 s | 85,35 % | 9.-14.4.2010 | |
- | | 50000 | 1035252 | | | | | 9.4.2010 | | + | | 50000 | 1035252 | 5 dní 19:32 h | 37140 s = 10:19 h | 1 věta / 4,01 s | 85,47 % | 9.-15.4.2010 | |
- | | 55000 | 1035258 | | | | | 9.4.2010 | | + | | 55000 | 1035258 | 7 dní 8:37 h | 40518 s = 11:15 h | 1 věta / 4,37 s | 85,65 % | 9.-17.4.2010 | |
- | | 60000 | 1035254 | | | | | 9.4.2010 | | + | | 60000 | 1035254 | 7 dní 4:55 h | 34374 s = 9:33 h | 1 věta / 3,71 s | 85,80 % | 9.-17.4.2010 | |
- | | 65000 | 1035255 | | | | | 9.4.2010 | | + | | 65000 | 1035255 | 5 dní 21:01 h | 31378 s = 8:43 h | 1 věta / 3,38 s | 85,96 % | 9.-15.4.2010 | |
- | + | | full | 1177802 | | | | | 26.4.2010 | | |
- | + | ||
==== Trénovací data rozsekaná na pětitisícové úseky ==== | ==== Trénovací data rozsekaná na pětitisícové úseky ==== | ||
Line 196: | Line 168: | ||
| 60000-64999 | 1032114 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | | 60000-64999 | 1032114 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | ||
| 65000-68562 | 1032115 | 12:43 min | | | 79,69 % | | | | 65000-68562 | 1032115 | 12:43 min | | | 79,69 % | | | ||
+ | |||
+ | ==== Splitting trick podle slovního poddruhu, jlibsvm ==== | ||
+ | |||
+ | | N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Datum | | ||
+ | | 1000 | 1177862 | 3:00 min | 1304 s = 21:43 min | 1 věta / 0,14 s | 73,81 % | 27.4.2010 | | ||
+ | | 2000 | 1177863 | 7:32 min | 1715 s = 28:35 min | 1 věta / 0,19 s | 76,98 % | 27.4.2010 | | ||
+ | | 5000 | 1177864 | 42:28 min | 3282 s = 54:42 min | 1 věta / 0,35 s | 79,86 % | 27.4.2010 | | ||
+ | | 10000 | 1177866 | | | | | 27.4.2010 | | ||
+ | | 20000 | 1177867 | | | | | 27.4.2010 | | ||
+ | | 25000 | 1177868 | | | | | 27.4.2010 | | ||
+ | | 30000 | 1177870 | | | | | 27.4.2010 | | ||
+ | | 35000 | 1177871 | | | | | 27.4.2010 | | ||
+ | | 40000 | 1177872 | | | | | 27.4.2010 | | ||
+ | | 45000 | 1177873 | | | | | 27.4.2010 | | ||
+ | | 50000 | 1177875 | | | | | 27.4.2010 | | ||
+ | | 55000 | 1177876 | | | | | 27.4.2010 | | ||
+ | | 60000 | 1177877 | | | | | 27.4.2010 | | ||
+ | | 65000 | 1177878 | | | | | 27.4.2010 | | ||
+ | | full | 1177879 | | | | | 27.4.2010 | | ||
+ | |||
+ | ==== Splitting trick podle slovního poddruhu, clibsvm ==== | ||
+ | |||
+ | | N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Datum | | ||
+ | | 1000 | 1177881 | 42 s | 939 s = 15:38 min | 1 věta / 0,10 s | 73,81 % | 27.4.2010 | | ||
+ | | 2000 | 1177882 | 2:31 min | 1659 s = 27:39 min | 1 věta / 0,18 s | 76,98 % | 27.4.2010 | | ||
+ | | 5000 | 1177883 | | | | | 27.4.2010 | | ||
+ | | 10000 | 1177884 | | | | | 27.4.2010 | | ||
+ | | 20000 | 1177901 | náhlá smrt 1177885 | | | | 27.4.2010 | | ||
+ | | 25000 | 1177886 | | | | | 27.4.2010 | | ||
+ | | 30000 | 1177887 | | | | | 27.4.2010 | | ||
+ | | 35000 | 1177888 | | | | | 27.4.2010 | | ||
+ | | 40000 | 1177902 | náhlá smrt 1177889 | | | | 27.4.2010 | | ||
+ | | 45000 | 1177890 | | | | | 27.4.2010 | | ||
+ | | 50000 | 1177904 | náhlá smrt 1177891 | | | | 27.4.2010 | | ||
+ | | 55000 | 1177892 | | | | | 27.4.2010 | | ||
+ | | 60000 | 1177893 | | | | | 27.4.2010 | | ||
+ | | 65000 | 1177894 | | | | | 27.4.2010 | | ||
+ | | full | 1177895 | | | | | 27.4.2010 | | ||
==== Co dál? ==== | ==== Co dál? ==== | ||
- | * Pokusy, na kterých céčková verze '' | + | * Ještě pustit javovské |
* Navrhnout jemnější dělení modelů '' | * Navrhnout jemnější dělení modelů '' | ||
* Rozsekat trénovací data na 14 pětitisícových kusů a s& | * Rozsekat trénovací data na 14 pětitisícových kusů a s& |