[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Next revision
Previous revision
Next revision Both sides next revision
user:zeman:malt-parser [2010/04/06 17:03]
zeman Některé úlohy zahynuly, aniž by zanechaly chybové hlášení.
user:zeman:malt-parser [2010/05/13 13:25]
zeman liblinear.
Line 108: Line 108:
 ==== Javová implementace libsvm ==== ==== Javová implementace libsvm ====
  
-Předpokládá se, že vyžaduje více času a paměti. Podle dokumentace může dojít i k drobným odchylkám v úspěšnosti způsobeným odlišným zpracováním racionálních čísel. Mně se zatím zdá, že odchylky budou spíše značné, a to v neprospěch javové implementace. +Předpokládá se, že vyžaduje více času a paměti. Podle dokumentace může dojít i k drobným odchylkám v úspěšnosti způsobeným odlišným zpracováním racionálních čísel.
- +
-| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka | +
-| 1000 | 1011450 | 37 s | | | | Spadlo, kód -1 není v tabulce symbolů. | +
-| 2000 | 1011451 | 2:46 min | 661 s = 11 min | 1 věta / 0,07 s | 74,10 % | | +
-| 5000 | 1011452 | 17:45 min | 1527 s = 25 min | 1 věta / 0,16 s | 76,65 % | | +
-| 10000 | 1011453 | | | | | Nerozeběhlo se. | +
-| 20000 | 1011454 | 6:23 h | 5602 s = 1:33 h | 1 věta / 0,60 s | 79,90 % | | +
-| 25000 | 1011455 | 10:59 h | 6964 s = 1:56 h | 1 věta / 0,75 s | 80,32 % | | +
-| 30000 | 1011456 | | | | | Nerozeběhlo se. | +
-| 35000 | 1011457 | 22:33 h | 9230 s = 2:34 h | 1 věta / 1,00 s | 81,03 % | | +
-| 40000 | 1011458 | 36:36 h | 12484 s = 3:28 h | 1 věta / 1,35 s | 81,17 % | | +
-| 45000 | 1011459 | 46:26 h | 13889 s = 3:51 h | 1 věta / 1,50 s | 81,51 % | | +
-| 50000 | 1011460 | 58:13 h | 15711 s = 4:22 h | 1 věta / 1,69 s | 81,72 % | | +
-| 55000 | 1011461 | 65:48 h | 17031 s = 4:44 h | 1 věta / 1,84 s | 81,83 % | | +
-| 60000 | 1011462 | 90:10 h | 18145 s = 5:02 h | 1 věta / 1,96 s | 82,11 % | | +
-| 65000 | 1011463 | 89:29 h | 15808 s = 4:23 h | 1 věta / 1,71 s | 82,31 % | | +
- +
-=== Oprava 6.4.2010 === +
- +
-Předcházející pokusy s javovou implementací byly omylem spuštěny s výchozí, nikoli s Marcovou definicí rysů, což by mohlo vysvětlovat tu nižší úspěšnost. Nyní tedy druhý pokus: +
- +
-| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka | +
-| 1000 | 1032117 | 2:38 min | | | | 6.4.2010 | +
-| 2000 | 1032118 | 8:44 min | | | | 6.4.2010 | +
-| 5000 | 1032131, 1032132 | | | | | 6.4.2010. Nějak se pustilo dvakrát přes sebe, takže trénink bohužel nemohl zapisovat do souboru s modelem. Nevím, co se stalo. | +
-| 10000 | 1032120 | | | | | 6.4.2010 | +
-| 20000 | 1032121 | | | | | 6.4.2010 | +
-| 25000 | 1032122 | | | | | 6.4.2010 | +
-| 30000 | 1032123 | | | | | 6.4.2010 | +
-| 35000 | 1032124 | | | | | 6.4.2010 | +
-| 40000 | 1032125 | | | | | 6.4.2010 | +
-| 45000 | 1032126 | | | | | 6.4.2010 | +
-| 50000 | 1032127 | | | | | 6.4.2010 | +
-| 55000 | 1032128 | | | | | 6.4.2010 | +
-| 60000 | 1032129 | | | | | 6.4.2010 | +
-| 65000 | 1032130 | | | | | 6.4.2010 |+
  
 +| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Datum |
 +| 1000 | 1032117 | 2:38 min | 1252 s = 20:52 min | 1 věta / 0,14 s | 74,63 % | 6.4.2010 |
 +| 2000 | 1032118 | 8:44 min | 2344 s = 39:03 min | 1 věta / 0,25 s | 77,73 % | 6.4.2010 |
 +| 5000 | 1040063 | 48:07 min | 3956 s = 1:06 h | 1 věta / 0,43 s | 80,18 % | 12.4.2010 |
 +| 10000 | 1032120 | 3:57 h | 7235 s = 2:01 h | 1 věta / 0,78 s | 82,11 % | 6.4.2010 |
 +| 20000 | 1032121 | 16:45 h | 12979 s = 3:36 h | 1 věta / 1,40 s | 83,65 % | 6.-7.4.2010 |
 +| 25000 | 1032122 | 27:43 h | 16500 s = 4:35 h | 1 věta / 1,78 s | 84,24 % | 6.-8.4.2010 |
 +| 30000 | 1032123 | 47:21 h | 24255 s = 6:44 h | 1 věta / 2,62 s | 84,54 % | 6.-8.4.2010 |
 +| 35000 | 1035249 | 2 dny 11:08 h | 21468 s = 5:58 h | 1 věta / 2,32 s | 84,89 % | 9.-12.4.2010 |
 +| 40000 | 1035250 | 3 dny 10 min | 24582 s = 6:50 h | 1 věta / 2,65 s | 85,08 % | 9.-12.4.2010 |
 +| 45000 | 1035251 | 4 dny 10:53 h | 33744 s = 9:22 h | 1 věta / 3,64 s | 85,35 % | 9.-14.4.2010 |
 +| 50000 | 1035252 | 5 dní 19:32 h | 37140 s = 10:19 h | 1 věta / 4,01 s | 85,47 % | 9.-15.4.2010 |
 +| 55000 | 1035258 | 7 dní 8:37 h | 40518 s = 11:15 h | 1 věta / 4,37 s | 85,65 % | 9.-17.4.2010 |
 +| 60000 | 1035254 | 7 dní 4:55 h | 34374 s = 9:33 h | 1 věta / 3,71 s | 85,80 % | 9.-17.4.2010 |
 +| 65000 | 1035255 | 5 dní 21:01 h | 31378 s = 8:43 h | 1 věta / 3,38 s | 85,96 % | 9.-15.4.2010 |
 +| full | 1177906, 1305554 | 10 dní 4:40 h | | | | 27.4.-7.5.2010 |
  
 ==== Trénovací data rozsekaná na pětitisícové úseky ==== ==== Trénovací data rozsekaná na pětitisícové úseky ====
Line 175: Line 155:
 | N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka | | N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka |
 | 00000-04999 | 1032102 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | 00000-04999 | 1032102 | | | | | Nevysvětlitelná náhlá smrt během trénování. |
-| 05000-09999 | 1032103 | 24:24 min | | | | | +| 05000-09999 | 1032103 | 24:24 min | | | 80,59 % | | 
-| 10000-14999 | 1032104 | 31:56 min | | | | | +| 10000-14999 | 1032104 | 31:56 min | | | 80,23 % | | 
-| 15000-19999 | 1032116 | 30:27 min | | | | | +| 15000-19999 | 1032116 | 30:27 min | | | 80,52 % | | 
-| 20000-24999 | 1032106 | 21:35 min | | | | |+| 20000-24999 | 1032106 | 21:35 min | | | 80,45 % | |
 | 25000-29999 | 1032107 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | 25000-29999 | 1032107 | | | | | Nevysvětlitelná náhlá smrt během trénování. |
-| 30000-34999 | 1032108 | 28:30 min | | | | |+| 30000-34999 | 1032108 | 28:30 min | | | 80,48 % | |
 | 35000-39999 | 1032109 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | 35000-39999 | 1032109 | | | | | Nevysvětlitelná náhlá smrt během trénování. |
-| 40000-44999 | 1032110 | 19:17 min | | | | | +| 40000-44999 | 1032110 | 19:17 min | | | 80,51 % | | 
-| 45000-49999 | 1032111 | 22:54 min | | | | | +| 45000-49999 | 1032111 | 22:54 min | | | 80,62 % | | 
-| 50000-54999 | 1032112 | 22:31 min | | | | |+| 50000-54999 | 1032112 | 22:31 min | | | 80,58 % | |
 | 55000-59999 | 1032113 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | 55000-59999 | 1032113 | | | | | Nevysvětlitelná náhlá smrt během trénování. |
 | 60000-64999 | 1032114 | | | | | Nevysvětlitelná náhlá smrt během trénování. | | 60000-64999 | 1032114 | | | | | Nevysvětlitelná náhlá smrt během trénování. |
-| 65000-68562 | 1032115 | 12:43 min | | | | |+| 65000-68562 | 1032115 | 12:43 min | | | 79,69 % | | 
 + 
 +==== Splitting trick podle slovního poddruhu, jlibsvm ==== 
 + 
 +| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Datum | 
 +| 1000 | 1177862 | 3:00 min | 1304 s = 21:43 min | 1 věta / 0,14 s | 73,81 % | 27.4.2010 | 
 +| 2000 | 1177863 | 7:32 min | 1715 s = 28:35 min | 1 věta / 0,19 s | 76,98 % | 27.4.2010 | 
 +| 5000 | 1177864 | 42:28 min | 3282 s = 54:42 min | 1 věta / 0,35 s | 79,86 % | 27.4.2010 | 
 +| 10000 | 1177866 | 2:50 h | 5863 s = 1:38 h | 1 věta / 0,63 s | 81,63 % | 27.4.2010 | 
 +| 20000 | 1177867 | 15:52 h | 13877 s = 3:51 h | 1 věta / 1,50 s | 83,28 % | 27.-28.4.2010 | 
 +| 25000 | 1177868 | 21:02 h | 13345 s = 3:42 h | 1 věta / 1,44 s | 83,97 % | 27.-28.4.2010 | 
 +| 30000 | 1177870 | 30:36 h | 15689 s = 4:21 h | 1 věta / 1,69 s | 84,23 % | 27.-28.4.2010 | 
 +| 35000 | 1177871 | 39:04 h | | | | 27.4.2010 | Parsing selhal. | 
 +| 40000 | 1177872 | 2 dny 8 h | 19298 s = 5:22 h | 1 věta / 2,08 s | 84,92 % | 27.-30.4.2010 | 
 +| 45000 | 1177873 | 2 dny 20 h | 21907 s = 6:05 h | 1 věta / 2,36 s | 85,18 % | 27.-30.4.2010 | 
 +| 50000 | 1177875 | 3 dny 14 h | 22805 s = 6:20 h | 1 věta / 2,46 s | 85,37 % | 27.4.-1.5.2010 | 
 +| 55000 | 1177876 | 5 dní | 32512 s = 9:02 h | 1 věta / 3,51 s | 85,57 % | 27.4.-2.5.2010 | 
 +| 60000 | 1177877 | 5 dní 20 h | 27429 s = 7:37 h | 1 věta / 2,96 s | 85,70 % | 27.4.-3.5.2010 | 
 +| 65000 | 1177878 | 6 dní 4 h | 28112 s = 7:48 h | 1 věta / 3,03 s | 85,91 % | 27.4.-3.5.2010 | 
 +| full | 1177879 | 8 dní 7 h | 38957 s = 10:49 h | 1 věta / 4,20 s | 86,02 % | 27.4.-6.5.2010 | 
 + 
 +==== Splitting trick podle slovního poddruhu, clibsvm ==== 
 + 
 +| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Datum | Poznámka | 
 +| 1000 | 1177881 | 42 s | 939 s = 15:38 min | 1 věta / 0,10 s | 73,81 % | 27.4.2010 | | 
 +| 2000 | 1177882 | 2:31 min | 1659 s = 27:39 min | 1 věta / 0,18 s | 76,98 % | 27.4.2010 | | 
 +| 5000 | 1177883 | 17:52 min | 3324 s = 55:23 min | 1 věta / 0,36 s | 79,86 % | 27.4.2010 | | 
 +| 10000 | 1177884 | 1:15 h | 5966 s = 1:39 h | 1 věta / 0,64 s | 81,63 % | 27.4.2010 | | 
 +| 20000 | 1177901 | 5:32 h | 10843 s = 3:01 h | 1 věta / 1,17 s | 83,28 % | 27.4.2010 | První pokus 1177885 selhal, ale druhý doběhl. | 
 +| 25000 | 1177886 | | | | | 27.4.2010 | Náhlá smrt. | 
 +| 30000 | 1177887 | 17:21 h | 19860 s = 5:31 h | 1 věta / 2,14 s | 84,23 % | 27.-28.4.2010 | 
 +| 35000 | 1177888 | 16:31 h | | | | 27.-28.4.2010 | Selhal parsing. | 
 +| 40000 | 1177902 | | | | | 27.4.2010 | Náhlá smrt. | 
 +| 45000 | 1177890 | | | | | 27.-28.4.2010 | Náhlá smrt. | 
 +| 50000 | 1177904 | | | | | 27.4.2010 | Dva pokusy (1177891 a 904), zahynuly oba. | 
 +| 55000 | 1177892 | | | | | 27.4.2010 | Náhlá smrt. | 
 +| 60000 | 1177893 | | | | | 27.4.2010 | Náhlá smrt. | 
 +| 65000 | 1177894 | | | | | 27.4.2010 | Náhlá smrt. | 
 +| full | 1177895 | | | | | 27.4.2010 | Náhlá smrt. | 
 + 
 +==== Java liblinear ==== 
 + 
 +| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Datum | Poznámka | 
 +| 1000 | 1305892 | | | | | 13.5.2010 | | 
 +| 2000 | 1305893 | | | | | 13.5.2010 | | 
 +| 5000 | 1306055 | | | | | 13.5.2010 | | 
 +| 10000 | 1306056 | | | | | 13.5.2010 | | 
 +| 20000 | 1306057 | | | | | 13.5.2010 | | 
 +| 25000 | 1306219 | | | | | 13.5.2010 | | 
 +| 30000 | 1306220 | | | | | 13.5.2010 | | 
 +| 35000 | 1306221 | | | | | 13.5.2010 | | 
 +| 40000 | 1306222 | | | | | 13.5.2010 | | 
 +| 45000 | 1306223 | | | | | 13.5.2010 | | 
 +| 50000 | 1306224 | | | | | 13.5.2010 | | 
 +| 55000 | 1306225 | | | | | 13.5.2010 | | 
 +| 60000 | 1306226 | | | | | 13.5.2010 | | 
 +| 65000 | 1306388 | | | | | 13.5.2010 | | 
 +| full | 1306389 | | | | | 13.5.2010 | |
  
 ==== Co dál? ==== ==== Co dál? ====
  
-  * Pokusy, na kterých céčková verze ''libsvm'' havarovala, zkusit ještě s javovou verzí. (Již běží.+  * Ještě pustit javovské ''libsvm'' a uppsalské dělení (CPOSTAG) na celý treebankZatím jsem to udělal nejvýše pro prvních 65000 větale treebank jich má es 68000.
-  * Navrhnout jemnější dělení modelů ''libsvm''aby modely 003 a 004 nebyly tak velké. Např. idat slovní poddruh a pád. +
-  * Rozsekat trénovací data na 14 pětitisícových kusů a s každým z nich pustit trénink a parsing zvlášť. Spadnou některé? A mimochodem, jakou úspěšnost by dalo hlasování takto natrénovaných kusů?+
   * Zkusit ''liblinear'' místo ''libsvm''.   * Zkusit ''liblinear'' místo ''libsvm''.
   * Odladit ''train.pl'', aby se výsledný soubor ''.mco'' dal rozbalovat. Možná mu vadí pouze ".mco" u volby ''-c''.   * Odladit ''train.pl'', aby se výsledný soubor ''.mco'' dal rozbalovat. Možná mu vadí pouze ".mco" u volby ''-c''.
   * Jestli nakonec nějak prorazím, bude potřeba opět učesat obalovací skripty. Mj. jsem přišel na to, že ve většině svých skriptů používám jako dočasný adresář ''/tmp'' místo Milanem důrazně doporučeného ''/mnt/h/tmp''. Např. na tauri10 jsem tak počmáral 4 GB a proces skončil, protože příslušný svazek byl plný. Tohle by se mj. mělo opravit i u skriptů pro Joshuu a dalších. Jinak jsem taky mohutně čachroval s žádostí o příděl paměti na clusteru (týká se i skriptu ''qsub.csh''), s konfigurací Maltu atd.   * Jestli nakonec nějak prorazím, bude potřeba opět učesat obalovací skripty. Mj. jsem přišel na to, že ve většině svých skriptů používám jako dočasný adresář ''/tmp'' místo Milanem důrazně doporučeného ''/mnt/h/tmp''. Např. na tauri10 jsem tak počmáral 4 GB a proces skončil, protože příslušný svazek byl plný. Tohle by se mj. mělo opravit i u skriptů pro Joshuu a dalších. Jinak jsem taky mohutně čachroval s žádostí o příděl paměti na clusteru (týká se i skriptu ''qsub.csh''), s konfigurací Maltu atd.
   * Vyhodnotit to ještě i na e-testu a připsat to na stránku o českém parsingu.   * Vyhodnotit to ještě i na e-testu a připsat to na stránku o českém parsingu.
 +  * Zkusit hlasování pětitisícových kusů.
 +

[ Back to the navigation ] [ Back to the content ]