[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » user » zeman » malt-parser

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
Next revision Both sides next revision
user:zeman:malt-parser [2010/03/28 21:31]
zeman Švédské trénování 68563 spadlo. 		user:zeman:malt-parser [2010/03/30 15:11]
zeman Doběhl švédský test 30000.
Line 46: Line 46:
 procesor 64bit dual core AMD Opteron 2 GHz procesor 64bit dual core AMD Opteron 2 GHz
 paměť 16 GB, ale proces zabírá jen 4,1 GB paměť 16 GB, ale proces zabírá jen 4,1 GB
 +
  
  
Line 61: Line 62:
 foreach i (dtrain dtest) foreach i (dtrain dtest)
   $PARSINGROOT/malt-parser/marco-kuhlmann-czech-settings/conll-pdttags2conll.pl < $i.conll > $i.conll2009tags.conll   $PARSINGROOT/malt-parser/marco-kuhlmann-czech-settings/conll-pdttags2conll.pl < $i.conll > $i.conll2009tags.conll
 +end
 +foreach i (25000 30000 35000 40000 45000 55000 60000 65000)
 +  split_conll.pl < dtrain.conll2009tags.conll -head $i dtrain-$i.conll2009tags.conll /dev/null
 end</code> end</code>
  
Line 77: Line 81:
 Trénování na části trénovacích dat (prvních N vět). Testování je vždy na celém dtestu, tedy 9270 vět. Trénování na části trénovacích dat (prvních N vět). Testování je vždy na celém dtestu, tedy 9270 vět.
  
-| N | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | +| N | TÚloha | Délka trénování | PÚloha | Délka parsingu | Rychlost parsingu | Úspěšnost | 
-| 1000 | 1 minuta | 1248 s = 20:48 min | 1 věta / 0,13 s | 74,63 % | +| 1000 | | 1 minuta | | 1248 s = 20:48 min | 1 věta / 0,13 s | 74,63 % | 
-| 2000 | 4 minuty | 1885 s = 31:25 min | 1 věta / 0,20 s | 77,73 % | +| 2000 | | 4 minuty | | 1885 s = 31:25 min | 1 věta / 0,20 s | 77,73 % | 
-| 5000 | 30 minut | 5534 s = 1:32 hod | 1 věta / 0,60 s | 80,18 % | +| 5000 | | 30 minut | | 5534 s = 1:32 hod | 1 věta / 0,60 s | 80,18 % | 
-| 10000 | 1:30 hod | 7171 s = 2:00 hod | 1 věta / 0,77 s | 82,11 % | +| 10000 | | 1:30 hod | | 7171 s = 2:00 hod | 1 věta / 0,77 s | 82,11 % | 
-| 20000 | | | | | +| 20000 | | 10:09 hod | | 17139 s = 4:45 hod | 1 věta / 1,85 s | 83,65 % | 
-| 50000 | | | | | +| 25000 | 984089 | 12:12 hod | 984241 | 16031 s = 4:27 hod | 1 věta / 1,73 s | 84,24 % | 
-| 68563 | Trénink spadl (core v ''tauri5:/mnt/h/tmp/malt.25318''), zkusíme pustit ještě jednou. | | | |+| 30000 | 984090 | 21:54 hod | 984266 | 19280 s = 5:21 hod | 1 věta / 2,08 s | 84,54 % | 
 +| 35000 | 984091 | 21:09 hod | 984242 | | | | 
 +| 40000 | 984092 | spadlo na ''sdm0.003.libsvm.mod'' | | | | | 
 +| 45000 | 984093 | poslední zápis 30.3. 6:33 | | | | | 
 +| 50000 | 984030 | 49:55 hod | 984336 | | | | 
 +| 55000 | 984094 | spadlo na ''sdm0.004.libsvm.mod'' | | | | | 
 +| 60000 | 984095 | spadlo na ''sdm0.004.libsvm.mod'' | | | | | 
 +| 65000 | 984096 | nezapisuje od 29.3. 16:01 | | | | | 
 +| 68563 | | Dva pokusy, oba spadly při vytváření ''sdm0.004.libsvm.mod''. Zanechaly core, jinak nic. | | | | |
  
 ==== Co dál? ==== ==== Co dál? ====

[ Back to the navigation ] [ Back to the content ]