[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

• ÚFAL Wiki Home
• ÚFAL Home
• Sitemap
• RSS
• ÚFAL calendar
• Recent changes
• Login
• Hledat:

[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

View differences: Side by SideInline Go

Link to this comparison view

Both sides previous revision Previous revision 2010/08/14 16:19 zeman Pouštím pokusy covproj.2010/08/14 16:13 zeman Doběhly pokusy stackeager.2010/08/14 16:03 zeman Doběhly pokusy stackproj.2010/06/07 15:57 zeman Doběhlo stackeager 50000.2010/06/07 12:38 zeman Doběhlo stackproj 5000.2010/06/07 12:37 zeman Nová sada pokusů stackproj.2010/06/07 10:33 zeman Doběhla řada výpočtů stackeager.2010/06/02 11:02 zeman Nová sada pokusů stackeager.2010/06/02 09:17 zeman Aktualizace Co dál?2010/06/02 09:15 zeman Aktualizace Co dál?2010/05/28 10:28 zeman Doběhl švédský test full.2010/05/28 10:18 zeman Doběhly všechny liblinear.2010/05/28 10:17 zeman Doběhly všechny liblinear.2010/05/13 13:25 zeman liblinear.2010/05/13 11:28 zeman Aktualizace Co dál?2010/05/13 11:10 zeman Pustil jsem parser.2010/05/13 10:53 zeman Doběhl trénink jlibsvm na celém treebanku, ale parsing se nerozeběhl.2010/05/07 09:32 zeman Doběhlo jlibsvm full.2010/05/04 08:05 zeman Doběhlo jlibsvm 65000.2010/05/03 14:56 zeman Doběhly další jlibsvm.2010/04/29 10:01 zeman Doběhlo jlibsvm 30000.2010/04/28 16:19 zeman Doběhla další jlibsvm, zbývající clibsvm už všechna popadala.2010/04/27 21:43 zeman Na druhý pokus doběhlo clibsvm 20000.2010/04/27 16:21 zeman Doběhlo jlibsvm 10000.2010/04/27 15:03 zeman Větší céčkové modely už zase chcípají.2010/04/27 14:59 zeman Doběhlo clibsvm 5000 a 10000.2010/04/27 12:46 zeman Znova nezvěstné split-postag clibsvm 50000.2010/04/27 12:44 zeman Znova spuštěn jlibsvm full split-cpostag (včera zahynul při havárii NFS).2010/04/27 12:38 zeman Nově spuštěné úlohy clibsvm.2010/04/27 12:34 zeman Odstartovalo jlibsvm i clibsvm, ale některé úlohy clibsvm jsem musel pouštět znova.2010/04/27 11:14 zeman Po dvou pádech NFS znova pouštím split-postag jlibsvm.2010/04/26 16:49 zeman Puštěno jlibsvm na celém korpusu, příprava splitting tricku na subposu.2010/04/26 15:19 zeman Java celý treebank.2010/04/26 12:51 zeman Aktualizace Co dál?2010/04/26 12:49 zeman Doběhly zbývající testy javových modelů.2010/04/14 08:31 zeman Doběhla java 45000.2010/04/13 11:32 zeman Doběhla java 40000.2010/04/12 17:20 zeman Doběhla java 35000 test.2010/04/12 13:05 zeman Doběhla java 5000 opravný pokus.2010/04/12 10:42 zeman Nový pokus java 5000.2010/04/12 10:40 zeman Doběhla java 35000 trénink.2010/04/09 10:57 zeman V noci spadla síť, zbývající pokusy pouštím znova.2010/04/08 22:22 zeman Doběhla java 30000.2010/04/08 08:17 zeman Doběhla java 25000.2010/04/07 14:49 zeman Doběhla java 20000.2010/04/06 23:27 zeman Doběhla java 10000.2010/04/06 23:24 zeman 2010/04/06 17:47 zeman Doběhlo 05000-09999.2010/04/06 17:42 zeman 2010/04/06 17:13 zeman Doběhly javové pokusy 1000 a 2000 (a neúspěch 5000).2010/04/06 17:03 zeman Některé úlohy zahynuly, aniž by zanechaly chybové hlášení. Go Next revision		Previous revision 2013/06/12 13:35 zeman Jak se to pouští?2013/06/12 13:30 zeman 2013/06/12 13:29 zeman conll-pdttags2conll.pl2013/06/12 13:08 zeman Úprava.2013/06/12 13:06 zeman Aktuální úkoly.2012/06/28 09:06 zeman Velikosti dat.2012/06/28 09:04 zeman Reorganizace a vyházení některých nepotřebných pasáží.2012/05/09 16:25 zeman Cesta ke starým pokusům.2012/05/09 16:23 zeman Malt Parser 1.7.1.2011/09/13 21:00 zeman Nejlepší výsledek.2010/08/25 11:14 zeman Algoritmy nivrestandard a nivreeager také nefungují.2010/08/25 11:10 zeman Možný důvod, proč covproj a covnonproj nefungují.2010/08/14 16:29 zeman Covproj padá.2010/08/14 16:19 zeman Pouštím pokusy covproj.2010/08/14 16:13 zeman Doběhly pokusy stackeager.2010/08/14 16:03 zeman Doběhly pokusy stackproj.2010/06/07 15:57 zeman Doběhlo stackeager 50000.2010/06/07 12:38 zeman Doběhlo stackproj 5000.2010/06/07 12:37 zeman Nová sada pokusů stackproj.2010/06/07 10:33 zeman Doběhla řada výpočtů stackeager.2010/06/02 11:02 zeman Nová sada pokusů stackeager.2010/06/02 09:17 zeman Aktualizace Co dál?2010/06/02 09:15 zeman Aktualizace Co dál?2010/05/28 10:28 zeman Doběhl švédský test full.2010/05/28 10:18 zeman Doběhly všechny liblinear.2010/05/28 10:17 zeman Doběhly všechny liblinear.2010/05/13 13:25 zeman liblinear.2010/05/13 11:28 zeman Aktualizace Co dál?2010/05/13 11:10 zeman Pustil jsem parser.2010/05/13 10:53 zeman Doběhl trénink jlibsvm na celém treebanku, ale parsing se nerozeběhl.2010/05/07 09:32 zeman Doběhlo jlibsvm full.2010/05/04 08:05 zeman Doběhlo jlibsvm 65000.2010/05/03 14:56 zeman Doběhly další jlibsvm.2010/04/29 10:01 zeman Doběhlo jlibsvm 30000.2010/04/28 16:19 zeman Doběhla další jlibsvm, zbývající clibsvm už všechna popadala.2010/04/27 21:43 zeman Na druhý pokus doběhlo clibsvm 20000.2010/04/27 16:21 zeman Doběhlo jlibsvm 10000.2010/04/27 15:03 zeman Větší céčkové modely už zase chcípají.2010/04/27 14:59 zeman Doběhlo clibsvm 5000 a 10000.2010/04/27 12:46 zeman Znova nezvěstné split-postag clibsvm 50000.2010/04/27 12:44 zeman Znova spuštěn jlibsvm full split-cpostag (včera zahynul při havárii NFS).2010/04/27 12:38 zeman Nově spuštěné úlohy clibsvm.2010/04/27 12:34 zeman Odstartovalo jlibsvm i clibsvm, ale některé úlohy clibsvm jsem musel pouštět znova.2010/04/27 11:14 zeman Po dvou pádech NFS znova pouštím split-postag jlibsvm.2010/04/26 16:49 zeman Puštěno jlibsvm na celém korpusu, příprava splitting tricku na subposu.2010/04/26 15:19 zeman Java celý treebank.2010/04/26 12:51 zeman Aktualizace Co dál?2010/04/26 12:49 zeman Doběhly zbývající testy javových modelů.2010/04/14 08:31 zeman Doběhla java 45000.2010/04/13 11:32 zeman Doběhla java 40000.2010/04/12 17:20 zeman Doběhla java 35000 test. Go Next revision Both sides next revision
user:zeman:malt-parser [2010/04/27 14:59] zeman Doběhlo clibsvm 5000 a 10000.		user:zeman:malt-parser [2010/05/28 10:17] zeman Doběhly všechny liblinear.
Line 125:		Line 125:
	| 60000 | 1035254 | 7 dní 4:55 h | 34374 s = 9:33 h | 1 věta / 3,71 s | 85,80 % | 9.-17.4.2010 |		| 60000 | 1035254 | 7 dní 4:55 h | 34374 s = 9:33 h | 1 věta / 3,71 s | 85,80 % | 9.-17.4.2010 |
	| 65000 | 1035255 | 5 dní 21:01 h | 31378 s = 8:43 h | 1 věta / 3,38 s | 85,96 % | 9.-15.4.2010 |		| 65000 | 1035255 | 5 dní 21:01 h | 31378 s = 8:43 h | 1 věta / 3,38 s | 85,96 % | 9.-15.4.2010 |
-	| full | 1177906 | | | | | 27.4.2010 |	+	| full | 1177906, 1305554 | 10 dní 4:40 h | | | | 27.4.-7.5.2010 |
	==== Trénovací data rozsekaná na pětitisícové úseky ====		==== Trénovací data rozsekaná na pětitisícové úseky ====
Line 175:		Line 175:
	| 2000 | 1177863 | 7:32 min | 1715 s = 28:35 min | 1 věta / 0,19 s | 76,98 % | 27.4.2010 |		| 2000 | 1177863 | 7:32 min | 1715 s = 28:35 min | 1 věta / 0,19 s | 76,98 % | 27.4.2010 |
	| 5000 | 1177864 | 42:28 min | 3282 s = 54:42 min | 1 věta / 0,35 s | 79,86 % | 27.4.2010 |		| 5000 | 1177864 | 42:28 min | 3282 s = 54:42 min | 1 věta / 0,35 s | 79,86 % | 27.4.2010 |
-	| 10000 | 1177866 | | | | | 27.4.2010 |	+	| 10000 | 1177866 | 2:50 h | 5863 s = 1:38 h | 1 věta / 0,63 s | 81,63 % | 27.4.2010 |
-	| 20000 | 1177867 | | | | | 27.4.2010 |	+	| 20000 | 1177867 | 15:52 h | 13877 s = 3:51 h | 1 věta / 1,50 s | 83,28 % | 27.-28.4.2010 |
-	| 25000 | 1177868 | | | | | 27.4.2010 |	+	| 25000 | 1177868 | 21:02 h | 13345 s = 3:42 h | 1 věta / 1,44 s | 83,97 % | 27.-28.4.2010 |
-	| 30000 | 1177870 | | | | | 27.4.2010 |	+	| 30000 | 1177870 | 30:36 h | 15689 s = 4:21 h | 1 věta / 1,69 s | 84,23 % | 27.-28.4.2010 |
-	| 35000 | 1177871 | | | | | 27.4.2010 |	+	| 35000 | 1177871 | 39:04 h | | | | 27.4.2010 | Parsing selhal. |
-	| 40000 | 1177872 | | | | | 27.4.2010 |	+	| 40000 | 1177872 | 2 dny 8 h | 19298 s = 5:22 h | 1 věta / 2,08 s | 84,92 % | 27.-30.4.2010 |
-	| 45000 | 1177873 | | | | | 27.4.2010 |	+	| 45000 | 1177873 | 2 dny 20 h | 21907 s = 6:05 h | 1 věta / 2,36 s | 85,18 % | 27.-30.4.2010 |
-	| 50000 | 1177875 | | | | | 27.4.2010 |	+	| 50000 | 1177875 | 3 dny 14 h | 22805 s = 6:20 h | 1 věta / 2,46 s | 85,37 % | 27.4.-1.5.2010 |
-	| 55000 | 1177876 | | | | | 27.4.2010 |	+	| 55000 | 1177876 | 5 dní | 32512 s = 9:02 h | 1 věta / 3,51 s | 85,57 % | 27.4.-2.5.2010 |
-	| 60000 | 1177877 | | | | | 27.4.2010 |	+	| 60000 | 1177877 | 5 dní 20 h | 27429 s = 7:37 h | 1 věta / 2,96 s | 85,70 % | 27.4.-3.5.2010 |
-	| 65000 | 1177878 | | | | | 27.4.2010 |	+	| 65000 | 1177878 | 6 dní 4 h | 28112 s = 7:48 h | 1 věta / 3,03 s | 85,91 % | 27.4.-3.5.2010 |
-	| full | 1177879 | | | | | 27.4.2010 |	+	| full | 1177879 | 8 dní 7 h | 38957 s = 10:49 h | 1 věta / 4,20 s | 86,02 % | 27.4.-6.5.2010 |
	==== Splitting trick podle slovního poddruhu, clibsvm ====		==== Splitting trick podle slovního poddruhu, clibsvm ====
-	| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Datum |	+	| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Datum | Poznámka |
-	| 1000 | 1177881 | 42 s | 939 s = 15:38 min | 1 věta / 0,10 s | 73,81 % | 27.4.2010 |	+	| 1000 | 1177881 | 42 s | 939 s = 15:38 min | 1 věta / 0,10 s | 73,81 % | 27.4.2010 | |
-	| 2000 | 1177882 | 2:31 min | 1659 s = 27:39 min | 1 věta / 0,18 s | 76,98 % | 27.4.2010 |	+	| 2000 | 1177882 | 2:31 min | 1659 s = 27:39 min | 1 věta / 0,18 s | 76,98 % | 27.4.2010 | |
-	| 5000 | 1177883 | 17:52 min | 3324 s = 55:23 min | 1 věta / 0,36 s | 79,86 % | 27.4.2010 |	+	| 5000 | 1177883 | 17:52 min | 3324 s = 55:23 min | 1 věta / 0,36 s | 79,86 % | 27.4.2010 | |
-	| 10000 | 1177884 | 1:15 h | 5966 s = 1:39 h | 1 věta / 0,64 s | 81,63 % | 27.4.2010 |	+	| 10000 | 1177884 | 1:15 h | 5966 s = 1:39 h | 1 věta / 0,64 s | 81,63 % | 27.4.2010 | |
-	| 20000 | 1177901 | náhlá smrt 1177885 | | | | 27.4.2010 |	+	| 20000 | 1177901 | 5:32 h | 10843 s = 3:01 h | 1 věta / 1,17 s | 83,28 % | 27.4.2010 | První pokus 1177885 selhal, ale druhý doběhl. |
-	| 25000 | 1177886 | | | | | 27.4.2010 |	+	| 25000 | 1177886 | | | | | 27.4.2010 | Náhlá smrt. |
-	| 30000 | 1177887 | | | | | 27.4.2010 |	+	| 30000 | 1177887 | 17:21 h | 19860 s = 5:31 h | 1 věta / 2,14 s | 84,23 % | 27.-28.4.2010 |
-	| 35000 | 1177888 | | | | | 27.4.2010 |	+	| 35000 | 1177888 | 16:31 h | | | | 27.-28.4.2010 | Selhal parsing. |
-	| 40000 | 1177902 | náhlá smrt 1177889 | | | | 27.4.2010 |	+	| 40000 | 1177902 | | | | | 27.4.2010 | Náhlá smrt. |
-	| 45000 | 1177890 | | | | | 27.4.2010 |	+	| 45000 | 1177890 | | | | | 27.-28.4.2010 | Náhlá smrt. |
-	| 50000 | 1177904 | náhlá smrt 1177891 i 1177904, vzdávám | | | | 27.4.2010 |	+	| 50000 | 1177904 | | | | | 27.4.2010 | Dva pokusy (1177891 a 904), zahynuly oba. |
-	| 55000 | 1177892 | | | | | 27.4.2010 |	+	| 55000 | 1177892 | | | | | 27.4.2010 | Náhlá smrt. |
-	| 60000 | 1177893 | | | | | 27.4.2010 |	+	| 60000 | 1177893 | | | | | 27.4.2010 | Náhlá smrt. |
-	| 65000 | 1177894 | | | | | 27.4.2010 |	+	| 65000 | 1177894 | | | | | 27.4.2010 | Náhlá smrt. |
-	| full | 1177895 | | | | | 27.4.2010 |	+	| full | 1177895 | | | | | 27.4.2010 | Náhlá smrt. |
		+
		+	==== Java liblinear ====
		+
		+	| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Datum | Poznámka |
		+	| 1000 | 1305892 | 46 s | 58808 s = 16:20 h | 1 věta / 6,34 s | 69,82 % | 13.-14.5.2010 | |
		+	| 2000 | 1305893 | 1:40 min | 60656 s = 16:51 h | 1 věta / 6,54 s | 72,01 % | 13.-14.5.2010 | |
		+	| 5000 | 1306055 | 6:36 min | 112707 s = 31:18 h | 1 věta / 12,16 s | 73,71 % | 13.-14.5.2010 | |
		+	| 10000 | 1306056 | 10:07 min | 64658 s = 17:57 h | 1 věta / 6,97 s | 74,49 % | 13.-14.5.2010 | |
		+	| 20000 | 1306057 | 25:26 min | 68167 s = 18:56 h | 1 věta / 7,35 s | 75,00 % | 13.-14.5.2010 | |
		+	| 25000 | 1306219 | 40:47 min | 117823 s = 32:44 h | 1 věta / 12,71 s | 75,11 % | 13.-14.5.2010 | |
		+	| 30000 | 1306220 | 34:13 min | 66785 s = 18:33 h | 1 věta / 7,21 s | 75,41 % | 13.-14.5.2010 | |
		+	| 35000 | 1306221 | 37:50 min | 66877 s = 18:35 h | 1 věta / 7,21 s | 75,66 % | 13.-14.5.2010 | |
		+	| 40000 | 1306222 | 46:26 min | 65917 s = 18:19 h | 1 věta / 7,11 s | 75,88 % | 13.-14.5.2010 | |
		+	| 45000 | 1306223 | 1:01 h | 69289 s = 19:15 h | 1 věta / 7,47 s | 76,11 % | 13.-14.5.2010 | |
		+	| 50000 | 1306224 | 55:21 min | 66392 s = 18:27 h | 1 věta / 7,16 s | 76,28 % | 13.-14.5.2010 | |
		+	| 55000 | 1306225 | 1:02 h | 67181 s = 18:40 h | 1 věta / 7,25 s | 76,40 % | 13.-14.5.2010 | |
		+	| 60000 | 1306226 | 1:20 h | 69428 s = 19:17 h | 1 věta / 7,49 s | 76,59 % | 13.-14.5.2010 | |
		+	| 65000 | 1306388 | 1:25 h | 70273 s = 19:31 h | 1 věta / 7,58 s | 76,58 % | 13.-14.5.2010 | |
		+	| full | 1306389 | 1:07 h | 66396 s = 18:27 h | 1 věta / 7,16 s | 76,78 % | 13.-14.5.2010 | |
	==== Co dál? ====		==== Co dál? ====
	* Ještě pustit javovské ''libsvm'' a uppsalské dělení (CPOSTAG) na celý treebank. Zatím jsem to udělal nejvýše pro prvních 65000 vět, ale treebank jich má přes 68000.		* Ještě pustit javovské ''libsvm'' a uppsalské dělení (CPOSTAG) na celý treebank. Zatím jsem to udělal nejvýše pro prvních 65000 vět, ale treebank jich má přes 68000.
-	* Navrhnout jemnější dělení modelů ''libsvm'', aby modely 003 a 004 nebyly tak velké. Např. přidat slovní poddruh a pád.
-	* Rozsekat trénovací data na 14 pětitisícových kusů a s každým z nich pustit trénink a parsing zvlášť. Spadnou některé? A mimochodem, jakou úspěšnost by dalo hlasování takto natrénovaných kusů?
	* Zkusit ''liblinear'' místo ''libsvm''.		* Zkusit ''liblinear'' místo ''libsvm''.
	* Odladit ''train.pl'', aby se výsledný soubor ''.mco'' dal rozbalovat. Možná mu vadí pouze ".mco" u volby ''-c''.		* Odladit ''train.pl'', aby se výsledný soubor ''.mco'' dal rozbalovat. Možná mu vadí pouze ".mco" u volby ''-c''.
	* Jestli nakonec nějak prorazím, bude potřeba opět učesat obalovací skripty. Mj. jsem přišel na to, že ve většině svých skriptů používám jako dočasný adresář ''/tmp'' místo Milanem důrazně doporučeného ''/mnt/h/tmp''. Např. na tauri10 jsem tak počmáral 4 GB a proces skončil, protože příslušný svazek byl plný. Tohle by se mj. mělo opravit i u skriptů pro Joshuu a dalších. Jinak jsem taky mohutně čachroval s žádostí o příděl paměti na clusteru (týká se i skriptu ''qsub.csh''), s konfigurací Maltu atd.		* Jestli nakonec nějak prorazím, bude potřeba opět učesat obalovací skripty. Mj. jsem přišel na to, že ve většině svých skriptů používám jako dočasný adresář ''/tmp'' místo Milanem důrazně doporučeného ''/mnt/h/tmp''. Např. na tauri10 jsem tak počmáral 4 GB a proces skončil, protože příslušný svazek byl plný. Tohle by se mj. mělo opravit i u skriptů pro Joshuu a dalších. Jinak jsem taky mohutně čachroval s žádostí o příděl paměti na clusteru (týká se i skriptu ''qsub.csh''), s konfigurací Maltu atd.
	* Vyhodnotit to ještě i na e-testu a připsat to na stránku o českém parsingu.		* Vyhodnotit to ještě i na e-testu a připsat to na stránku o českém parsingu.
		+	* Zkusit hlasování pětitisícových kusů.
		+

---

[ Back to the navigation ] [ Back to the content ]