[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

• ÚFAL Wiki Home
• ÚFAL Home
• Sitemap
• RSS
• ÚFAL calendar
• Recent changes
• Login
• Hledat:

[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

View differences: Side by SideInline Go

Link to this comparison view

Both sides previous revision Previous revision 2010/05/13 13:25 zeman liblinear.2010/05/13 11:28 zeman Aktualizace Co dál?2010/05/13 11:10 zeman Pustil jsem parser.2010/05/13 10:53 zeman Doběhl trénink jlibsvm na celém treebanku, ale parsing se nerozeběhl.2010/05/07 09:32 zeman Doběhlo jlibsvm full.2010/05/04 08:05 zeman Doběhlo jlibsvm 65000.2010/05/03 14:56 zeman Doběhly další jlibsvm.2010/04/29 10:01 zeman Doběhlo jlibsvm 30000.2010/04/28 16:19 zeman Doběhla další jlibsvm, zbývající clibsvm už všechna popadala.2010/04/27 21:43 zeman Na druhý pokus doběhlo clibsvm 20000.2010/04/27 16:21 zeman Doběhlo jlibsvm 10000.2010/04/27 15:03 zeman Větší céčkové modely už zase chcípají.2010/04/27 14:59 zeman Doběhlo clibsvm 5000 a 10000.2010/04/27 12:46 zeman Znova nezvěstné split-postag clibsvm 50000.2010/04/27 12:44 zeman Znova spuštěn jlibsvm full split-cpostag (včera zahynul při havárii NFS).2010/04/27 12:38 zeman Nově spuštěné úlohy clibsvm.2010/04/27 12:34 zeman Odstartovalo jlibsvm i clibsvm, ale některé úlohy clibsvm jsem musel pouštět znova.2010/04/27 11:14 zeman Po dvou pádech NFS znova pouštím split-postag jlibsvm.2010/04/26 16:49 zeman Puštěno jlibsvm na celém korpusu, příprava splitting tricku na subposu.2010/04/26 15:19 zeman Java celý treebank.2010/04/26 12:51 zeman Aktualizace Co dál?2010/04/26 12:49 zeman Doběhly zbývající testy javových modelů.2010/04/14 08:31 zeman Doběhla java 45000.2010/04/13 11:32 zeman Doběhla java 40000.2010/04/12 17:20 zeman Doběhla java 35000 test.2010/04/12 13:05 zeman Doběhla java 5000 opravný pokus.2010/04/12 10:42 zeman Nový pokus java 5000.2010/04/12 10:40 zeman Doběhla java 35000 trénink.2010/04/09 10:57 zeman V noci spadla síť, zbývající pokusy pouštím znova.2010/04/08 22:22 zeman Doběhla java 30000.2010/04/08 08:17 zeman Doběhla java 25000.2010/04/07 14:49 zeman Doběhla java 20000.2010/04/06 23:27 zeman Doběhla java 10000.2010/04/06 23:24 zeman 2010/04/06 17:47 zeman Doběhlo 05000-09999.2010/04/06 17:42 zeman 2010/04/06 17:13 zeman Doběhly javové pokusy 1000 a 2000 (a neúspěch 5000).2010/04/06 17:03 zeman Některé úlohy zahynuly, aniž by zanechaly chybové hlášení.2010/04/06 16:51 zeman Opravné pokusy alljava.pl a chunks5000.pl.2010/04/06 14:34 zeman Doběhly zbývající testy javových modelů.2010/04/02 16:10 zeman Java 35000.2010/04/02 15:00 zeman Komentář k pětitisícovým úsekům.2010/04/02 14:55 zeman Pětitisícové úseky.2010/04/02 10:10 zeman Java 25000.2010/04/01 22:54 zeman Trénovací data rozsekaná na pětitisícové úseky.2010/04/01 22:44 zeman 200002010/04/01 15:45 zeman Aktualizace Co dál?2010/04/01 15:34 zeman Javová implementace libsvm.2010/04/01 13:57 zeman Proč to padá?2010/03/31 16:01 zeman Doběhl švédský test 45000.2010/03/31 10:53 zeman Go Next revision		Previous revision 2010/05/13 13:25 zeman liblinear.2010/05/13 11:28 zeman Aktualizace Co dál?2010/05/13 11:10 zeman Pustil jsem parser.2010/05/13 10:53 zeman Doběhl trénink jlibsvm na celém treebanku, ale parsing se nerozeběhl.2010/05/07 09:32 zeman Doběhlo jlibsvm full.2010/05/04 08:05 zeman Doběhlo jlibsvm 65000.2010/05/03 14:56 zeman Doběhly další jlibsvm.2010/04/29 10:01 zeman Doběhlo jlibsvm 30000.2010/04/28 16:19 zeman Doběhla další jlibsvm, zbývající clibsvm už všechna popadala.2010/04/27 21:43 zeman Na druhý pokus doběhlo clibsvm 20000.2010/04/27 16:21 zeman Doběhlo jlibsvm 10000.2010/04/27 15:03 zeman Větší céčkové modely už zase chcípají.2010/04/27 14:59 zeman Doběhlo clibsvm 5000 a 10000.2010/04/27 12:46 zeman Znova nezvěstné split-postag clibsvm 50000.2010/04/27 12:44 zeman Znova spuštěn jlibsvm full split-cpostag (včera zahynul při havárii NFS).2010/04/27 12:38 zeman Nově spuštěné úlohy clibsvm.2010/04/27 12:34 zeman Odstartovalo jlibsvm i clibsvm, ale některé úlohy clibsvm jsem musel pouštět znova.2010/04/27 11:14 zeman Po dvou pádech NFS znova pouštím split-postag jlibsvm.2010/04/26 16:49 zeman Puštěno jlibsvm na celém korpusu, příprava splitting tricku na subposu.2010/04/26 15:19 zeman Java celý treebank.2010/04/26 12:51 zeman Aktualizace Co dál?2010/04/26 12:49 zeman Doběhly zbývající testy javových modelů.2010/04/14 08:31 zeman Doběhla java 45000.2010/04/13 11:32 zeman Doběhla java 40000.2010/04/12 17:20 zeman Doběhla java 35000 test.2010/04/12 13:05 zeman Doběhla java 5000 opravný pokus.2010/04/12 10:42 zeman Nový pokus java 5000.2010/04/12 10:40 zeman Doběhla java 35000 trénink.2010/04/09 10:57 zeman V noci spadla síť, zbývající pokusy pouštím znova.2010/04/08 22:22 zeman Doběhla java 30000.2010/04/08 08:17 zeman Doběhla java 25000.2010/04/07 14:49 zeman Doběhla java 20000.2010/04/06 23:27 zeman Doběhla java 10000.2010/04/06 23:24 zeman 2010/04/06 17:47 zeman Doběhlo 05000-09999.2010/04/06 17:42 zeman 2010/04/06 17:13 zeman Doběhly javové pokusy 1000 a 2000 (a neúspěch 5000).2010/04/06 17:03 zeman Některé úlohy zahynuly, aniž by zanechaly chybové hlášení.2010/04/06 16:51 zeman Opravné pokusy alljava.pl a chunks5000.pl.2010/04/06 14:34 zeman Doběhly zbývající testy javových modelů.2010/04/02 16:10 zeman Java 35000.2010/04/02 15:00 zeman Komentář k pětitisícovým úsekům.2010/04/02 14:55 zeman Pětitisícové úseky.2010/04/02 10:10 zeman Java 25000.2010/04/01 22:54 zeman Trénovací data rozsekaná na pětitisícové úseky.2010/04/01 22:44 zeman 200002010/04/01 15:45 zeman Aktualizace Co dál?2010/04/01 15:34 zeman Javová implementace libsvm.2010/04/01 13:57 zeman Proč to padá?2010/03/31 16:01 zeman Doběhl švédský test 45000.2010/03/31 10:53 zeman Go Next revision Both sides next revision
user:zeman:malt-parser [2010/04/06 17:03] zeman Některé úlohy zahynuly, aniž by zanechaly chybové hlášení.		user:zeman:malt-parser [2010/04/12 13:05] zeman Doběhla java 5000 opravný pokus.
Line 106:		Line 106:
	Joakim navrhuje, abychom zkusili dělení zjemnit, např. místo CPOSTAGu dělit modely podle slovního poddruhu (druhá pozice české značky). Pak by dílčí modely byly menší a libsvm by třeba nespadlo. Ve skutečnosti budu asi muset zjemňovat jiným způsobem, protože právě u podstatných jmen žádné zvláštní dělení na poddruhy neexistuje. Mohly by ale pomoct pády.		Joakim navrhuje, abychom zkusili dělení zjemnit, např. místo CPOSTAGu dělit modely podle slovního poddruhu (druhá pozice české značky). Pak by dílčí modely byly menší a libsvm by třeba nespadlo. Ve skutečnosti budu asi muset zjemňovat jiným způsobem, protože právě u podstatných jmen žádné zvláštní dělení na poddruhy neexistuje. Mohly by ale pomoct pády.
-	==== Javová implementace libsvm ====
-	Předpokládá se, že vyžaduje více času a paměti. Podle dokumentace může dojít i k drobným odchylkám v úspěšnosti způsobeným odlišným zpracováním racionálních čísel. Mně se zatím zdá, že odchylky budou spíše značné, a to v neprospěch javové implementace.
-	| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka |
-	| 1000 | 1011450 | 37 s | | | | Spadlo, kód -1 není v tabulce symbolů. |
-	| 2000 | 1011451 | 2:46 min | 661 s = 11 min | 1 věta / 0,07 s | 74,10 % | |
-	| 5000 | 1011452 | 17:45 min | 1527 s = 25 min | 1 věta / 0,16 s | 76,65 % | |
-	| 10000 | 1011453 | | | | | Nerozeběhlo se. |
-	| 20000 | 1011454 | 6:23 h | 5602 s = 1:33 h | 1 věta / 0,60 s | 79,90 % | |
-	| 25000 | 1011455 | 10:59 h | 6964 s = 1:56 h | 1 věta / 0,75 s | 80,32 % | |
-	| 30000 | 1011456 | | | | | Nerozeběhlo se. |
-	| 35000 | 1011457 | 22:33 h | 9230 s = 2:34 h | 1 věta / 1,00 s | 81,03 % | |
-	| 40000 | 1011458 | 36:36 h | 12484 s = 3:28 h | 1 věta / 1,35 s | 81,17 % | |
-	| 45000 | 1011459 | 46:26 h | 13889 s = 3:51 h | 1 věta / 1,50 s | 81,51 % | |
-	| 50000 | 1011460 | 58:13 h | 15711 s = 4:22 h | 1 věta / 1,69 s | 81,72 % | |
-	| 55000 | 1011461 | 65:48 h | 17031 s = 4:44 h | 1 věta / 1,84 s | 81,83 % | |
-	| 60000 | 1011462 | 90:10 h | 18145 s = 5:02 h | 1 věta / 1,96 s | 82,11 % | |
-	| 65000 | 1011463 | 89:29 h | 15808 s = 4:23 h | 1 věta / 1,71 s | 82,31 % | |
-	=== Oprava 6.4.2010 ===
-	Předcházející pokusy s javovou implementací byly omylem spuštěny s výchozí, nikoli s Marcovou definicí rysů, což by mohlo vysvětlovat tu nižší úspěšnost. Nyní tedy druhý pokus:
-	| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka |
-	| 1000 | 1032117 | 2:38 min | | | | 6.4.2010 |
-	| 2000 | 1032118 | 8:44 min | | | | 6.4.2010 |
-	| 5000 | 1032131, 1032132 | | | | | 6.4.2010. Nějak se pustilo dvakrát přes sebe, takže trénink bohužel nemohl zapisovat do souboru s modelem. Nevím, co se stalo. |
-	| 10000 | 1032120 | | | | | 6.4.2010 |
-	| 20000 | 1032121 | | | | | 6.4.2010 |
-	| 25000 | 1032122 | | | | | 6.4.2010 |
-	| 30000 | 1032123 | | | | | 6.4.2010 |
-	| 35000 | 1032124 | | | | | 6.4.2010 |
-	| 40000 | 1032125 | | | | | 6.4.2010 |
-	| 45000 | 1032126 | | | | | 6.4.2010 |
-	| 50000 | 1032127 | | | | | 6.4.2010 |
-	| 55000 | 1032128 | | | | | 6.4.2010 |
-	| 60000 | 1032129 | | | | | 6.4.2010 |
-	| 65000 | 1032130 | | | | | 6.4.2010 |
		+
		+
		+
		+	==== Javová implementace libsvm ====
		+
		+	Předpokládá se, že vyžaduje více času a paměti. Podle dokumentace může dojít i k drobným odchylkám v úspěšnosti způsobeným odlišným zpracováním racionálních čísel.
		+
		+	| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka |
		+	| 1000 | 1032117 | 2:38 min | 1252 s = 20:52 min | 1 věta / 0,14 s | 74,63 % | 6.4.2010 |
		+	| 2000 | 1032118 | 8:44 min | 2344 s = 39:03 min | 1 věta / 0,25 s | 77,73 % | 6.4.2010 |
		+	| 5000 | 1040063 | 48:07 min | 3956 s = 1:06 h | 1 věta / 0,43 s | 80,18 % | 12.4.2010 |
		+	| 10000 | 1032120 | 3:57 h | 7235 s = 2:01 h | 1 věta / 0,78 s | 82,11 % | 6.4.2010 |
		+	| 20000 | 1032121 | 16:45 h | 12979 s = 3:36 h | 1 věta / 1,40 s | 83,65 % | 6.-7.4.2010 |
		+	| 25000 | 1032122 | 27:43 h | 16500 s = 4:35 h | 1 věta / 1,78 s | 84,24 % | 6.-8.4.2010 |
		+	| 30000 | 1032123 | 47:21 h | 24255 s = 6:44 h | 1 věta / 2,62 s | 84,54 % | 6.-8.4.2010 |
		+	| 35000 | 1035249 | 2 dny 11:08 h | | | | 9.-12.4.2010 |
		+	| 40000 | 1035250 | | | | | 9.4.2010 |
		+	| 45000 | 1035251 | | | | | 9.4.2010 |
		+	| 50000 | 1035252 | | | | | 9.4.2010 |
		+	| 55000 | 1035258 | | | | | 9.4.2010 |
		+	| 60000 | 1035254 | | | | | 9.4.2010 |
		+	| 65000 | 1035255 | | | | | 9.4.2010 |
	==== Trénovací data rozsekaná na pětitisícové úseky ====		==== Trénovací data rozsekaná na pětitisícové úseky ====
Line 175:		Line 163:
	| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka |		| N | Úloha | Délka trénování | Délka parsingu | Rychlost parsingu | Úspěšnost | Poznámka |
	| 00000-04999 | 1032102 | | | | | Nevysvětlitelná náhlá smrt během trénování. |		| 00000-04999 | 1032102 | | | | | Nevysvětlitelná náhlá smrt během trénování. |
-	| 05000-09999 | 1032103 | 24:24 min | | | | |	+	| 05000-09999 | 1032103 | 24:24 min | | | 80,59 % | |
-	| 10000-14999 | 1032104 | 31:56 min | | | | |	+	| 10000-14999 | 1032104 | 31:56 min | | | 80,23 % | |
-	| 15000-19999 | 1032116 | 30:27 min | | | | |	+	| 15000-19999 | 1032116 | 30:27 min | | | 80,52 % | |
-	| 20000-24999 | 1032106 | 21:35 min | | | | |	+	| 20000-24999 | 1032106 | 21:35 min | | | 80,45 % | |
	| 25000-29999 | 1032107 | | | | | Nevysvětlitelná náhlá smrt během trénování. |		| 25000-29999 | 1032107 | | | | | Nevysvětlitelná náhlá smrt během trénování. |
-	| 30000-34999 | 1032108 | 28:30 min | | | | |	+	| 30000-34999 | 1032108 | 28:30 min | | | 80,48 % | |
	| 35000-39999 | 1032109 | | | | | Nevysvětlitelná náhlá smrt během trénování. |		| 35000-39999 | 1032109 | | | | | Nevysvětlitelná náhlá smrt během trénování. |
-	| 40000-44999 | 1032110 | 19:17 min | | | | |	+	| 40000-44999 | 1032110 | 19:17 min | | | 80,51 % | |
-	| 45000-49999 | 1032111 | 22:54 min | | | | |	+	| 45000-49999 | 1032111 | 22:54 min | | | 80,62 % | |
-	| 50000-54999 | 1032112 | 22:31 min | | | | |	+	| 50000-54999 | 1032112 | 22:31 min | | | 80,58 % | |
	| 55000-59999 | 1032113 | | | | | Nevysvětlitelná náhlá smrt během trénování. |		| 55000-59999 | 1032113 | | | | | Nevysvětlitelná náhlá smrt během trénování. |
	| 60000-64999 | 1032114 | | | | | Nevysvětlitelná náhlá smrt během trénování. |		| 60000-64999 | 1032114 | | | | | Nevysvětlitelná náhlá smrt během trénování. |
-	| 65000-68562 | 1032115 | 12:43 min | | | | |	+	| 65000-68562 | 1032115 | 12:43 min | | | 79,69 % | |
	==== Co dál? ====		==== Co dál? ====

---

[ Back to the navigation ] [ Back to the content ]