1. pokus
2012-11-27 09:51:19,186 Loading…
2012-11-27 09:53:07,196 Loaded. Vectorizing…
2012-11-27 09:55:51,228 Data shape (652544, 301784)
/home/odusek/.local-x86_64/lib/python2.7/site-packages/sklearn/feature_selection/univariate_selection.py:94: RuntimeWarning: divide by zero encountered in divide f = msb / msw
2012-11-27 09:56:28,985 Filt shape (652544, 30183)
2012-11-27 09:56:28,986 Training …
2012-11-27 20:30:08,748 Testing …
2012-11-27 20:30:09,426 Accuracy: 0.9861
Oddělení train / dtest a opravy
- 30.11.2012
- Accuracy: 97.38 %
- Nejvíc to kazí adjektiva (AAFS7 -í x -ím, -á x -é)
Oddělení modelů pro slovní druhy
- 6.12.2012
- acc. 0.9779
Přeprogramování trénování
2012-12-18 11:14:06,606 TREEX-INFO: Loading data set from data/train.arff.gz…
2012-12-18 11:16:20,214 TREEX-INFO: Preparing data set…
2012-12-18 11:18:04,516 TREEX-INFO: Filtering…
/home/odusek/.local-x86_64/lib/python2.7/site-packages/sklearn/feature_selection/univariate_selection.py:94: RuntimeWarning: divide by zero encountered in divide f = msb / msw
2012-12-18 11:18:24,378 TREEX-INFO: Training…
2012-12-18 17:26:14,641 TREEX-INFO: Training done.
2012-12-18 17:26:14,887 TREEX-INFO: Evaluation on file: data/dtest.arff.gz
2012-12-18 17:27:26,209 TREEX-INFO: Score: 0.980986043551
2012-12-18 17:27:26,210 TREEX-INFO: Saving model to file runs/train-plain/model.pickle.gz
2012-12-18 17:28:30,627 TREEX-INFO: Model successfully saved.
Trénování na datech vyprodukovaných v pythonu
andromeda2:~/od-playground/test/exp-flect$ ../../src/experiment/train_model.py runs/train-plain_pydata/config.py data/train.arff.gz runs/train-plain_pydata/model.pickle.gz data/dtest.arff.gz runs/train-plain_pydata/classif.arff.gz
2013-01-04 13:28:17,539 TREEX-INFO: Loading data set from data/train.arff.gz…
2013-01-04 13:29:56,363 TREEX-INFO: Preparing data set…
2013-01-04 13:31:04,559 TREEX-INFO: Filtering…
/home/odusek/.local-x86_64/lib/python2.7/site-packages/sklearn/feature_selection/univariate_selection.py:94: RuntimeWarning: divide by zero encountered in divide f = msb / msw
2013-01-04 13:31:49,558 TREEX-INFO: Training…
2013-01-05 00:55:21,004 TREEX-INFO: Training done.
2013-01-05 00:55:21,374 TREEX-INFO: Evaluation on file: data/dtest.arff.gz
2013-01-05 00:56:10,144 TREEX-INFO: Score: 0.961291064956
2013-01-05 00:56:10,149 TREEX-INFO: Saving model to file runs/train-plain_pydata/model.pickle.gz
2013-01-05 00:57:22,448 TREEX-INFO: Model successfully saved.
Výsledky pro různé parametry logreg
- Nepomáhá příliš malé C = 0.1, ani příliš malé tol = 0.1
- Spíš ani C = 1 není nic moc, C = 10 nebo 100 je mnohem lepší
- Tol taky radši = 0.001 nebo 0.0001
- Na L2 / L1 druhu regularizace zřejmě moc nezávisí
- Rozpětí 96.92 - 94.01, naprostá většina nad 96.5
- L2 regularizace tvoří nechutně velké modely, L1 jsou mnooohem menší
train-l2_1000_001.py.o6633181:2013-01-11 03:15:37,871 TREEX-INFO: Score: 0.968472611875 train-l1_100_0001.py.o6633154:2013-01-10 18:35:26,878 TREEX-INFO: Score: 0.968484109828 train-l1_100_00001.py.o6633155:2013-01-11 04:25:29,295 TREEX-INFO: Score: 0.968886538196 train-l1_10_0001.py.o6633150:2013-01-11 08:14:22,650 TREEX-INFO: Score: 0.96910499931 train-l1_10_00001.py.o6633151:2013-01-11 03:05:33,517 TREEX-INFO: Score: 0.969254472704
Použití SVM
- Lineární SVM – trvá dýl trénování, jinak není rozdíl – nedosahují ani nejlepších výsledků.
- hlavně s L2 je dlouhé.
train-l1_l2_1_False_0001.py.o6636505:2013-01-12 21:33:26,919 TREEX-INFO: Score: 0.964501467119 train-l2_l2_1_False_0001.py.o6636541:2013-01-14 16:01:52,936 TREEX-INFO: Score: 0.964363385306 train-l2_l2_10_False_0001.py.o6636544:2013-01-14 06:30:18,333 TREEX-INFO: Score: 0.964363385306 train-l1_l2_1_False_00001.py.o6636506:2013-01-13 09:29:26,141 TREEX-INFO: Score: 0.964363385306
- Normální SVC s 16G paměti spadne
- S 32G to doběhne, ale s mizivým výsledkem
Zkrácení sufixů a filtrace
- Bez použití teček se prodlouží trénování, zatím L2 vyhrává
- Pokud se sufixy zkrátí na 4 znaky, funguje to dobře – ale jen bez filtrování; s ním je to už moc slabé
- Bez filtrování to funguje dobře
Nové experimenty, předchozí měly formu jako featuru
- Na auto-python max. 93.6, na gold 97.8.
- Stačí 4 znaky ze suffixu, nepřítomnost lemmatu to moc nezhoršuje.
- Na OOV-gold lemma: 92.3, OOV-forms: 89.2
- U OOV-forms je vidět, že hrozně chyb9 lepší featury, protože to často dostává relativně vhodné formy, ale špatný pád/rod/číslo
Složené featury
- Na gold 99.4
SVM
- při použití vah instancí se v pohodě natrénují, na gold bez složených featur dávají 98.7 (RBF, C=100, gamma=0.01)