Differences

This shows you the differences between two versions of the page.

--- user:zeman:wmt [2012/01/25 22:49]
zeman obo-max
+++ user:zeman:wmt [2012/01/26 08:44]
zeman Doběhly uvozovky en-es.
@@ Line 57: / Line 57: @@
 Testovací data by měl mít stejná jako já, tj. ''wmt102.test08'' pro MERT a ''wmt102.test09'' pro testování.
-===== Náročnost =====
-==== obo-max ====
-Binarizace ve verzi 1.3 zahrnuje počítání tabulky lexikálních pravděpodobností a trvá asi 1:20 hodiny. Paměťová náročnost: až do počítání lexikálních pravděpodobností včetně vystačil s 9,8 GB. Pak se ale pustil do předpočítávání indexů nejčastějších frází a s pamětí vyletěl na 22 GB, což je strop, který jsem mu dal, takže je otázka, jestli by nedokázal využít i větší množství paměti. Podle Lanova vyjádření by mohl být problém s&nbsp;větami o 100 a více slovech, proto jsem z&nbsp;korpusu takové věty odstranil. Můj čistící skript vybral z&nbsp;7&nbsp;544&nbsp;465 řádků 7&nbsp;543&nbsp;152 takových, které měly 1-99 tokenů.
-Extrakce gramatiky nabíhala přes 20 minut, vyčerpala 11 GB. Teď už běží vlastní extrakce, ale je hodně pomalá, jedna věta trvá třeba i 10 minut. Průměrný čas je zatím 3 minuty na 1 větu, takže 2500 vět by trvalo 5 dní. Paměť stoupla zatím na 15 GB. Chtělo by to paralelizovat minimálně na 20 procesů!
 ===== Výsledky =====
@@ Line 138: / Line 130: @@
 | en-de | 0.1268 | 0.1268 | 0.1274 |
 | de-en | 0.1869 | 0.1869 | 0.1859 |
-| en-es | 0.2542 | 0.2542 | |
+| en-es | 0.2542 | 0.2542 | 0.2531 |
 | es-en | 0.2428 | FAILED | 0.2375 |
 | en-fr | 0.2586 | 0.2628 | |
 | fr-en | 0.2294 | 0.2294 | |

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences