Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
user:zeman:tsd2010 [2010/05/30 21:50] zeman verbparticle |
user:zeman:tsd2010 [2010/08/28 22:30] zeman filelist.txt musí být uvnitř en.parsed. |
||
---|---|---|---|
Line 1: | Line 1: | ||
====== Pokusy s předzpracováním paralelních textů pro TSD 2010 ====== | ====== Pokusy s předzpracováním paralelních textů pro TSD 2010 ====== | ||
+ | |||
+ | ===== Předzpracování ===== | ||
+ | |||
+ | Zdrojová anglická strana paralelního korpusu se nejdříve prožene značkováním a parsingem v& | ||
+ | |||
+ | "Mam, ale je tam zvlast anglictina a cestina (a zadny alignment). Nebude ale velky problem to spojit. | ||
+ | |||
+ | / | ||
+ | |||
+ | Jen upozornuju, ze to nejsou tmt soubory, ale lot, line-oriented-tmt, | ||
+ | |||
+ | Výše uvedená Ondrova cesta vede na ''/ | ||
+ | |||
+ | <code bash> | ||
===== Výsledky ===== | ===== Výsledky ===== | ||
Line 24: | Line 38: | ||
30.5.2010: verbparticle, | 30.5.2010: verbparticle, | ||
+ | |||
+ | Nové pokusy před odesláním konečné verze článku. Joshua verze 1.1, ale čištění od dlouhých vět už probíhá jako u verze 1.3. | ||
+ | |||
+ | | **Pokus** | **Dev WMT08** | **Test WMT09** | **Poznámka** | **Datum** | | ||
+ | | encs | 0.0916 | 0.0891 | | 31.5.2010 | | ||
+ | | encs-articles | 0.0921 | 0.0898 | Z anglické strany vypuštěny určité i neurčité členy. Statisticky nevýznamné zlepšení. | 31.5.2010 | | ||
+ | | encs-subject | 0.0891 | 0.0864 | Ke kořenovému slovu anglického podmětu připojeno (do jednoho tokenu) ''/ | ||
+ | | encs-articles-subject | 0.0859 | 0.0851 | Kombinace transformací '' | ||
+ | | encs-verbparticle | 0.0880 | 0.0864 | Viz výše. | 30.5.2010 | | ||
+ | | enhi | 0.1116 | 0.1230 | | 31.5.2010 | | ||
+ | | enhi-articles | 0.1141 | 0.1230 | Zatím se členy odstraňují úplně stejně jako u '' | ||
+ | | enhi-reord2008 | 0.1074 | 0.1172 | Stará pravidla pro úpravu slovosledu z roku 2008: sloveso na konec věty a z předložek záložky. Možná se ale nepodařilo pravidla přenést úplně správně, bude to potřeba ještě prozkoumat po částech. | 31.5.2010 | | ||
+ |