[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
user:zeman:tsd2010 [2010/08/28 22:19]
zeman Poznámky k práci s Ondřejovými daty.
user:zeman:tsd2010 [2010/09/08 17:02] (current)
zeman Výsledek.
Line 11: Line 11:
 Jen upozornuju, ze to nejsou tmt soubory, ale lot, line-oriented-tmt, co radek, to bundle. Prevod do tmt viz tools/format_convertors/line-oriented-tmt, ale *opatrne*. Viz jak 100 bundlu tmt soubory neunesou (resp. nikdo je pak v rozumnem case nenacte.)" Jen upozornuju, ze to nejsou tmt soubory, ale lot, line-oriented-tmt, co radek, to bundle. Prevod do tmt viz tools/format_convertors/line-oriented-tmt, ale *opatrne*. Viz jak 100 bundlu tmt soubory neunesou (resp. nikdo je pak v rozumnem case nenacte.)"
  
-Výše uvedená Ondrova cesta vede na ''/a/merkur3/TMP/bojar/wmt10/playground/augmented_corpora/czeng092-ne'' (a další části Czengu) ''/enNaLOT.gz''. Zkopíroval jsem si ten soubor ''enNaLOT.gz'' do svých augmented corpora do ''/net/work/people/zeman/wmt/augmented_corpora/czeng092-ne''. Tam jsem ho začal přelévat do ''en.parsed'' pomocí svého skriptu ''${TMT_ROOT}/applications/reordering/tsd2010/prepare.pl'', který jsem za tím účelem upravil, aby kromě tokenizovaného textu uměl konvertovat i line-oriented tmt. Ve složce ''czeng092-ne'' se také vytváří ''filelist.txt'' se seznamem vzniklých tmt souborů. Je jich 1262. Až vyzkouším, že s tím lze provádět transformace a překlad, měl bych to udělat i pro ostatní části Czengu.+Výše uvedená Ondrova cesta vede na ''/a/merkur3/TMP/bojar/wmt10/playground/augmented_corpora/czeng092-ne'' (a další části Czengu) ''/enNaLOT.gz''. Zkopíroval jsem si ten soubor ''enNaLOT.gz'' do svých augmented corpora do ''/net/work/people/zeman/wmt/augmented_corpora/czeng092-ne''. Tam jsem ho začal přelévat do ''en.parsed'' pomocí svého skriptu ''${TMT_ROOT}/applications/reordering/tsd2010/prepare.pl'', který jsem za tím účelem upravil, aby kromě tokenizovaného textu uměl konvertovat i line-oriented tmt. Ve složce ''czeng092-ne/en.parsed'' se také vytváří ''filelist.txt'' se seznamem vzniklých tmt souborů (bude ho potřebovat náš transformační ''make reorder''). Je jich 1262. Až vyzkouším, že s tím lze provádět transformace a překlad, měl bych to udělat i pro ostatní části Czengu.
  
-<code bash>gunzip -c enNaLOT.gz | $TMT_ROOT/applications/reordering/tsd2010/prepare.pl -l -w en.parsed > filelist.txt</code>+Ovšem pozor, v&nbsp;seznamu souborů potřebujeme úplné cesty, proto musíme také cestu k&nbsp;pracovní složce uvést úplnou! 
 + 
 +<code bash>gunzip -c enNaLOT.gz | $TMT_ROOT/applications/reordering/tsd2010/prepare.pl -l -w /ha/work/people/zeman/wmt/augmented_corpora/czeng092-ne/en.parsed > /ha/work/people/zeman/wmt/augmented_corpora/czeng092-ne/en.parsed/filelist.txt</code>
  
 ===== Výsledky ===== ===== Výsledky =====
Line 50: Line 52:
 | enhi-articles | 0.1141 | 0.1230 | Zatím se členy odstraňují úplně stejně jako u ''encs''. Ve skutečnosti bychom ale pro hindštinu měli asi odstraňovat pouze určité členy. | 31.5.2010 | | enhi-articles | 0.1141 | 0.1230 | Zatím se členy odstraňují úplně stejně jako u ''encs''. Ve skutečnosti bychom ale pro hindštinu měli asi odstraňovat pouze určité členy. | 31.5.2010 |
 | enhi-reord2008 | 0.1074 | 0.1172 | Stará pravidla pro úpravu slovosledu z roku 2008: sloveso na konec věty a z předložek záložky. Možná se ale nepodařilo pravidla přenést úplně správně, bude to potřeba ještě prozkoumat po částech. | 31.5.2010 | | enhi-reord2008 | 0.1074 | 0.1172 | Stará pravidla pro úpravu slovosledu z roku 2008: sloveso na konec věty a z předložek záložky. Možná se ale nepodařilo pravidla přenést úplně správně, bude to potřeba ještě prozkoumat po částech. | 31.5.2010 |
 +| enhi-postpositions | 0.1112 | 0.1227 | Z&nbsp;předložek se dělají záložky. | 2.6.2010 |
 +
 +7.9.2010 ověřuju, že jsem schopen zopakovat výše uvedené květnové výsledky. Opakuju pouze překladovou část, ne předzpracování. Ověřeno: encs. U en-articles byl dost zmatek a žádná předcházející verze experimentu nevypadala důvěryhodně. Nová verze naklonovaná z nového ověřeného encs mi dala dev = 0.0923, test = 0.0893. Nová verze en-subject-regrese mi dala dev = 0.0891, test = 0.0864. Nová verze encs-verbparticle-regrese mi dala dev = 0.0878, test = 0.0850.
 +
 +| encs-complextense | 0.0879 | 0.0863 | Mění "is doing" na "does" (resp. "dos", protože nepoužíváme úplnou morfologickou syntézu). | 8.9.2010 |
 +| encs-article | 0.0888 | 0.0836 | Upravené odstraňování členů pomocí funkcí jádra TectoMT. Výsledek by teoreticky měl být identický s&nbsp;''articles'', ale zjevně není. | 8.9.2010 |
 +| enhi | 0.1116 | 0.1230 | Základní anglicko-hindský pokus. Aspoň zde se potvrdily stejné výsledky jako v&nbsp;květnu. | 8.9.2010 |
 +| enhi-articles | 0.1141 | 0.1230 | Původní odstraňování členů, ověřen stejný výsledek. | 8.9.2010 |
 +| enhi-article | 0.1168 | 0.1237 | Upravené odstraňování členů pomocí funkcí jádra TectoMT. Výsledek by teoreticky měl být identický s&nbsp;''articles'', ale zjevně není. | 8.9.2010 |
 +| enhi-the | 0.1158 | 0.1236 | Odstraňuje se pouze určitý člen, neurčitý se nechává na místě, protože hindština ho občas používá také. | 8.9.2010 |
 +| enhi-sov | 0.1074 | 0.1163 | Slovesa se přesouvají na konec klauze. | 8.9.2010 |
 +
 +===== Náměty =====
  
 +  * Zrušit anglické složené časy. Např. "is also planning" převést na "plans also"; "am/are planning" převést na "plan". Aby tam nezůstala osamělá pomocná slovesa. Určitě se to týká i jiných časů než přítomného průběhového. Někde mám seznam všech složených slovesných tvarů, které jsem v&nbsp;datech potkal.
 +  * Je-li podmětem osobní zájmeno, zařídit, aby se vyskytovalo těsně vedle slovesa, nebo možná aby s ním bylo dokonce slepené. Ve frázích jako "he has never achieved" hrozí, že "he" nebude mít žádný vliv na rod českého příčestí, a navíc tam může zůstat viset české "on", které bychom do české věty normálně nedali.
 +  * Zařídit, aby parser dostal text tokenizovaný takovým způsobem, na jaký je zvyklý, a po parsingu aby se text přetokenizoval tak, jak je to vhodné pro překlad.
 +  * Vymyslet opravný blok za parserem, který pravidlově vychytá některé jeho chyby. Např. "off" ve spojení "spin - off" nemůže viset na nějakém slovesu o kilometr dříve.

[ Back to the navigation ] [ Back to the content ]