Differences
This shows you the differences between two versions of the page.
| Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
|
user:zeman:wmt [2013/01/23 14:55] zeman |
user:zeman:wmt [2013/04/30 09:49] zeman Už i poslední tm nad news8euro je hotový. |
||
|---|---|---|---|
| Line 7: | Line 7: | ||
| ===== Aktuální úkoly ===== | ===== Aktuální úkoly ===== | ||
| - | * Data pro rok 2013 budou zveřejněna v lednu! | + | * Nová data pro rok 2013. |
| - | * Přejít na hřiště verzované v Gitu (já mám stále jen to v svn). | + | * Opravují se 3 jazykové modely nad news8all... |
| - | * Rozpracované: es-en a fr-en UN. Značkování Gigawordu. Chcíplý giga.fr-en | + | * Vyrobit modely. Ale pozor, s novými DEV a TEST daty, viz níže! |
| - | * Ještě by to chtělo zopakovat celý proces se značkováním korpusů OSN. Nejdřív se ale pokusím nechat alespoň jednou doběhnout současnou verzi. Původní korpus se nechtěl nechat označkovat a zdá se, že problém by mohl být v tom, že některé | + | * Vývojová a testovací data: |
| + | * Kvůli ruštině musím pro nové pokusy (nad news8) přepnout DEV z 2010 na 2012. | ||
| + | * Od pondělního odpoledne 29.4.2013 všechny nové pokusy testovat | ||
| + | * Inventura trénovacích dat: | ||
| + | * Europarl je stejný jako loni, tedy verze 7. | ||
| + | * News Commentary jsou nové a trochu | ||
| + | * Newsall je nové, protože přibyl rok 2012 a ruština. | ||
| + | * Korpus UN bude asi stejný, | ||
| + | * Gigawordy používám správné (ověřeno): en 5, es 3, fr 3. | ||
| + | * Navíc je úplně nový korpus Common Crawl (prý je ale špinavý). Ten zatím nepoužívám a do termínu už to nestihnu. | ||
| + | * Dohnat pokusy s anglickým Gigawordem. | ||
| + | * Pouštím 4 merty se starým newseuro: cs-en, de-en, | ||
| + | * Všechny překlady do angličtiny zopakovat s Gigawordem. | ||
| + | * Pokračovat v práci na gigafren. Překladový model je natrénovaný, | ||
| + | * Běží 4 obří merty... | ||
| + | * Pro oba směry (en-fr a fr-en) chci překlad s Gigawordem i bez něj, tj. TM: | ||
| + | * Pak chci ještě totéž, ale překladový model je kombinovaný s newseuro, případně i s un (ale un to asi moc nevylepší a bude to nezvladatelně veliké). | ||
| + | * Dokončit pokusy s korpusy un.es-en | ||
| + | * Běží merty... | ||
| + | * Proč při překladu odkudkoliv do angličtiny to s jazykovým modelem na newsall dopadne malinko hůř než bez něj? Nemělo by to spíš dopadnout zřetelně líp? Co je s ním? Jak je velký? Jakou dostal váhu? Jak se po jeho přidání změnil výstup překladu? | ||
| + | * danmake.pl na rozdíl od emana nerozlišuje kroky, které jsou OUTDATED nebo FAILED. Když mu eman select pro nějakou sadu požadavků najde několik kroků, z nichž první je nějak | ||
| + | * Nějak tu chybí | ||
| + | * Jazykové modely gigaword/ | ||
| + | * Velká paralelní data un, gigafren, czeng | ||
| * Pokusit se napodobit Ondrův nejlepší výsledek. | * Pokusit se napodobit Ondrův nejlepší výsledek. | ||
| * Použít stejná data jako on nebo lepší (to znamená přinejmenším celý Czeng a velká jednojazyčná data; Ondra ale prý vynechal Europarl, ten já vynechat nechci). | * Použít stejná data jako on nebo lepší (to znamená přinejmenším celý Czeng a velká jednojazyčná data; Ondra ale prý vynechal Europarl, ten já vynechat nechci). | ||
| Line 177: | Line 200: | ||
| Ještě je potřeba to testovat stejným skriptem jako Ondřej, abychom použili stejnou tokenizaci a taky abychom dostali rozptyl skóre. | Ještě je potřeba to testovat stejným skriptem jako Ondřej, abychom použili stejnou tokenizaci a taky abychom dostali rozptyl skóre. | ||
| + | ===== Jak zpracovat obří korpus Treexem, třeba označkovat Gigaword? ===== | ||
| + | |||
| + | Dosud jsem používal obyčejné treex -p, kde se přesměrovává standardní výstup do nějakého souboru. Pro velké korpusy, které se zpracovávají několik dní na půlce clusteru, tohle není ten nejvhodnější způsob. Vždy je pravděpodobné, | ||
| + | |||
| + | Martin preferuje jiný způsob. Tisíce vstupních souborů leží v nějaké adresářové struktuře, někdy i vícepatrové, | ||
| + | |||
| + | Martinův postup lze vykoukat z '' | ||