Differences
This shows you the differences between two versions of the page.
Next revision | Previous revision Last revision Both sides next revision | ||
user:zeman:tectomt [2009/10/08 09:43] zeman vytvořeno |
user:zeman:tectomt [2009/10/09 13:33] zeman Poznámky k tokenizaci. |
||
---|---|---|---|
Line 31: | Line 31: | ||
===== Moje aplikace ===== | ===== Moje aplikace ===== | ||
- | * tokenize | + | * applications/ |
- | * english_to_hindi | + | * applications/ |
* training/ | * training/ | ||
Další neuspořádaný kód ve složce '' | Další neuspořádaný kód ve složce '' | ||
+ | |||
+ | ==== Tokenize ==== | ||
+ | |||
+ | Původně šlo o pokusy s& | ||
+ | |||
+ | * Je to moc souborů (přes 20000) a jejich zpracování trvá neúnosně dlouho. Mám podezření, | ||
+ | * Některé soubory obsahují příliš dlouhé odstavce (přes 20000 tokenů). Tokenizace a segmentace uvnitř TectoMT znamená vkládání složitých struktur pro uzly, stromy a bundly, což jsou na takovýchto datech příliš drahé operace. | ||
+ | |||
+ | Poučení: TectoMT se bohužel nedá efektivně použít už od nejnižší úrovně zpracování. Je lepší zařídit si tokenizaci a segmentaci vět na prostém textu a do TectoMT převést teprve výsledek. | ||
===== Moje nástroje ===== | ===== Moje nástroje ===== | ||
Line 49: | Line 58: | ||
* block_utils/ | * block_utils/ | ||
* cluster_utils/ | * cluster_utils/ | ||
+ | |||
+ | ===== Moje data v TMT_SHARED ===== | ||
+ | |||
+ | * resource_data/ | ||
+ | * resource_data/ | ||