[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » khresmoi » en-fr

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
Next revision Both sides next revision
khresmoi:en-fr [2012/01/19 16:26]
hlavacova 		khresmoi:en-fr [2012/02/29 14:20]
hlavacova
Line 1: Line 1:
 ===== Paralelní data EN-FR ===== ===== Paralelní data EN-FR =====
-Zatím mám vše uloženo u sebe.  ---  --- //[[hlavacova@ufal.mff.cuni.cz|hlavacova]] 2012/01/19 16:08// 
-== Vysvětlivky == 
-8-) už stažená data 
-:?: nevíme, jestli chceme 
-:-? chceme stahovat, ale zatím nevíme, jak na to ... z různých příčin 
  
-==== EMEA ==== +==== LDC ==== 
-8-)  +:?: 
-Zdroj: http://opus.lingfil.uu.se/EMEA.php +  * **Hansard French/English** ... LDC Catalog No.: LDC95T20, government documents 
-**en-fr.tmx.gz** ... alignovana data - download translation memory files (TMX), 373 152 sentence pairs +To by bylo třeba objednat, ale je to drahé: 
-**en-fr.xml.gz** ... sentence alignments in XCES format +Member fee: $0 for 1995, 1996, 1997 members 
-**en-fr.txt.zip** ... jen angl. texty o lécich - vypadá to jako příbalové letáky 1 092 568 sentences, 26,34M words, download plain text files (MOSES/GIZA++) +Reduced-License Fee: US $3250.00 
-Adresář **fr** obsahuje francouzské texty, snad paralelní k en-fr.txt.zip (ověřím), v nějakém XML, morfologicky označkované. 1987 files, 14.9M tokens, 1.2M sentences+  * **UN Parallel Text (Complete)** ... LDC Catalog No.: LDC94T4A, jazyky EN, FR, SP, government documents 
 +To by bylo třeba objednat, ale je to drahé: 
 +Member fee: $0 for 1994 members 
 +Non-member Fee: US $4000.00 
 +Reduced-License Fee: US $2000.00
  
-==== Orphanet ==== 
-:-? 
-info na Kh wiki: http://wiki.khresmoi.eu/index.php5/Data_sets/Orphanet 
-orig. stránka: http://www.orpha.net 
-Není to žádný kompaktní balík, to se bude muset prolejzat. 
-Navíc nejsou jasné podmínky, HON negotiates  
-Vyslán dotaz, zda už to někdo nestáhnul 
  
-==== HON certified web sites ==== 
-8-) 
-asi změť všeho možného. 
-Počet stránek, ale ruznorodych, takze na stahovani ne příliš šikovné 
-egrep "\.fr" HON_Certified_Web_Sites_1.1.xml | wc → 2675    
-Asi tam jsou i různé úrovně "podstránek", např. www.grio.org/ a www.grio.org/liens.php 
  
-==== JRC ==== 
-8-) 
-vseobecna data, ne med 
-http://optima.jrc.it/Acquis/JRC-Acquis.3.0/alignments/index.html 
-podle návodu jsem udělala paralelní korpus ze stažených dat: 
- perl getAlignmentWithText.pl jrc-en-fr.xml > alignedCorpus_en_fr.xml 
- 
-pocet anglickych vet: 
-egrep "\<s1\>" alignedCorpus_en_fr.xml |wc  → 1250092 
- 
-pocet francouzskych vet: 
-egrep "\<s2\>" alignedCorpus_en_fr.xml | wc → 1250095 
- 
-Nevím, proč se ta čísla liší. 
-egrep "\<link type=" alignedCorpus_en_fr.xml | cut -d" " -f2|sort|uniq -c  → 
-  *  1228037 type="1:1" 
-  *    14162 type="1:2" 
-  *     6607 type="2:1" 
-  *     1284 type="2:2" 
-celkem 1 250 090 linků 
- 
-==== LDC ==== 
-:?: 
-Hansard French/English z roku 1995 
-LDC Catalog No.:        LDC95T20 
  
-UN Parallel Text (Complete) z roku 1994 
-LDC Catalog No.:        LDC94T4A 
  
-Obojí jsou staré government documents 

[ Back to the navigation ] [ Back to the content ]