Differences

This shows you the differences between two versions of the page.

--- khresmoi:en-fr [2012/01/19 15:59]
hlavacova
+++ khresmoi:en-fr [2012/02/29 14:20]
hlavacova
@@ Line 1: / Line 1: @@
 ===== Paralelní data EN-FR =====
-Zatím mám vše uloženo u sebe.  --- //[[hlavacova@ufal.mff.cuni.cz|hlavacova]] 2012/01/19 11:08//
-==== EMEA ====
-Zdroj: http://opus.lingfil.uu.se/EMEA.php
-**en-fr.tmx.gz** ... alignovana data - download translation memory files (TMX), 373 152 sentence pairs
-**en-fr.xml.gz** ... sentence alignments in XCES format
-**en-fr.txt.zip** ... jen angl. texty o lécich - vypadá to jako příbalové letáky 1 092 568 sentences, 26,34M words, download plain text files (MOSES/GIZA++)
-Adresář **fr** obsahuje francouzské texty, snad paralelní k en-fr.txt.zip (ověřím), v nějakém XML, morfologicky označkované. 1987 files, 14.9M tokens, 1.2M sentences
-==== Orphanet ====
+==== LDC ====
-info na Kh wiki: http://wiki.khresmoi.eu/index.php5/Data_sets/Orphanet
+:?:
-orig. stránka: http://www.orpha.net
+  * **Hansard French/English** ... LDC Catalog No.: LDC95T20, government documents
-Není to žádný kompaktní balík, to se bude muset prolejzat.
+To by bylo třeba objednat, ale je to drahé:
-Navíc nejsou jasné podmínky, HON negotiates ... napíšu jim
+Member fee: 	$0 for 1995, 1996, 1997 members
+Reduced-License Fee: 	US $3250.00
+  * **UN Parallel Text (Complete)** ... LDC Catalog No.: LDC94T4A, jazyky EN, FR, SP, government documents
+To by bylo třeba objednat, ale je to drahé:
+Member fee: 	$0 for 1994 members
+Non-member Fee: 	US $4000.00
+Reduced-License Fee: 	US $2000.00
-==== HON certified web sites ====
-asi změť všeho možného.
-Počet stránek, ale ruznorodych, takze na stahovani ne příliš šikovné
-egrep "\.fr" HON_Certified_Web_Sites_1.1.xml | wc → 2675
-Asi tam jsou i různé úrovně "podstránek", např. www.grio.org/ a www.grio.org/liens.php
-==== JRC ====
-vseobecna data, ne med
-http://optima.jrc.it/Acquis/JRC-Acquis.3.0/alignments/index.html
-podle návodu jsem udělala paralelní korpus ze stažených dat:
- perl getAlignmentWithText.pl jrc-en-fr.xml > alignedCorpus_en_fr.xml
-pocet anglickych vet:
-egrep "\<s1\>" alignedCorpus_en_fr.xml |wc  → 1250092
-pocet francouzskych vet:
-egrep "\<s2\>" alignedCorpus_en_fr.xml | wc → 1250095
-Nevím, proč se ta čísla liší.
-egrep "\<link type=" alignedCorpus_en_fr.xml | cut -d" " -f2|sort|uniq -c
-1228037 type="1:1"
-type="1:2"
-type="2:1"
-type="2:2"
-celkem 1 250 090 linků

[ Back to the navigation ] [ Back to the content ]

Institute of Formal and Applied Linguistics Wiki

Differences