This is an old revision of the document!
Table of Contents
Paralelní data EN-FR
Zatím mám vše uloženo u sebe. — hlavacova 2012/01/19 11:08
EMEA
Zdroj: http://opus.lingfil.uu.se/EMEA.php
en-fr.tmx.gz … alignovana data - download translation memory files (TMX), 373 152 sentence pairs
en-fr.xml.gz … sentence alignments in XCES format
en-fr.txt.zip … jen angl. texty o lécich - vypadá to jako příbalové letáky 1 092 568 sentences, 26,34M words, download plain text files (MOSES/GIZA++)
Adresář fr obsahuje francouzské texty, snad paralelní k en-fr.txt.zip (ověřím), v nějakém XML, morfologicky označkované. 1987 files, 14.9M tokens, 1.2M sentences
Orphanet
info na Kh wiki: http://wiki.khresmoi.eu/index.php5/Data_sets/Orphanet
orig. stránka: http://www.orpha.net
Není to žádný kompaktní balík, to se bude muset prolejzat.
Navíc nejsou jasné podmínky, HON negotiates … napíšu jim
HON certified web sites
asi změť všeho možného.
Počet stránek, ale ruznorodych, takze na stahovani ne příliš šikovné
egrep “\.fr” HON_Certified_Web_Sites_1.1.xml | wc → 2675
Asi tam jsou i různé úrovně “podstránek”, např. www.grio.org/ a www.grio.org/liens.php
JRC
vseobecna data, ne med
http://optima.jrc.it/Acquis/JRC-Acquis.3.0/alignments/index.html
podle návodu jsem udělala paralelní korpus ze stažených dat:
perl getAlignmentWithText.pl jrc-en-fr.xml > alignedCorpus_en_fr.xml
pocet anglickych vet:
egrep “\<s1\>” alignedCorpus_en_fr.xml |wc → 1250092
pocet francouzskych vet:
egrep “\<s2\>” alignedCorpus_en_fr.xml | wc → 1250095
Nevím, proč se ta čísla liší.
egrep “\<link type=” alignedCorpus_en_fr.xml | cut -d“ ” -f2|sort|uniq -c →
- 1228037 type=“1:1”
- 14162 type=“1:2”
- 6607 type=“2:1”
- 1284 type=“2:2”
celkem 1 250 090 linků