Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
khresmoi:data_notes [2012/02/29 13:49] hlavacova |
khresmoi:data_notes [2012/02/29 14:24] hlavacova |
||
---|---|---|---|
Line 4: | Line 4: | ||
http:// | http:// | ||
http:// | http:// | ||
+ | vseobecna data, ne med | ||
+ | podle návodu jsem (leden 2012) udělala paralelní korpus ze stažených dat: | ||
+ | perl getAlignmentWithText.pl jrc-en-fr.xml > alignedCorpus_en_fr.xml | ||
+ | ALE | ||
Data z **JRC-Aquis** se během posledních několika týdnů změnila, takže nejsou kompatibilní se skriptem, který je k nim dodáván, ten se nezměnil. Měla jsem zálohovaná data z páru fr-en, tak jsem je zpracovala, jsou na svém místě. V adresáři original jsou i ostatní data, tj. pro páry de-en a cs-en, ale nejsou zpracovaná, | Data z **JRC-Aquis** se během posledních několika týdnů změnila, takže nejsou kompatibilní se skriptem, který je k nim dodáván, ten se nezměnil. Měla jsem zálohovaná data z páru fr-en, tak jsem je zpracovala, jsou na svém místě. V adresáři original jsou i ostatní data, tj. pro páry de-en a cs-en, ale nejsou zpracovaná, | ||
Zpracování fr-en jsem provedla " | Zpracování fr-en jsem provedla " | ||
Z porovnání obou paralelních fr-en dat usuzuji, že na ně byl použit jiný aligner. V tom ale problém asi nebude, spíš je formát dat nekompatibililní se skriptem. | Z porovnání obou paralelních fr-en dat usuzuji, že na ně byl použit jiný aligner. V tom ale problém asi nebude, spíš je formát dat nekompatibililní se skriptem. | ||
+ | |||
+ | |||
+ | http:// | ||
+ | podle návodu jsem udělala paralelní korpus ze stažených dat: | ||
+ | perl getAlignmentWithText.pl jrc-en-fr.xml > alignedCorpus_en_fr.xml | ||
+ | |||
+ | pocet anglickych vet: | ||
+ | egrep " | ||
+ | |||
+ | pocet francouzskych vet: | ||
+ | egrep " | ||
+ | |||
+ | egrep " | ||
+ | * 1228037 type=" | ||
+ | * 14162 type=" | ||
+ | * 6607 type=" | ||
+ | * 1284 type=" | ||
+ | celkem 1 250 090 linků | ||
+ | |||
+ | ===== ELDA ===== | ||
+ | **ELRA-E0020, | ||
+ | |||
+ | Subpart: English-French parallel corpus from the second campagne data. Includes an adaptation corpus of 19,383 English words and 22,741 French words + a test corpus of 18,880 English words and 23,411 French words | ||
+ | |||
===== Coppa ===== | ===== Coppa ===== | ||
Line 16: | Line 44: | ||
* nesegmentované - každý patent má 2 záznamy: jméno a abstract, obojí v EN i FR, tedy alignment podle paragrafu (odhad) | * nesegmentované - každý patent má 2 záznamy: jméno a abstract, obojí v EN i FR, tedy alignment podle paragrafu (odhad) | ||
Zatím jsem udělala jen ty nesegmentované. | Zatím jsem udělala jen ty nesegmentované. | ||
- | |||
===== MAREC ===== | ===== MAREC ===== | ||
Line 24: | Line 51: | ||
//the IRF is not granting access to the MAREC collection anymore. However, the access for research purposes should be possible in a foreseeable future via the Vienna University of Technology - Allan will certainly come back to you when the legal status is cleared.// | //the IRF is not granting access to the MAREC collection anymore. However, the access for research purposes should be possible in a foreseeable future via the Vienna University of Technology - Allan will certainly come back to you when the legal status is cleared.// | ||
+ | ===== TDA ===== | ||
+ | Pharmaceuticals and Biotechnology | ||
+ | |||
+ | en-GB → fr-FR: 13,033,584 slov | ||
+ | fr-FR → en-GB 483,610 slov | ||
+ | |||
+ | Staženo, TMX format, kvalita zatím neověřena (PP) | ||
+ | Máme kredit na stažení 1 mld. slov. Zatím stažena EN-FR, EN-DE in-domain data. | ||
+ | |||
+ | ===== EMEA ===== | ||
+ | 8-) | ||
+ | Zdroj: http:// | ||
+ | **en-fr.tmx.gz** ... alignovana data - download translation memory files (TMX), 373 152 sentence pairs | ||
+ | **en-fr.xml.gz** ... sentence alignments in XCES format | ||
+ | **en-fr.txt.zip** ... jen angl. texty o lécich - vypadá to jako příbalové letáky 1 092 568 sentences, 26,34M words, download plain text files (MOSES/ | ||
+ | Adresář **fr** obsahuje francouzské texty, snad paralelní k en-fr.txt.zip (ověřím), | ||
+ | |||
+ | ===== Orphanet ===== | ||
+ | :-? | ||
+ | info na Kh wiki: http:// | ||
+ | orig. stránka: http:// | ||
+ | Není to žádný kompaktní balík, to se bude muset prolejzat. | ||
+ | Navíc nejsou jasné podmínky, HON negotiates | ||
+ | Vyslán dotaz, zda už to někdo nestáhnul | ||
+ | |||
+ | ===== Europarl ===== | ||
+ | 8-) | ||
+ | http:// | ||
+ | wc europarl-v6.fr-en.* | ||
+ | 1825077 | ||
+ | 1825077 | ||
+ | Stažený nástroj na alignment. | ||
+ | |||
+ | ===== HON certified web sites ===== | ||
+ | 8-) | ||
+ | asi změť všeho možného. | ||
+ | Počet stránek, ale ruznorodych, | ||
+ | egrep " | ||
+ | Asi tam jsou i různé úrovně " | ||