[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
khresmoi:data_notes [2012/02/29 14:01]
hlavacova
khresmoi:data_notes [2012/06/13 10:15] (current)
hlavacova
Line 2: Line 2:
  
 ===== JRC-Aquis ===== ===== JRC-Aquis =====
-http://langtech.jrc.it/JRC-Acquis.html +http://langtech.jrc.it/JRC-Acquis.html  ... mono data 
-http://optima.jrc.it/Acquis/JRC-Acquis.3.0/alignmentsHunAlign/index.html +http://optima.jrc.it/Acquis/JRC-Acquis.3.0/alignmentsHunAlign/index.html  ... HunAlign alignment 
-Data z **JRC-Aquis** se během posledních několika týdnů změnilatakže nejsou kompatibilní se skriptem, který je k nim dodáván, ten se nezměnil. Měla jsem zálohovaná data z páru fr-entak jsem je zpracovala, jsou na svém místě. V adresáři original jsou i ostatní data, tjpro páry de-en cs-en, ale nejsou zpracovaná, protože ty jsem v lednu nestáhla+http://optima.jrc.it/Acquis/JRC-Acquis.3.0/alignments/index.html  ... Vanilla alignment 
-Zpracování fr-en jsem provedla "ručně", ne pomocí skriptu processing.shTen je připravenale jak jsem napsalana současných datech nefunguje.  + 
-Z porovnání obou paralelních fr-en dat usuzujiže na ně byl použit jiný alignerV tom ale problém asi nebudespíš je formát dat nekompatibililní se skriptem.+právnická datane med 
 +Skript na vytvoření paralelních dat: getAlignmentWithText.pl 
 +POZOR! v návodu READ.ME se jmenuje jinak. 
 +Funguje jen s Vanilla 
 +Kdyby se to chtělo udělat s HunAlign stránky, je třeba vstupní data zpracovat takto (cituji z mailu od Ralfa Steinbergera (29.02.2012 14:40:37): 
 + 
 +> There is small bug in the hunAlign version of the corpus which prevents 
 +> the 
 +> getAlignmentWithText.pl scipt from working: all document identifiers (using 
 +> the 
 +> English-Polish alignemnt as an example) have the string "format/en.pl/jrc" 
 +> prepended (or infixed) to the actual document ID. 
 +>  
 +> This applies to the following attributes: 
 + 
 +//text/body/div[@n] (eg. "format/en.pl/jrc21970A0720(01)insted of 
 +> "21970A0720(01)"
 +> - //linkGrp[@n] (as above) 
 +> - //linkGrp[@id] (eg. "jrcformat/en.pl/jrc21970A0720_01-en-pl" instead of 
 +> "jrc21970A0720_01-en-pl"
 +> - //linkGrp[@xtargets] (as above) 
 +>  
 +> Preprocessing the alignment files with 
 +>  
 +> sed -i 's:format/en.pl/jrc::g' jrc-en-pl.xml 
 +>  
 +> is enough to get the script workingbut perhaps this information could be 
 +> added to the documentationthe Perl script modified for the hunAlign 
 +> version 
 +> or the alignemnt files modified on the server to save others the confusion 
 +> and 
 +> unnecessary work
 +>  
 +> With kind regards, 
 +> Łukasz Dróżdż 
 +> University of Łódź 
 + 
 + 
 +pocet anglickych vet: 
 +egrep "\<s1\>" alignedCorpus_en_fr.xml |wc  → 1250092 
 + 
 +pocet francouzskych vet: 
 +egrep "\<s2\>" alignedCorpus_en_fr.xml | wc → 1250095 
 + 
 +egrep "\<link type=" alignedCorpus_en_fr.xml | cut -d" " -f2|sort|uniq -c  → 
 +  *  1228037 type="1:1" 
 +  *    14162 type="1:2" 
 +  *     6607 type="2:1" 
 +  *     1284 type="2:2" 
 +celkem 1 250 090 linků 
 + 
 +===== ELDA ===== 
 +  * **ELRA-E0020CESTA Evaluation Package**  
 +Subpart: English-French parallel corpus from the second campagne dataIncludes an adaptation corpus of 19,383 English words and 22,741 French words + a test corpus of 18,880 English words and 23,411 French words 
 + 
 +  * **ELRA-E0022: EQueR Evaluation Package** 
 +Subpart: 140 Mb of data from the medical domain 
 + 
 +  * **ELRA-E0019: CESART Evaluation Package**  
 +Subpart (medical corpus): 9,000,000 words
  
 ===== Coppa ===== ===== Coppa =====
Line 15: Line 74:
   * segmentované podle vět, ale menší - viz tabulka. Některé patenty chybí zcela, některé jsou zkráceny.   * segmentované podle vět, ale menší - viz tabulka. Některé patenty chybí zcela, některé jsou zkráceny.
   * nesegmentované - každý patent má 2 záznamy: jméno a abstract, obojí v EN i FR, tedy alignment podle paragrafu (odhad)   * nesegmentované - každý patent má 2 záznamy: jméno a abstract, obojí v EN i FR, tedy alignment podle paragrafu (odhad)
-Zatím jsem udělala jen ty nesegmentované.+Zpracované obojí, viz read.me u dat.  
 +**POZOR!!! segmentovaná a nesegmentovaná verze neobsahují totéž** 
 + 
 +===== French Gigaword ===== 
 +3rd edition, catalogue number LDC2011T10, máme DVD 
 +Formát: SGML, segmentace na věty, netokenizováno 
 +862 851 slov, tj. simply the number of white space-separated tokens (of all types) after all SGML tags are eliminated 
 +Všeobecné novinové texty, ne lékařské - Agence France-Presse, Associated Press French Service. 
 + 
 +===== MESH ===== 
 +**EN** 
 +Staženo ze stránky http://www.nlm.nih.gov/mesh/filelist.html 
 + 
 +Z možných formátů jsem stáhla jen ASCII zaznamy. 
 + **d2012.bin**  ... Dulezite jsou jen polozky  
 +  * MH = nazev leku - celkem 26581 položek 
 +  * MS = slovni popis - celkem  25554  ... nějaké asi chybí 
 +**q2012.bin** ... Dulezite jsou jen polozky 
 +  * SH = nazev, ale nevim moc, ceho - celkem 83 
 +  * MS = slovni popis - celkem 83 
 +  *  
 +Slovní popis je krátký odstavec, jehož první věta většinou neobsahuje sloveso! Takže to vlastně ani není věta. 
 +**c2012.bin** ... tohle je ale vlastne jen chemicke, asi nepouzit 
 +  * NM = nazev leku 
 +  * NO = popis 
 + 
 +Jeste jsou tam data z roku 2011: d2011.bin, q2011.bin, ale ty by mohly byt 
 +podmnozinou tech z roku 2012 - namatkove overeno na  
 +MH = Autistic Disorder 
 + 
 +**FR** 
 +Francouzi mají překlad, je možno o něj zažádat z téhle adresy: 
 +http://mesh.inserm.fr/mesh/get_file.htm
  
 ===== MAREC ===== ===== MAREC =====
Line 28: Line 119:
 en-GB → fr-FR: 13,033,584 slov en-GB → fr-FR: 13,033,584 slov
 fr-FR → en-GB 483,610 slov fr-FR → en-GB 483,610 slov
 +en-GB → de-DE: 412,406
 +de-DE → en-GB: 6,385,051 
  
 Staženo, TMX format, kvalita zatím neověřena (PP)  Staženo, TMX format, kvalita zatím neověřena (PP) 
Line 48: Line 141:
 Vyslán dotaz, zda už to někdo nestáhnul Vyslán dotaz, zda už to někdo nestáhnul
  
-===== korpus Europarl =====+===== Europarl =====
 8-) 8-)
 http://www.statmt.org/europarl/ http://www.statmt.org/europarl/
Line 55: Line 148:
   1825077  47667366 314658361 europarl-v6.fr-en.fr   1825077  47667366 314658361 europarl-v6.fr-en.fr
 Stažený nástroj na alignment. Stažený nástroj na alignment.
 +
 +===== UN =====
 +Data z projektu Euromatrix
 +Staženo ze stránky (navíc španělské texty, kterých je zcat ../un.es.gz|wc  -> 13127945 352668682 2290530218
 +http://www.euromatrixplus.net/multi-un/
 +Při rozbalení originálních korpusů se vytvoří adresáře un/xml a pak podle jazyků, v rámci každého jazyka ještě podle let. Uvnitř jsou pak dokumenty ve velmi jednoduchém XML.
 +Kromě toho je součástí balení README a skript extract.py, který udělá "paralelní data", což ale znamená jen výběr jen těch souborů, jejichž texty jsou ve všech požadovaných jazycích (shoduje se název kromě zkratky jazyka) a potom ještě vytažení čistého textu z XML. Alignment je už součástí textů - číslování odstavců a vět, ale namátkovou kontrolou to moc nesedí, proto jsme se rozhodli to nepoužít.
 +Zpracované jsou tedy jen jednojazyčné texty, ale v tabulce je uveden alignment podle vět, aby se vědělo, že to nějak (!) uděláno je. Jelikož výroba dat je snadná (popsáno v README), data jsme smazali, v original jsou jen původní zabalené soubory.
 +
 +===== much.more =====
 +8-)
 +Alignované abstrakty medicínských článů, staženo, >1 Mw
 +Volitelně anotace:
 +Automatic (!) annotation includes: Part-of-Speech; Morphology (inflection and decomposition); Chunks; Semantic Classes (UMLS: Unified Medical Language System, MeSH: Medical Subject Headings, EuroWordNet); Semantic Relations from UMLS.
 +
 +===== LDC =====
 +Uvádím data nalezená v katalogu LDC, která by se případně taky dala použít, ale jsou dost drahá.
 +  * **Hansard French/English** ... LDC Catalog No.: LDC95T20, government documents
 +To by bylo třeba objednat, ale je to drahé:
 +Member fee: $0 for 1995, 1996, 1997 members
 +Reduced-License Fee: US $3250.00
 +  * **UN Parallel Text (Complete)** ... LDC Catalog No.: LDC94T4A, jazyky EN, FR, SP, government documents
 +To by bylo třeba objednat, ale je to drahé:
 +Member fee: $0 for 1994 members
 +Non-member Fee: US $4000.00
 +Reduced-License Fee: US $2000.00
  
 ===== HON certified web sites ===== ===== HON certified web sites =====

[ Back to the navigation ] [ Back to the content ]