[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

[ Back to the navigation ]

You are here: start » khresmoi » data_notes

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
khresmoi:data_notes [2012/02/29 14:44]
hlavacova 		khresmoi:data_notes [2012/06/13 10:15] (current)
hlavacova
Line 2: Line 2:
  
 ===== JRC-Aquis ===== ===== JRC-Aquis =====
-http://langtech.jrc.it/JRC-Acquis.html +http://langtech.jrc.it/JRC-Acquis.html  ... mono data 
-http://optima.jrc.it/Acquis/JRC-Acquis.3.0/alignmentsHunAlign/index.html +http://optima.jrc.it/Acquis/JRC-Acquis.3.0/alignmentsHunAlign/index.html  ... HunAlign alignment 
-vseobecna data, ne med +http://optima.jrc.it/Acquis/JRC-Acquis.3.0/alignments/index.html  ... Vanilla alignment 
-podle návodu jsem (leden 2012) udělala paralelní korpus ze stažených dat: + 
- perl getAlignmentWithText.pl jrc-en-fr.xml > alignedCorpus_en_fr.xml +právnická data, ne med 
-ALE +Skript na vytvoření paralelních dat: getAlignmentWithText.pl 
-Data z **JRC-Aquis** se během posledních několika týdnů změnila, takže nejsou kompatibilní se skriptem, který je k nim dodáván, ten se nezměnil. Měla jsem zálohovaná data z páru fr-en, tak jsem je zpracovala, jsou na svém místě. V adresáři original jsou i ostatní data, tj. pro páry de-en a cs-en, ale nejsou zpracovaná, protože ty jsem v lednu nestáhla. +POZOR! v návodu READ.ME se jmenuje jinak. 
-Zpracování fr-en jsem provedla "ručně", ne pomocí skriptu processing.sh. Ten je připraven, ale jak jsem napsala, na současných datech nefunguje.  +Funguje jen s Vanilla 
-Z porovnání obou paralelních fr-en dat usuzuji, že na ně byl použit jiný aligner. V tom ale problém asi nebude, spíš je formát dat nekompatibililní se skriptem.+Kdyby se to chtělo udělat s HunAlign stránky, je třeba vstupní data zpracovat takto (cituji z mailu od Ralfa Steinbergera (29.02.2012 14:40:37): 
 + 
 +> There is a small bug in the hunAlign version of the corpus which prevents 
 +> the 
 +> getAlignmentWithText.pl scipt from working: all document identifiers (using 
 +> the 
 +> English-Polish alignemnt as an example) have the string "format/en.pl/jrc" 
 +> prepended (or infixed) to the actual document ID. 
 +>  
 +> This applies to the following attributes: 
 +>  
 +> - //text/body/div[@n] (eg. "format/en.pl/jrc21970A0720(01)" insted of 
 +> "21970A0720(01)") 
 +> - //linkGrp[@n] (as above) 
 +> - //linkGrp[@id] (eg. "jrcformat/en.pl/jrc21970A0720_01-en-pl" instead of 
 +> "jrc21970A0720_01-en-pl") 
 +> - //linkGrp[@xtargets] (as above) 
 +>  
 +> Preprocessing the alignment files with 
 +>  
 +> sed -i 's:format/en.pl/jrc::g' jrc-en-pl.xml 
 +>  
 +> is enough to get the script working, but perhaps this information could be 
 +> added to the documentation, the Perl script modified for the hunAlign 
 +> version 
 +> or the alignemnt files modified on the server to save others the confusion 
 +> and 
 +> unnecessary work. 
 +>  
 +> With kind regards, 
 +> Łukasz Dróżdż 
 +> University of Łódź
  
-http://optima.jrc.it/Acquis/JRC-Acquis.3.0/alignments/index.html 
-podle návodu jsem udělala paralelní korpus ze stažených dat: 
- perl getAlignmentWithText.pl jrc-en-fr.xml > alignedCorpus_en_fr.xml 
  
 pocet anglickych vet: pocet anglickych vet:
Line 46: Line 74:
   * segmentované podle vět, ale menší - viz tabulka. Některé patenty chybí zcela, některé jsou zkráceny.   * segmentované podle vět, ale menší - viz tabulka. Některé patenty chybí zcela, některé jsou zkráceny.
   * nesegmentované - každý patent má 2 záznamy: jméno a abstract, obojí v EN i FR, tedy alignment podle paragrafu (odhad)   * nesegmentované - každý patent má 2 záznamy: jméno a abstract, obojí v EN i FR, tedy alignment podle paragrafu (odhad)
-Zatím jsem udělala jen ty nesegmentované.+Zpracované obojí, viz read.me u dat.  
 +**POZOR!!! segmentovaná a nesegmentovaná verze neobsahují totéž**
  
 ===== French Gigaword ===== ===== French Gigaword =====
Line 55: Line 84:
  
 ===== MESH ===== ===== MESH =====
 +**EN**
 Staženo ze stránky http://www.nlm.nih.gov/mesh/filelist.html Staženo ze stránky http://www.nlm.nih.gov/mesh/filelist.html
  
Line 73: Line 103:
 podmnozinou tech z roku 2012 - namatkove overeno na  podmnozinou tech z roku 2012 - namatkove overeno na 
 MH = Autistic Disorder MH = Autistic Disorder
 +
 +**FR**
 +Francouzi mají překlad, je možno o něj zažádat z téhle adresy:
 +http://mesh.inserm.fr/mesh/get_file.htm
  
 ===== MAREC ===== ===== MAREC =====
Line 114: Line 148:
   1825077  47667366 314658361 europarl-v6.fr-en.fr   1825077  47667366 314658361 europarl-v6.fr-en.fr
 Stažený nástroj na alignment. Stažený nástroj na alignment.
 +
 +===== UN =====
 +Data z projektu Euromatrix
 +Staženo ze stránky (navíc španělské texty, kterých je zcat ../un.es.gz|wc  -> 13127945 352668682 2290530218
 +http://www.euromatrixplus.net/multi-un/
 +Při rozbalení originálních korpusů se vytvoří adresáře un/xml a pak podle jazyků, v rámci každého jazyka ještě podle let. Uvnitř jsou pak dokumenty ve velmi jednoduchém XML.
 +Kromě toho je součástí balení README a skript extract.py, který udělá "paralelní data", což ale znamená jen výběr jen těch souborů, jejichž texty jsou ve všech požadovaných jazycích (shoduje se název kromě zkratky jazyka) a potom ještě vytažení čistého textu z XML. Alignment je už součástí textů - číslování odstavců a vět, ale namátkovou kontrolou to moc nesedí, proto jsme se rozhodli to nepoužít.
 +Zpracované jsou tedy jen jednojazyčné texty, ale v tabulce je uveden alignment podle vět, aby se vědělo, že to nějak (!) uděláno je. Jelikož výroba dat je snadná (popsáno v README), data jsme smazali, v original jsou jen původní zabalené soubory.
  
 ===== much.more ===== ===== much.more =====

[ Back to the navigation ] [ Back to the content ]