Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
khresmoi:data_notes [2012/02/29 14:31] hlavacova |
khresmoi:data_notes [2012/03/01 15:57] hlavacova |
||
---|---|---|---|
Line 2: | Line 2: | ||
===== JRC-Aquis ===== | ===== JRC-Aquis ===== | ||
- | http:// | + | http:// |
- | http:// | + | http:// |
- | vseobecna data, ne med | + | http://optima.jrc.it/Acquis/JRC-Acquis.3.0/ |
- | podle návodu jsem (leden 2012) udělala paralelní korpus ze stažených dat: | + | |
- | perl getAlignmentWithText.pl jrc-en-fr.xml > alignedCorpus_en_fr.xml | + | |
- | ALE | + | |
- | Data z **JRC-Aquis** se během posledních několika týdnů změnila, takže nejsou kompatibilní se skriptem, který je k nim dodáván, ten se nezměnil. Měla jsem zálohovaná data z páru fr-en, tak jsem je zpracovala, jsou na svém místě. V adresáři original jsou i ostatní data, tj. pro páry de-en a cs-en, ale nejsou zpracovaná, | + | |
- | Zpracování fr-en jsem provedla " | + | |
- | Z porovnání obou paralelních fr-en dat usuzuji, že na ně byl použit jiný aligner. V tom ale problém asi nebude, spíš je formát dat nekompatibililní se skriptem. | + | |
+ | právnická data, ne med | ||
+ | Skript na vytvoření paralelních dat: getAlignmentWithText.pl | ||
+ | POZOR! v návodu READ.ME se jmenuje jinak. | ||
+ | Funguje jen s Vanilla | ||
+ | Kdyby se to chtělo udělat s HunAlign stránky, je třeba vstupní data zpracovat takto (cituji z mailu od Ralfa Steinbergera (29.02.2012 14:40:37): | ||
+ | |||
+ | > There is a small bug in the hunAlign version of the corpus which prevents | ||
+ | > the | ||
+ | > getAlignmentWithText.pl scipt from working: all document identifiers (using | ||
+ | > the | ||
+ | > English-Polish alignemnt as an example) have the string " | ||
+ | > prepended (or infixed) to the actual document ID. | ||
+ | > | ||
+ | > This applies to the following attributes: | ||
+ | > | ||
+ | > - // | ||
+ | > " | ||
+ | > - // | ||
+ | > - // | ||
+ | > " | ||
+ | > - // | ||
+ | > | ||
+ | > Preprocessing the alignment files with | ||
+ | > | ||
+ | > sed -i ' | ||
+ | > | ||
+ | > is enough to get the script working, but perhaps this information could be | ||
+ | > added to the documentation, | ||
+ | > version | ||
+ | > or the alignemnt files modified on the server to save others the confusion | ||
+ | > and | ||
+ | > unnecessary work. | ||
+ | > | ||
+ | > With kind regards, | ||
+ | > Łukasz Dróżdż | ||
+ | > University of Łódź | ||
- | http:// | ||
- | podle návodu jsem udělala paralelní korpus ze stažených dat: | ||
- | perl getAlignmentWithText.pl jrc-en-fr.xml > alignedCorpus_en_fr.xml | ||
pocet anglickych vet: | pocet anglickych vet: | ||
Line 47: | Line 74: | ||
* segmentované podle vět, ale menší - viz tabulka. Některé patenty chybí zcela, některé jsou zkráceny. | * segmentované podle vět, ale menší - viz tabulka. Některé patenty chybí zcela, některé jsou zkráceny. | ||
* nesegmentované - každý patent má 2 záznamy: jméno a abstract, obojí v EN i FR, tedy alignment podle paragrafu (odhad) | * nesegmentované - každý patent má 2 záznamy: jméno a abstract, obojí v EN i FR, tedy alignment podle paragrafu (odhad) | ||
- | Zatím jsem udělala jen ty nesegmentované. | + | |
+ | Zpracované obojí, viz read.me u dat. | ||
===== French Gigaword ===== | ===== French Gigaword ===== | ||
Line 54: | Line 82: | ||
862 851 slov, tj. simply the number of white space-separated tokens (of all types) after all SGML tags are eliminated | 862 851 slov, tj. simply the number of white space-separated tokens (of all types) after all SGML tags are eliminated | ||
Všeobecné novinové texty, ne lékařské - Agence France-Presse, | Všeobecné novinové texty, ne lékařské - Agence France-Presse, | ||
+ | |||
+ | ===== MESH ===== | ||
+ | Staženo ze stránky http:// | ||
+ | |||
+ | Z možných formátů jsem stáhla jen ASCII zaznamy. | ||
+ | | ||
+ | * MH = nazev leku - celkem 26581 položek | ||
+ | * MS = slovni popis - celkem | ||
+ | **q2012.bin** ... Dulezite jsou jen polozky | ||
+ | * SH = nazev, ale nevim moc, ceho - celkem 83 | ||
+ | * MS = slovni popis - celkem 83 | ||
+ | * | ||
+ | Slovní popis je krátký odstavec, jehož první věta většinou neobsahuje sloveso! Takže to vlastně ani není věta. | ||
+ | **c2012.bin** ... tohle je ale vlastne jen chemicke, asi nepouzit | ||
+ | * NM = nazev leku | ||
+ | * NO = popis | ||
+ | |||
+ | Jeste jsou tam data z roku 2011: d2011.bin, q2011.bin, ale ty by mohly byt | ||
+ | podmnozinou tech z roku 2012 - namatkove overeno na | ||
+ | MH = Autistic Disorder | ||
===== MAREC ===== | ===== MAREC ===== | ||
Line 102: | Line 150: | ||
Automatic (!) annotation includes: Part-of-Speech; | Automatic (!) annotation includes: Part-of-Speech; | ||
+ | ===== LDC ===== | ||
+ | Uvádím data nalezená v katalogu LDC, která by se případně taky dala použít, ale jsou dost drahá. | ||
+ | * **Hansard French/ | ||
+ | To by bylo třeba objednat, ale je to drahé: | ||
+ | Member fee: $0 for 1995, 1996, 1997 members | ||
+ | Reduced-License Fee: US $3250.00 | ||
+ | * **UN Parallel Text (Complete)** ... LDC Catalog No.: LDC94T4A, jazyky EN, FR, SP, government documents | ||
+ | To by bylo třeba objednat, ale je to drahé: | ||
+ | Member fee: $0 for 1994 members | ||
+ | Non-member Fee: US $4000.00 | ||
+ | Reduced-License Fee: US $2000.00 | ||
===== HON certified web sites ===== | ===== HON certified web sites ===== |