Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revision Both sides next revision | ||
khresmoi:data_notes [2012/02/29 10:00] hlavacova |
khresmoi:data_notes [2012/03/01 16:16] hlavacova |
||
---|---|---|---|
Line 2: | Line 2: | ||
===== JRC-Aquis ===== | ===== JRC-Aquis ===== | ||
- | http:// | + | http:// |
- | http:// | + | http:// |
- | Data z **JRC-Aquis** | + | http:// |
- | Zpracování | + | |
- | Z porovnání obou paralelních | + | právnická data, ne med |
+ | Skript na vytvoření paralelních dat: getAlignmentWithText.pl | ||
+ | POZOR! v návodu READ.ME se jmenuje jinak. | ||
+ | Funguje jen s Vanilla | ||
+ | Kdyby se to chtělo udělat s HunAlign stránky, je třeba vstupní data zpracovat takto (cituji z mailu od Ralfa Steinbergera (29.02.2012 14: | ||
+ | |||
+ | > There is a small bug in the hunAlign version of the corpus which prevents | ||
+ | > the | ||
+ | > getAlignmentWithText.pl scipt from working: all document identifiers (using | ||
+ | > the | ||
+ | > English-Polish alignemnt as an example) have the string " | ||
+ | > prepended (or infixed) to the actual document ID. | ||
+ | > | ||
+ | > This applies to the following attributes: | ||
+ | > | ||
+ | > - // | ||
+ | > " | ||
+ | > - // | ||
+ | > - // | ||
+ | > " | ||
+ | > - // | ||
+ | > | ||
+ | > Preprocessing the alignment files with | ||
+ | > | ||
+ | > sed -i ' | ||
+ | > | ||
+ | > is enough to get the script working, but perhaps this information could be | ||
+ | > added to the documentation, | ||
+ | > version | ||
+ | > or the alignemnt files modified on the server to save others the confusion | ||
+ | > and | ||
+ | > unnecessary work. | ||
+ | > | ||
+ | > With kind regards, | ||
+ | > Łukasz Dróżdż | ||
+ | > University of Łódź | ||
+ | |||
+ | |||
+ | pocet anglickych vet: | ||
+ | egrep " | ||
+ | |||
+ | pocet francouzskych vet: | ||
+ | egrep " | ||
+ | |||
+ | egrep " | ||
+ | * 1228037 type=" | ||
+ | * 14162 type=" | ||
+ | * 6607 type=" | ||
+ | * 1284 type=" | ||
+ | celkem 1 250 090 linků | ||
+ | |||
+ | ===== ELDA ===== | ||
+ | * **ELRA-E0020, CESTA Evaluation Package** | ||
+ | Subpart: English-French parallel corpus from the second campagne data. Includes an adaptation corpus of 19,383 English words and 22,741 French words + a test corpus of 18,880 English words and 23,411 French words | ||
+ | |||
+ | * **ELRA-E0022: | ||
+ | Subpart: 140 Mb of data from the medical domain | ||
+ | |||
+ | * **ELRA-E0019: | ||
+ | Subpart (medical corpus): 9,000,000 words | ||
+ | |||
+ | ===== Coppa ===== | ||
+ | Corpus Of Parallel Patent Applications | ||
+ | Dostali jsme na DVD na vyžádání. | ||
+ | IPC: A61, C12N, C12P ... medical patents (doporučeno od WIPO) | ||
+ | Patenty členěny podle roku, ve dvou verzích: | ||
+ | * segmentované podle vět, ale menší - viz tabulka. Některé patenty chybí zcela, některé jsou zkráceny. | ||
+ | * nesegmentované | ||
+ | Zpracované obojí, viz read.me u dat. | ||
+ | POZOR!!! segmentovaná a nesegmentovaná verze neobsahují totéž | ||
+ | |||
+ | ===== French Gigaword ===== | ||
+ | 3rd edition, catalogue number LDC2011T10, máme DVD | ||
+ | Formát: SGML, segmentace | ||
+ | 862 851 slov, tj. simply the number of white space-separated tokens (of all types) after all SGML tags are eliminated | ||
+ | Všeobecné novinové texty, ne lékařské - Agence France-Presse, Associated Press French Service. | ||
+ | |||
+ | ===== MESH ===== | ||
+ | Staženo ze stránky http:// | ||
+ | |||
+ | Z možných formátů jsem stáhla jen ASCII zaznamy. | ||
+ | | ||
+ | * MH = nazev leku - celkem 26581 položek | ||
+ | * MS = slovni popis - celkem | ||
+ | **q2012.bin** ... Dulezite jsou jen polozky | ||
+ | * SH = nazev, ale nevim moc, ceho - celkem 83 | ||
+ | * MS = slovni popis - celkem 83 | ||
+ | * | ||
+ | Slovní popis je krátký odstavec, jehož první věta většinou neobsahuje sloveso! Takže to vlastně ani není věta. | ||
+ | **c2012.bin** ... tohle je ale vlastne jen chemicke, asi nepouzit | ||
+ | * NM = nazev leku | ||
+ | * NO = popis | ||
+ | |||
+ | Jeste jsou tam data z roku 2011: d2011.bin, q2011.bin, ale ty by mohly byt | ||
+ | podmnozinou tech z roku 2012 - namatkove overeno na | ||
+ | MH = Autistic Disorder | ||
+ | |||
+ | ===== MAREC ===== | ||
+ | A61 (MEDICAL OR VETERINARY SCIENCE; HYGIENE): 1.589,849 files | ||
+ | Nevím, kolik slov, není to v jednolitém balíku. | ||
+ | Na žádost o přístup odpověděli: | ||
+ | //the IRF is not granting access to the MAREC collection anymore. However, the access for research purposes should be possible in a foreseeable future via the Vienna University of Technology - Allan will certainly come back to you when the legal status is cleared.// | ||
+ | |||
+ | ===== TDA ===== | ||
+ | Pharmaceuticals and Biotechnology | ||
+ | |||
+ | en-GB → fr-FR: 13,033,584 slov | ||
+ | fr-FR → en-GB 483,610 slov | ||
+ | en-GB → de-DE: 412,406 | ||
+ | de-DE → en-GB: 6,385,051 | ||
+ | |||
+ | Staženo, TMX format, kvalita zatím neověřena (PP) | ||
+ | Máme kredit na stažení 1 mld. slov. Zatím stažena EN-FR, EN-DE in-domain data. | ||
+ | |||
+ | ===== EMEA ===== | ||
+ | 8-) | ||
+ | Zdroj: http://opus.lingfil.uu.se/ | ||
+ | **en-fr.tmx.gz** ... alignovana data - download translation memory files (TMX), 373 152 sentence pairs | ||
+ | **en-fr.xml.gz** ... sentence alignments in XCES format | ||
+ | **en-fr.txt.zip** ... jen angl. texty o lécich - vypadá to jako příbalové letáky 1 092 568 sentences, 26,34M words, download plain text files (MOSES/ | ||
+ | Adresář **fr** obsahuje francouzské texty, snad paralelní k en-fr.txt.zip (ověřím), | ||
+ | |||
+ | ===== Orphanet ===== | ||
+ | :-? | ||
+ | info na Kh wiki: http:// | ||
+ | orig. stránka: http:// | ||
+ | Není to žádný kompaktní balík, to se bude muset prolejzat. | ||
+ | Navíc nejsou jasné podmínky, HON negotiates | ||
+ | Vyslán dotaz, zda už to někdo nestáhnul | ||
+ | |||
+ | ===== Europarl ===== | ||
+ | 8-) | ||
+ | http:// | ||
+ | wc europarl-v6.fr-en.* | ||
+ | 1825077 | ||
+ | 1825077 | ||
+ | Stažený nástroj | ||
+ | |||
+ | ===== much.more ===== | ||
+ | 8-) | ||
+ | Alignované abstrakty medicínských článů, staženo, >1 Mw | ||
+ | Volitelně anotace: | ||
+ | Automatic (!) annotation includes: Part-of-Speech; | ||
+ | |||
+ | ===== LDC ===== | ||
+ | Uvádím data nalezená v katalogu LDC, která by se případně taky dala použít, ale jsou dost drahá. | ||
+ | * **Hansard French/ | ||
+ | To by bylo třeba objednat, | ||
+ | Member fee: $0 for 1995, 1996, 1997 members | ||
+ | Reduced-License Fee: US $3250.00 | ||
+ | * **UN Parallel Text (Complete)** ... LDC Catalog No.: LDC94T4A, jazyky EN, FR, SP, government documents | ||
+ | To by bylo třeba objednat, ale je to drahé: | ||
+ | Member fee: $0 for 1994 members | ||
+ | Non-member Fee: US $4000.00 | ||
+ | Reduced-License Fee: US $2000.00 | ||
+ | |||
+ | ===== HON certified web sites ===== | ||
+ | 8-) | ||
+ | asi změť všeho možného. | ||
+ | Počet stránek, ale ruznorodych, | ||
+ | egrep "\.fr" HON_Certified_Web_Sites_1.1.xml | wc → 2675 | ||
+ | Asi tam jsou i různé úrovně " |