Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Last revision Both sides next revision | ||
khresmoi:data_notes [2012/02/29 14:44] hlavacova |
khresmoi:data_notes [2012/03/02 13:50] hlavacova |
||
---|---|---|---|
Line 2: | Line 2: | ||
===== JRC-Aquis ===== | ===== JRC-Aquis ===== | ||
- | http:// | + | http:// |
- | http:// | + | http:// |
- | vseobecna | + | http:// |
- | podle návodu jsem (leden 2012) udělala paralelní korpus ze stažených | + | |
- | | + | právnická |
- | ALE | + | Skript na vytvoření paralelních |
- | Data z **JRC-Aquis** | + | POZOR! v návodu READ.ME se jmenuje jinak. |
- | Zpracování fr-en jsem provedla | + | Funguje jen s Vanilla |
- | Z porovnání obou paralelních fr-en dat usuzuji, že na ně byl použit jiný aligner. V tom ale problém asi nebude, spíš je formát dat nekompatibililní se skriptem. | + | Kdyby se to chtělo udělat s HunAlign stránky, je třeba vstupní |
+ | |||
+ | > There is a small bug in the hunAlign version of the corpus which prevents | ||
+ | > the | ||
+ | > getAlignmentWithText.pl scipt from working: all document identifiers (using | ||
+ | > the | ||
+ | > English-Polish alignemnt as an example) have the string " | ||
+ | > prepended (or infixed) to the actual document ID. | ||
+ | > | ||
+ | > This applies to the following attributes: | ||
+ | > | ||
+ | > - // | ||
+ | > " | ||
+ | > - // | ||
+ | > - // | ||
+ | > "jrc21970A0720_01-en-pl" | ||
+ | > - // | ||
+ | > | ||
+ | > Preprocessing the alignment files with | ||
+ | > | ||
+ | > sed -i ' | ||
+ | > | ||
+ | > is enough to get the script working, but perhaps this information could be | ||
+ | > added to the documentation, the Perl script modified for the hunAlign | ||
+ | > version | ||
+ | > or the alignemnt files modified on the server to save others the confusion | ||
+ | > and | ||
+ | > unnecessary work. | ||
+ | > | ||
+ | > With kind regards, | ||
+ | > Łukasz Dróżdż | ||
+ | > University of Łódź | ||
- | http:// | ||
- | podle návodu jsem udělala paralelní korpus ze stažených dat: | ||
- | perl getAlignmentWithText.pl jrc-en-fr.xml > alignedCorpus_en_fr.xml | ||
pocet anglickych vet: | pocet anglickych vet: | ||
Line 46: | Line 74: | ||
* segmentované podle vět, ale menší - viz tabulka. Některé patenty chybí zcela, některé jsou zkráceny. | * segmentované podle vět, ale menší - viz tabulka. Některé patenty chybí zcela, některé jsou zkráceny. | ||
* nesegmentované - každý patent má 2 záznamy: jméno a abstract, obojí v EN i FR, tedy alignment podle paragrafu (odhad) | * nesegmentované - každý patent má 2 záznamy: jméno a abstract, obojí v EN i FR, tedy alignment podle paragrafu (odhad) | ||
- | Zatím jsem udělala jen ty nesegmentované. | + | Zpracované obojí, viz read.me u dat. |
+ | **POZOR!!! segmentovaná a nesegmentovaná verze neobsahují totéž** | ||
===== French Gigaword ===== | ===== French Gigaword ===== | ||
Line 55: | Line 84: | ||
===== MESH ===== | ===== MESH ===== | ||
+ | **EN** | ||
Staženo ze stránky http:// | Staženo ze stránky http:// | ||
Line 73: | Line 103: | ||
podmnozinou tech z roku 2012 - namatkove overeno na | podmnozinou tech z roku 2012 - namatkove overeno na | ||
MH = Autistic Disorder | MH = Autistic Disorder | ||
+ | |||
+ | **FR** | ||
+ | Francouzi mají překlad, je možno o něj zažádat z téhle adresy: | ||
+ | http:// | ||
===== MAREC ===== | ===== MAREC ===== |