[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki

• ÚFAL Wiki Home
• ÚFAL Home
• Sitemap
• RSS
• ÚFAL calendar
• Recent changes
• Login
• Hledat:

[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

View differences: Side by SideInline Go

Link to this comparison view

Both sides previous revision Previous revision 2012/03/01 15:56 hlavacova 2012/03/01 11:35 hlavacova 2012/02/29 14:54 hlavacova 2012/02/29 14:48 hlavacova 2012/02/29 14:47 hlavacova 2012/02/29 14:47 hlavacova 2012/02/29 14:47 hlavacova 2012/02/29 14:35 hlavacova 2012/02/29 14:32 hlavacova 2012/02/29 14:27 hlavacova 2012/02/29 14:23 hlavacova 2012/02/29 14:22 hlavacova 2012/02/29 14:21 hlavacova 2012/02/29 13:57 hlavacova 2012/02/29 13:55 hlavacova 2012/02/29 13:54 hlavacova 2012/02/29 13:52 hlavacova 2012/02/29 13:50 hlavacova 2012/02/29 13:46 hlavacova 2012/02/29 13:43 hlavacova 2012/02/29 13:40 hlavacova 2012/02/29 13:38 hlavacova 2012/02/29 10:14 hlavacova 2012/02/29 10:12 hlavacova 2012/02/29 10:03 hlavacova 2012/02/29 10:01 hlavacova 2012/02/29 09:57 hlavacova 2012/02/29 09:54 hlavacova 2012/02/28 15:01 hlavacova 2012/02/28 15:00 hlavacova 2012/02/27 17:28 hlavacova 2012/02/27 17:27 hlavacova 2012/02/23 13:38 ufal 2012/02/23 13:23 ufal 2012/02/22 15:36 hlavacova 2012/02/22 15:35 hlavacova 2012/02/22 15:33 hlavacova 2012/02/22 14:39 hlavacova 2012/02/22 11:35 ufal 2012/02/22 11:33 ufal 2012/02/22 10:00 ufal 2012/02/21 17:04 ufal 2012/02/21 17:00 ufal 2012/02/07 09:37 ufal 2012/02/03 11:56 hlavacova 2012/02/03 09:46 hlavacova 2012/02/02 14:37 hlavacova 2012/02/02 14:36 hlavacova 2012/02/02 14:08 hlavacova 2012/01/30 18:39 ufal 2012/01/30 18:39 ufal Go Next revision		Previous revision 2013/04/23 23:40 ufal +rosa2012/06/14 12:09 hlavacova 2012/06/13 10:07 hlavacova 2012/06/12 14:13 hlavacova 2012/05/28 11:30 hlavacova 2012/05/18 14:50 hlavacova 2012/05/18 14:48 hlavacova 2012/05/17 16:07 hlavacova 2012/05/17 16:00 hlavacova 2012/05/14 17:07 hlavacova 2012/05/14 16:19 hlavacova 2012/05/14 16:19 hlavacova 2012/05/14 16:18 hlavacova 2012/03/07 12:00 ufal 2012/03/02 14:48 ufal 2012/03/02 14:47 ufal 2012/03/01 15:56 hlavacova 2012/03/01 11:35 hlavacova 2012/02/29 14:54 hlavacova 2012/02/29 14:48 hlavacova 2012/02/29 14:47 hlavacova 2012/02/29 14:47 hlavacova 2012/02/29 14:47 hlavacova 2012/02/29 14:35 hlavacova 2012/02/29 14:32 hlavacova 2012/02/29 14:27 hlavacova 2012/02/29 14:23 hlavacova 2012/02/29 14:22 hlavacova 2012/02/29 14:21 hlavacova 2012/02/29 13:57 hlavacova 2012/02/29 13:55 hlavacova 2012/02/29 13:54 hlavacova 2012/02/29 13:52 hlavacova 2012/02/29 13:50 hlavacova 2012/02/29 13:46 hlavacova 2012/02/29 13:43 hlavacova 2012/02/29 13:40 hlavacova 2012/02/29 13:38 hlavacova 2012/02/29 10:14 hlavacova 2012/02/29 10:12 hlavacova 2012/02/29 10:03 hlavacova 2012/02/29 10:01 hlavacova 2012/02/29 09:57 hlavacova 2012/02/29 09:54 hlavacova 2012/02/28 15:01 hlavacova 2012/02/28 15:00 hlavacova 2012/02/27 17:28 hlavacova 2012/02/27 17:27 hlavacova 2012/02/23 13:38 ufal 2012/02/23 13:23 ufal 2012/02/22 15:36 hlavacova Go
khresmoi:start [2012/02/29 10:01] hlavacova		khresmoi:start [2013/04/23 23:40] (current) ufal +rosa
Line 2:		Line 2:
	Medical Information Analysis & Retrieval		Medical Information Analysis & Retrieval
	http://www.khresmoi.eu/		http://www.khresmoi.eu/
-
Line 13:		Line 12:
	* **JB**   = Jakub Bystroň <jb.elitecode (at) gmail.com>		* **JB**   = Jakub Bystroň <jb.elitecode (at) gmail.com>
	* **ZU**   = Zdeňka Urešová <uresova (at) ufal.mff.cuni.cz>		* **ZU**   = Zdeňka Urešová <uresova (at) ufal.mff.cuni.cz>
		+	* **RR**   = Rudolf Rosa <rosa (at) ufal.mff.cuni.cz>
	----		----
Line 18:		Line 18:
	==== Data ====		==== Data ====
		+	Jsou zde **/net/data/khresmoi**
	=== MT training data available for KHRESMOI ===		=== MT training data available for KHRESMOI ===
		+	Kliknutím na korpus (první sloupec) se dostanete do sekce [[khresmoi:data_notes|Poznámky k datům]], případně na stránku, odkud jsou data stažená.
		+	----
	^ Corpus ^ Source ^ Domain ^  EN-FR  ^  EN-DE  ^  alignment  ^  EN  ^  FR  ^  DE  ^  Note  ^		^ Corpus ^ Source ^ Domain ^  EN-FR  ^  EN-DE  ^  alignment  ^  EN  ^  FR  ^  DE  ^  Note  ^
-	| TDA translation memory  | TDA |  in  |  13517 Kw |  6797 Kw |  sent  |  |  |  |  DONE  |	+	| [[khresmoi:data_notes#TDA|TDA]] translation memory  | TDA |  in  |  13517 Kw |  6797 Kw |  sent  |  |  |  |  DONE:tda  |
-	| CESTA Evaluation Package  | ELRA |  in  |  38 Kw |  |  sent  |  |  |  |  DONE  |	+	| [[khresmoi:data_notes#ELDA|CESTA]] Evaluation Package  | ELRA |  in  |  38 Kw |  |  sent  |  |  |  |  DONE:cesta  |
-	| EQueR Evaluation Package  | ELRA |  in  |  |  |  |  |  140 MiB | |  DONE  |	+	| [[khresmoi:data_notes#ELDA|EQueR ]]Evaluation Package | ELRA |  in  |  |  |  |  |  140 MiB | |  DONE:equer  |
-	| CESART Evaluation Package | ELRA |  in  |  |  |  |  |  9000 Kw | |  DONE  |	+	| [[khresmoi:data_notes#ELDA|CESART]] Evaluation Package | ELRA |  in  |  |  |  |  |  9000 Kw | |  DONE:cesart  |
-	| French Gigaword | LDC |  news  |  |  |  |  |   863 Kw | |  8-) DVD  |	+	| [[khresmoi:data_notes#French Gigaword|French Gigaword]] | LDC |  news  |  |  |  |  |   863 Kw | |  DONE:gigaword  |
-	| [[khresmoi:data_notes#JRC-Acquis|Acquis]] | JRC |  law  |  1,25 Ms |  1,33 Ms |  sent  |  |  |   |  Part DONE (jen FR), see ↑ |	+	| [[khresmoi:data_notes#JRC-Acquis|Acquis]] | JRC |  law  |  1,25 Ms |  1,33 Ms |  sent  |  |  |   |  DONE:jrc  |
-	| EMEA | European Medicines Agency |  in  |  373 Ks |  12 Mw |  |  26.34 Mw |  14.9Mw |   |  DONE - i CS  |	+	| [[khresmoi:data_notes#EMEA|EMEA]] | European Medicines Agency |  in  |  373 Ks |  12 Mw |  |  26.34 Mw |  14.9Mw |   |  DONE:emea  |
-	| MESH | U.S. National Library of Medicine |  in  |  |  |  |  838 kw |   |   |  DONE*  |	+	| [[khresmoi:data_notes#MESH|MESH]] | U.S. National Library of Medicine |  in  |  |  |  |  838 kw |   |   |  DONE:mesh*  |
-	| OrphaNet  | OrphaNet |  in  |  ?  |  |  |  |  | |  Wien will do  |	+	| [[khresmoi:data_notes#Orphanet|OrphaNet]]  | OrphaNet |  in  |  ?  |  |  |  |  | |  :-? Wien will do  |
-	| Europarl | WMT12 |  parl  |  1.8Ms |  1.7Ms  |  sent  |  |  | |  DONE  |	+	| [[khresmoi:data_notes#Europarl|Europarl]] | WMT12 |  parl  |  1.8Ms |  1.7Ms  |  sent  |  |  | |  DONE:europarl  |
-	| News Commentary  | WMT12 |  news  |  43ks |  60ks |  sent  |  |  | |  DONE  |	+	| News Commentary  | WMT12 |  news  |  43ks |  60ks |  sent  |  |  | |  DONE:news-com  |
-	| News monolingual | WMT12 |  news  |  |  |  |  181kw |  147kw |  162kw |  DONE  |	+	| News monolingual | WMT12 |  news  |  |  |  |  181kw |  147kw |  162kw |  DONE:wmt-news  |
-	| United Nations | WMT12 |  un  |  12.3Ms |  |  |  |  | |  DONE  |	+	| United Nations | WMT12 |  un  |  12.3Ms |  |  |  |  | |  DONE:undoc  |
-	| French-English 109 corpus | WMT12 |  web  |  22.5Ms |  |  sent  |  |  | |  DONE  |	+	| French-English 109 corpus | WMT12 |  web  |  22.5Ms |  |  sent  |  |  | |  DONE:giga  |
	| Medpedia wiki| Medpedia |  in  |   |  |  |  ? |  | |  only EN found  |		| Medpedia wiki| Medpedia |  in  |   |  |  |  ? |  | |  only EN found  |
-	| Corpus Of Parallel Patent Applications (Coppa)| WIPO |  in  |  24,8Mw = 1,2Ms |  |  sent  |   |   |   |   :?: JHla   |	+	| [[khresmoi:data_notes#Coppa|Coppa]] (patenty)| WIPO |  in  |  24,8Mw = 1,2Ms |  |  sent  |   |   |   |  DONE:wipo  |
-	| Corpus Of Parallel Patent Applications (Coppa)| WIPO |  in  |  33,5Mw |  |  par  |   |   |   |   DONE   |	+	| [[khresmoi:data_notes#Coppa|Coppa]] (patenty)| WIPO |  in  |  33,5Mw |  |  par  |   |   |   |  DONE:wipo  |
-	| Corpus Of Parallel Patent Applications (Coppa)| WIPO |  tech  |  153,8Mw = 7,5Ms |  |  sent  |   |   |   |   :?: JHla   |	+	| [[khresmoi:data_notes#Coppa|Coppa]] (patenty)| WIPO |  tech  |  153,8Mw = 7,5Ms |  |  sent  |   |   |   |  DONE:wipo   |
-	| Corpus Of Parallel Patent Applications (Coppa)| WIPO |  tech  |  178,8Mw |  |  par  |   |   |   |   DONE   |	+	| [[khresmoi:data_notes#Coppa|Coppa]] (patenty)| WIPO |  tech  |  178,8Mw |  |  par  |   |   |   |  DONE:wipo  |
-	| MAREC | Wien TU |  in  |  ? |  ? |  ?  |  |   |   |  viz níže   |	+	| [[khresmoi:data_notes#MAREC|MAREC]] | Wien TU |  in  |  ? |  ? |  ?  |  |   |   |  :-?  |
-	| Springer Bilingual Corpus | much.more |  in  |    |  1.09 Mw |  sent  |  |   |   |  8-) JB   |	+	| [[khresmoi:data_notes#much.more|Springer Bilingual Corpus]] | much.more |  in  |    |  800kw |  par  | 1.1Mw |   |  1.0Mw |  DONE:muchmore   |
	| Europarl3 | OPUS |    |    |  1.3 Ms |  sent  |  |   |   |  neni poreba   |		| Europarl3 | OPUS |    |    |  1.3 Ms |  sent  |  |   |   |  neni poreba   |
	| OpenSubtitles2011 | OPUS |    |    |  5 Ms |  sent  |  |   |   |  8-) JB   |		| OpenSubtitles2011 | OPUS |    |    |  5 Ms |  sent  |  |   |   |  8-) JB   |
		+	| Czeng | UFAL |    |    |   |  sent  |  |   |   |  JB   |
		+	| Drugbank | drugbank.ca |  in  |    |  |   |  624kw |   |   |  DONE:drugbank   |
		+	| [[http://sig.biostr.washington.edu/projects/fma/release/v3.2.1/alt_formats.html|FMA]] | Foundational Model of Anatomy ontology |  in  |    |  |   |  855,5kw |   |   |  DONE:fma   |
		+	| PIL | The Patient Information Leaflet Corpus |  in  |    |  |   |  0,5Mw |   |   |  DONE:pil   |
		+	| [[www.nactem.ac.uk/download.php?target=GREC/GREC_Standoff.zip|GREC]] | Gene Regulation Event Corpus |  in  |    |  |   |  52kw |   |   |  DONE:grec   |
		+	| [[www.nactem.ac.uk/GENIA/current/GENIA-corpus/Part-of-speech/GENIAcorpus3.02p.tgz|GENIA]] | GENIA |  in  |    |  |   |  490kw |   |   |  DONE:genia   |
		+	| [[https://download.ir-facility.org/khresmoi/coch.zip|Cochrane]] | Cochrane |  in  |    |  |   |  53.6Mw |   |   |  DONE:cochrane  |
		+	| [[khresmoi:data_notes#un|un]]| Euromatrix |  gen  |  |  |  sent  |  517.4Mw |  386.3Mw |  5.9Mw |  DONE:un  |
		+	| [[http://universitypublisher.meduniwien.ac.at/radio2wiki/index.php/Main_Page|Radio2wiki]] | Radio2wiki |  in  |    |  |   |  |   |  74kw |  DONE:radio2wiki   |
		+
		+
		+	== Vysvětlivky ==
	k, M ... thousand, milion		k, M ... thousand, milion
	w, s, f ... words, sentences, files (for parallel data only source (English) words are counted)		w, s, f ... words, sentences, files (for parallel data only source (English) words are counted)
	* viz podrobnější info v podsekcích		* viz podrobnější info v podsekcích
		+	Sloupec Note obsahuje název podadresáře /net/data/khresmoi, kde je uložen výsledek
		+	8-) stažená data, ale nezpracovaná
		+	:?: nevíme, jestli chceme
		+	:-? chceme stahovat, ale zatím nevíme, jak na to ... z různých příčin
		+	8-O čekáme na data
		+	:!: nějaký problém, podrobněji v poznámkách - prokliknout z prvního sloupce
-	[[khresmoi:data_notes|Poznámky k datům]]	+	=== Další odkazy  ===
-		+
-		+
-	=== Zdroje  ===	+
-	__JRC Acquis__	+
-	http://optima.jrc.it/Acquis/JRC-Acquis.3.0/alignmentsHunAlign/index.html	+
-		+
-	__MAREC__	+
-	A61 (MEDICAL OR VETERINARY SCIENCE; HYGIENE): 1.589,849 files	+
-	Nevím, kolik slov, není to v jednolitém balíku.	+
-	Na žádost o přístup odpověděli:	+
-	//the IRF is not granting access to the MAREC collection anymore. However, the access for research purposes should be possible in a foreseeable future via the Vienna University of Technology - Allan will certainly come back to you when the legal status is cleared.//	+
-		+
-		+
-	__Coppa__	+
-	IPC: A61, C12N, C12P ... medical patents (doporučeno od WIPO)	+
-	Patenty členěny podle roku, ve dvou verzích:	+
-	* segmentované podle vět, ale menší - viz tabulka. Některé patenty chybí zcela, některé jsou zkráceny.	+
-	* nesegmentované - každý patent má 2 záznamy: jméno a abstract, obojí v EN i FR, tedy alignment podle paragrafu (odhad)	+
	__Khresmoi wiki__		__Khresmoi wiki__
	http://wiki.khresmoi.eu/index.php5/Data_sets_used		http://wiki.khresmoi.eu/index.php5/Data_sets_used
Line 83:		Line 84:
	http://opus.lingfil.uu.se/		http://opus.lingfil.uu.se/
-	__JRC Acquis__	+	==== Dokumenty ====
-	http://langtech.jrc.it/JRC-Acquis.html	+
-		+
-	__ELDA__	+
-		+
-	Objednali jsme několik balíčků s in-domain daty (EN-FR, FR)	+
-		+
-	__TDA__	+
-		+
-	Máme kredit na stažení 1 mld. slov. Zatím stažena EN-FR, EN-DE in-domain data.	+
-		+
-	__LDC__	+
-		+
-	=== Paralelní data ===	+
-	[[EN-FR]]	+
-	[[EN-DE]]	+
-		+
-	=== Mono data ===	+
-	[[FR]]	+
-	[[DE]]	+
-	[[EN]]	+
	----		----
-	==== Dokumenty ====
-
-	----
-	==== Úložiště ====
-	/net/data/khresmoi
-	----

---

[ Back to the navigation ] [ Back to the content ]