[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
podklady-pro-hodnoceni-uchazece [2009/05/04 02:25]
ufal
podklady-pro-hodnoceni-uchazece [2009/05/04 15:00] (current)
ufal
Line 1: Line 1:
-==== Podklady pro hodnocení ​uchazeče o vědecko-pedagogický titul "​docent"​ a "​profesor"​ při habilitačním řízení v oboru I-3 Matematická lingvistika na Matematicko-fyzikální fakultě Univerzity Karlovy v Praze ====+==== Podklady pro hodnocení ​studentů a pracovníků ÚFAL (dříve: hodnocení pro účely získání titulu ​"​docent"​ a "​profesor"​ při habilitačním řízení v oboru I-3 Matematická lingvistika na Matematicko-fyzikální fakultě Univerzity Karlovy v Praze)====
  
 Praha, 22. 12. 2004 Praha, 22. 12. 2004
  
-Tyto podklady jsou uvedeny pouze pro úplnost. Byla nahrazena novým ​edpisem ​UK v roce 2008. Lze je tedy uplatnit jen tam, kde nejsou v rozporu s tímto materiálem. ​(doplněno 20.12.2009)+**Tyto podklady ​se nyní používají pro každoroční hodnocení doktorandů a pracovníků ÚFAL. Z hlediska habilitačních a jmenovacích řízení ​jsou uvedeny pouze jako vodítko tam, kde edpis UK z roku 2008 nestanoví jinak (adaptováno a doplněno 20.12.2009)** 
 + 
 + 
 + 
 +**Příloha se {{user:​hajic:​hodnoceni.doc|seznamy konferenčních publikací a časopisů}} v jednotlivých třídách doplněna 3. 5. 2009.**
  
 === Motivace a všeobecná situace v oboru I-3 === === Motivace a všeobecná situace v oboru I-3 ===
Line 21: Line 25:
 Publikační činnost v tomto oboru je vzhledem k jeho prudkému rozvoji zcela jednoznačně soustředěna především na několik hlavních konferencí oboru s celosvětovou audiencí. Tyto konference mají vyhraněně matematicko-lingvistické zaměření,​ případně zaměření na zpracování mluvené řeči. Téměř všechny jsou pořádány čtyřmi celosvětovými organizacemi,​ které v oboru působí: Association for Computational Linguistics (ACL), International Speech Communication Association (ISCA), International Committee of Computational Linguistics (ICCL), a Association for Machine Translation (AMTA/​EAMT). Kromě ICCL všechny tyto organizace mají regionální strukturu (americkou, evropskou a případně asijskou sekci) a jejich "​regionální"​ konference mají prakticky stejnou váhu a prestiž jako konference "​celosvětové"​ (AMTA a EAMT takovou globální konferenci ani nepořádá). Všechny konference pořádané těmito organizacemi,​ včetně workshopů jejich zájmových sekcí (Special Interest Groups), jsou recenzovány mezinárodním programovým výborem a příspěvky se v drtivé většině případů recenzují "​naslepo",​ tj. bez znalosti jmen a pracovišť autorů pro zajištění větší objektivity. Procento příspěvků přijatých na tyto konference je obvykle 15 až max. 30 procent. Publikační činnost v tomto oboru je vzhledem k jeho prudkému rozvoji zcela jednoznačně soustředěna především na několik hlavních konferencí oboru s celosvětovou audiencí. Tyto konference mají vyhraněně matematicko-lingvistické zaměření,​ případně zaměření na zpracování mluvené řeči. Téměř všechny jsou pořádány čtyřmi celosvětovými organizacemi,​ které v oboru působí: Association for Computational Linguistics (ACL), International Speech Communication Association (ISCA), International Committee of Computational Linguistics (ICCL), a Association for Machine Translation (AMTA/​EAMT). Kromě ICCL všechny tyto organizace mají regionální strukturu (americkou, evropskou a případně asijskou sekci) a jejich "​regionální"​ konference mají prakticky stejnou váhu a prestiž jako konference "​celosvětové"​ (AMTA a EAMT takovou globální konferenci ani nepořádá). Všechny konference pořádané těmito organizacemi,​ včetně workshopů jejich zájmových sekcí (Special Interest Groups), jsou recenzovány mezinárodním programovým výborem a příspěvky se v drtivé většině případů recenzují "​naslepo",​ tj. bez znalosti jmen a pracovišť autorů pro zajištění větší objektivity. Procento příspěvků přijatých na tyto konference je obvykle 15 až max. 30 procent.
  
-Za dostatečně kvalitní lze považovat i publikace na dalších konferencích řízených mezinárodními programovými výbory, kde procento přijatých příspěvků nestoupne nad 50 procent, jako je v našem regionu např. mezinárodní konference "Text, Speech, Dialogue",​ pořádaná ZČU v Plzni společně s FI MU v Brně, SOFSEM (pro práce více informatického charakteru) nebo mezinárodní "​Workshops on Parsing Technologies",​ případně další. Pro publikace spíše teoreticko-lingvistického charakteru je sem však nutno zařadit i konference s mezinárodní účastí o českém jazyce, případně o dalších studovaných jazycích, jako jsou například každoroční seminář o gramatice pořádaný MU v Brně, Slovko v Bratislavě,​ workshopy "​Formal Description of Slavic Languages"​ a další, a to i když nesplňují výše uvedené kritérium složení programového výboru a relativního počtu přijatých příspěvků. Na konferencích a workshopech,​ kde hlavním tématem je zpracování češtiny či slovenštiny,​ je rovněž přirozené publikovat česky. Seznam hlavních konferencí je uveden v příloze ​spolu s jistou, byť pomocnou klasifikací jejich prestižnosti. Je nutno poznamenat, že sborníky některých z těchto konferencí jsou v celosvětových citačních indexech uvedeny s nenulovým "​impact factorem"​.Neplatí to však o všech. Pozvané přednášky na základě pozvání schváleného celým programovým výborem na uvedených konferencích,​ které jsou obvykle jen dvě až tři, jsou rovněž velmi důležitým ukazatelem prestiže a renomé daného uchazeče. Akce kongresového typu s přednesením krátkých nerecenzovaných a často i nepublikovaných příspěvků (nebo jen s publikací abstraktů) jsou v oboru spíše výjimkou a takové příspěvky o vědecké úrovni uchazeče nevypovídají. Po uchazeči je třeba požadovat, aby v nejkvalitnější kategorii uvedené v Příloze ​měl alespoň jednu, v případě profesorského řízení pak několik publikací.+Za dostatečně kvalitní lze považovat i publikace na dalších konferencích řízených mezinárodními programovými výbory, kde procento přijatých příspěvků nestoupne nad 50 procent, jako je v našem regionu např. mezinárodní konference "Text, Speech, Dialogue",​ pořádaná ZČU v Plzni společně s FI MU v Brně, SOFSEM (pro práce více informatického charakteru) nebo mezinárodní "​Workshops on Parsing Technologies",​ případně další. Pro publikace spíše teoreticko-lingvistického charakteru je sem však nutno zařadit i konference s mezinárodní účastí o českém jazyce, případně o dalších studovaných jazycích, jako jsou například každoroční seminář o gramatice pořádaný MU v Brně, Slovko v Bratislavě,​ workshopy "​Formal Description of Slavic Languages"​ a další, a to i když nesplňují výše uvedené kritérium složení programového výboru a relativního počtu přijatých příspěvků. Na konferencích a workshopech,​ kde hlavním tématem je zpracování češtiny či slovenštiny,​ je rovněž přirozené publikovat česky. Seznam hlavních konferencí je uveden v Příloze spolu s jistou, byť pomocnou klasifikací jejich prestižnosti. Je nutno poznamenat, že sborníky některých z těchto konferencí jsou v celosvětových citačních indexech uvedeny s nenulovým "​impact factorem"​.Neplatí to však o všech. Pozvané přednášky na základě pozvání schváleného celým programovým výborem na uvedených konferencích,​ které jsou obvykle jen dvě až tři, jsou rovněž velmi důležitým ukazatelem prestiže a renomé daného uchazeče. Akce kongresového typu s přednesením krátkých nerecenzovaných a často i nepublikovaných příspěvků (nebo jen s publikací abstraktů) jsou v oboru spíše výjimkou a takové příspěvky o vědecké úrovni uchazeče nevypovídají. Po uchazeči je třeba požadovat, aby v nejkvalitnější kategorii uvedené v Příloze měl alespoň jednu, v případě profesorského řízení pak několik publikací.
  
-Publikace v časopisech jsou rovněž žádoucí, ale v oboru Computational Linguistics se vzhledem k rychlému zastarávání vyhledávají spíše z formálních důvodů (jednotné měření kvality vědecké práce s důrazem na časopisy je v tomto oboru problematické i jinde ve světě). Neproblematické jsou pouze jednoznačně prestižní časopisy "​Computational Linguistics",​ vydávaný přímo ACL, a některé relevantní publikace IEEE (převážně pro příspěvky ke zpracování mluvené řeči). Pro příspěvky zabývající se zpracováním češtiny z takového hlediska, že je tématicky nelze publikovat v zahraničí,​ je nutno zohlednit i české časopisy, například Slovo a slovesnost a Naše řeč. Jedná se zde mj. i o službu české vědecké veřejnosti díky jejich dostupnosti v ČR. Seznam časopisů, které se svým recenzním postupem blíží sborníkům prestižních konferencí nebo je převyšují,​ je uveden v příloze ​2Tento seznam není (na rozdíl od přílohy 1) "​shora"​ uzavřen; je pochopitelné,​ že případná publikace článku s oborovou tématikou v časopisech se širokým dopadem, jako jsou Science, Nature nebo prestižní matematické časopisy, by měla být hodnocena velmi vysoko, ale půjde spíše o velmi ojedinělé případy. Za významné lze považovat i publikace v jiných časopisech z oborů Computer Science, Linguistics,​ Mathematics a Cognitive Science s "​impact factorem"​ větším než 0.5.+Publikace v časopisech jsou rovněž žádoucí, ale v oboru Computational Linguistics se vzhledem k rychlému zastarávání vyhledávají spíše z formálních důvodů (jednotné měření kvality vědecké práce s důrazem na časopisy je v tomto oboru problematické i jinde ve světě). Neproblematické jsou pouze jednoznačně prestižní časopisy "​Computational Linguistics",​ vydávaný přímo ACL, a některé relevantní publikace IEEE (převážně pro příspěvky ke zpracování mluvené řeči). Pro příspěvky zabývající se zpracováním češtiny z takového hlediska, že je tématicky nelze publikovat v zahraničí,​ je nutno zohlednit i české časopisy, například Slovo a slovesnost a Naše řeč. Jedná se zde mj. i o službu české vědecké veřejnosti díky jejich dostupnosti v ČR. Seznam časopisů, které se svým recenzním postupem blíží sborníkům prestižních konferencí nebo je převyšují,​ je uveden v Příloze. ​Je pochopitelné,​ že případná publikace článku s oborovou tématikou v časopisech se širokým dopadem, jako jsou Science, Nature nebo prestižní matematické časopisy, by měla být hodnocena velmi vysoko, ale půjde spíše o velmi ojedinělé případy. ​
  
-Přestože z výše uvedených důvodů mají publikace na konferencích vyšší vypovídací hodnotu o schopnostech uchazeče, v profesorském řízení by měl mít autorství nebo spoluautorství několika publikací v časopisech v prvních dvou kategoriích podle Přílohy ​a minimálně jednu v kategorii nejvyšší.+Přestože z výše uvedených důvodů mají publikace na konferencích vyšší vypovídací hodnotu o schopnostech uchazeče, v profesorském řízení by měl mít autorství nebo spoluautorství několika publikací v časopisech v prvních dvou kategoriích podle Přílohy a minimálně jednu v kategorii nejvyšší.
  
 Velmi významná jsou ocenění typu "Best paper",​ a to jak v časopisech (IEEE Transactions),​ tak zejména na konferencích. Tato ocenění, kterých je celosvětově v oboru ročně uděleno jen několik desítek či spíše jednotek, mají v komunitě velmi vysokou váhu. Velmi významná jsou ocenění typu "Best paper",​ a to jak v časopisech (IEEE Transactions),​ tak zejména na konferencích. Tato ocenění, kterých je celosvětově v oboru ročně uděleno jen několik desítek či spíše jednotek, mají v komunitě velmi vysokou váhu.
Line 37: Line 41:
 Patenty jsou rovněž možným výsledkem vědecké práce, nicméně v tomto oboru se v akademické komunitě nevyužívají a často je vůbec i jejich podání spíše kontroverzní kvůli jejich omezující právní povaze (z hlediska přínosu vědecké obci). (Publikace pod obecně využitelnou licencí jako je např. GPL je samozřejmě nutno hodnotit jednoznačně příznivě.) Patenty jsou rovněž možným výsledkem vědecké práce, nicméně v tomto oboru se v akademické komunitě nevyužívají a často je vůbec i jejich podání spíše kontroverzní kvůli jejich omezující právní povaze (z hlediska přínosu vědecké obci). (Publikace pod obecně využitelnou licencí jako je např. GPL je samozřejmě nutno hodnotit jednoznačně příznivě.)
  
-Všechny publikace z nejvyšších dvou kategorií Příloh 1 a 2 a soubory lingvistických dat a softwarových děl velkého rozsahu a užití (publikované libovolným způsobem) lze započítat do stanovených limitů podle příslušných předpisů UK.+Všechny publikace z nejvyšších dvou kategorií Přílohy ​a soubory lingvistických dat a softwarových děl velkého rozsahu a užití (publikované libovolným způsobem) lze započítat do stanovených limitů podle příslušných předpisů UK.
  
 === Citační ohlas === === Citační ohlas ===
  
-Pro obor matematické lingvistiky neexistuje jednoznačný zdroj souhrnného seznamu citací. Nejblíže je index citeseer.nj.nec.com (pro Computer Science) a pak indexy SCI, v našem případě převážně pro "​humanitní"​ část oboru. Je však třeba akceptovat i adekvátní seznam citací vytvořený uchazečem, neboť řada významných konferenčních publikací ani z nejvýznamnější kategorie (viz Příloha ​1) není např. v citeseer.nj.nec.com zohledněna.+Pro obor matematické lingvistiky neexistuje jednoznačný zdroj souhrnného seznamu citací. Nejblíže je index citeseer.nj.nec.com (pro Computer Science) a pak indexy SCI, v našem případě převážně pro "​humanitní"​ část oboru. Je však třeba akceptovat i adekvátní seznam citací vytvořený uchazečem, neboť řada významných konferenčních publikací ani z nejvýznamnější kategorie (viz Příloha) není např. v citeseer.nj.nec.com zohledněna.
  
 === Ocenění === === Ocenění ===
Line 61: Line 65:
 === //__Dodatek - publikační a jiná činnost v doktorandském studiu__// === === //__Dodatek - publikační a jiná činnost v doktorandském studiu__// ===
  
-Ačkoli pro úspěšné absolvování doktorandského studia se striktně nevyžaduje určitý počet publikací (v zásadě stačí podle platných regulí jedna), výše uvedené kritéria je třeba adekvátně brát v úvahu i pro hodnocení práce doktorandů. Doporučuje se, aby alespoň jedna samostatná publikace doktoranda (příp. pouze s jeho školitelem či konzultantem) před podáním práce k obhajobě byla v nejvyšší kategorii podle Přílohy ​1 nebo 2, nebo aby doktorand měl větší množství publikací (jako autor nebo spoluautor) v nejvyšších dvou kategoriích ​podle těchto příloh. Vedoucí doktorandů by měli své doktorandy v předstihu směrovat tak, aby tato podmínka mohla být včas splněna. +Ačkoli pro úspěšné absolvování doktorandského studia se striktně nevyžaduje určitý počet publikací (v zásadě stačí podle platných regulí jedna), výše uvedené kritéria je třeba adekvátně brát v úvahu i pro hodnocení práce doktorandů. Doporučuje se, aby alespoň jedna samostatná publikace doktoranda (příp. pouze s jeho školitelem či konzultantem) před podáním práce k obhajobě byla v nejvyšší kategorii podle Přílohy, nebo aby doktorand měl větší množství publikací (jako autor nebo spoluautor) v nejvyšších dvou kategoriích. Vedoucí doktorandů by měli své doktorandy v předstihu směrovat tak, aby tato podmínka mohla být včas splněna.
- +
-==== Příloha 1 ==== +
- +
-====  ==== +
- +
-==== Konference oboru I-3 Matematická lingvistika MFF UK podle skupin kvality ==== +
- +
-U každé skupiny uvádíme hlavní kritéria zařazení daného typu příspěvku a konference; tato kritéria jsou stabilním vodítkem pro případné zařazení nebo vyřazení jednotlivých položek v budoucnosti podle situace v oboru. +
- +
-=== Hlavní konference oboru (mezinárodní programový výbor, min. 2-3 recenzenti a předseda oblasti, obvyklá míra přijetí nabízených příspěvků do 35 procent, recenzování naslepo, publikované plné znění referátu v papírové a obvykle i elektronické formě) ===+
  
-| Konference/​workshop | Typ příspěvku/​prezentace | 
-| ACL Conf. | ústní prez. nebo "​student workshop(s)"​ | 
-| NAACL, EACL Conf. | ústní prez. nebo "​student workshop(s)"​ | 
-| DARPA/HLT Conf. | ústní prez. nebo "​student workshop(s)"​ | 
-| Eurospeech/​Interspeech | ústní prezentace | 
-| ICASSP | ústní prezentace | 
-| Coling (ICCL) | ústní prezentace, "​student workshop(s)"​ | 
-| MT Summit | ústní prezentace | 
-| Applied Natural Language Processing (do r. 2000) | ústní prezentace | 
-| CoNLL (Nat. Lang. Learning) | všechny | 
-| Empirical Methods in NLP | všechny | 
  
-=== Konference s mez. programovým výborem, min. 2 recenzenti, obvyklá míra přijetí nabízených příspěvků do 50 procent === 
  
-| Konference/​workshop | Typ příspěvku/​prezentace | 
-| LREC (ACL/ELRA) | ústní prezentace | 
-| Text, Speech, Dialogue (FI MU/ZČU) | ústní prezentace | 
-| SOFSEM | ústní prezentace | 
-| MT Summit (AMTA, EAMT) | ústní prezentace | 
-| IJCAI, ECAI | ústní prezentace | 
-| International Workshop on Parsing Technologies | ústní prezentace | 
-| Euralex | ústní prezentace | 
  
-=== Ostatní prezentace podstatné z hlediska oboru, s publikovanými příspěvky a programovým výborem s 1-2 recenzenty, vč. kvalitních domácích === 
  
-| Konference/​workshop | Typ příspěvku/​prezentace | 
-| Fromal Description of Slavic Langauges (FDSL, FASL) | všechny | 
-| Workshopy SIG/ACL, NAACL, EACL | všechny | 
-| Workshopy Eurospeech/​Interspeech | všechny | 
-| ACL, HLT, NAACL, EACL | poster n. short paper n. research note | 
-| Eurospeech/​Interspeech | poster | 
-| ICASSP | poster | 
-| LREC | poster | 
-| MT Summit | poster, demo | 
-| Coling (ICCL) | short paper | 
-| Recent Advances in NLP | všechny | 
-| Treebanks and Linguistic Theories | všechny | 
-| International Congress of Linguists | všechny | 
-| Univerzália a specifika (FF MU) | všechny | 
-| Slovko (JÚĽŠ Bratislava) | všechny | 
-| Workshopy pořádané LDC (Univ. of Penn.) | všechny | 
-| Korpus jako zdroj dat o češtině | všechny | 
-| EUROLINGUA (dříve pod názvem TERMINA) | všechny | 
-| Meaning-Text International Conference | všechny | 
-| Mezinárodní sjezd slavistů | všechny | 
-| POLYSLAV | všechny | 
  
-==== Příloha 2 ==== 
  
-==== Časopisy relevantní pro obor I-3 Matematická lingvistika MFF UK ==== 
  
-Tento seznam je třeba v budoucnu aktualizovat podle situace.+==== Příloha ====
  
-=== Ikategorie ===+{{user:​hajic:​hodnoceni.doc|Zařazení konferencí,​ časopisů a tzv. výstupů RIV do tříd podle dosahu a důležitosti}}
  
-  * Computational Lingusitics +{{user:hajic:​meodika-hodnoceni-vedy-2008.pdf|Hodnocení ​vědy v ČR pro 2008}} ​(a snad i 2009).
-  * Machine Learning +
-  * IEEE Transactions: +
-  * on Pattern Analysis and Machine Intelligence +
-  * on Speech and Acoustic Processing +
-  * on Information Theory +
-  * Information and Control +
-  * Journal of Logic, Language and Information +
-  * IEEE Multimedia +
-  * Theoretical Linguistics +
-  * Slovo a slovesnost (jde-li o češtinu a blízké jazyky za podmínek uvedených ​textu) +
-  * Naše řeč (jde-li o češtinu za podmínek uvedených v textu)+
  
-=== IIkategorie ===+{{user:​hajic:​prezentace-2009-05-04.pdf|Prezentace o hodnocení z 4.5.2009}}
  
-  * IEEE Intelligent Systems 
-  * Computers and Language 
-  * Journal of Pragmatics 
-  * Corpus Linguistics 
-  * Machine Translation 
-  * Prague Bulletin of Mathematical Linguistics 
-  * Journal of Quantitative Linguistics 
-  * Slovo a slovesnost (v ost. případech) 
-  * Naše řeč (v ost. případech) 
-  * Linguistica Pragensia 
-  * Linguistic Inquiry 
  
-=== III. kategorie === 
  
-  * Jazykovědné aktuality 
-  * Pokroky matematiky, fyziky a astronomie 
-  * Slavia 
-  * Časopis pro moderní filologii 
-  * Český jazyk a literatura 
-  * Ostatní IEEE Transactions (pouze oborově relevantní) 
  

[ Back to the navigation ] [ Back to the content ]