[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
Next revision Both sides next revision
draft [2009/08/06 17:27]
ptacek
draft [2009/09/01 00:10]
ufal
Line 3: Line 3:
 [[Progress Report]] - dal jsem to na zvlastni stranku, abysme si nelezli do zeli [[Progress Report]] - dal jsem to na zvlastni stranku, abysme si nelezli do zeli
  
 +
 +[[http://72.55.153.148/mediawiki-1.8.2/index.php/CZ_Demo_%28November_2009%29_Specs_and_Components_%282009-07-17%29#Natural_Language_Generation_.28WP_5.4.29|final version of description]]
  
 ====== Description of Czech Companion November Demonstrator ====== ====== Description of Czech Companion November Demonstrator ======
Line 11: Line 13:
  
 Our DAFs covering selected topics contain not only Companion replies mined from the corpora, but also new human-authored assessments, remarks and glosses to provide longer system utterances in order to encourage user to tell more. Our DAFs covering selected topics contain not only Companion replies mined from the corpora, but also new human-authored assessments, remarks and glosses to provide longer system utterances in order to encourage user to tell more.
 +
 +For a sample dialogue, see the Scenario Brief below. 
  
 {{user:ptacek:czech_companion_diagram.png|}} {{user:ptacek:czech_companion_diagram.png|}}
Line 17: Line 21:
 ===== Automatic Speech Recognition (WP 5.1)===== ===== Automatic Speech Recognition (WP 5.1)=====
 features: improved language models, real-time speaker adaptation features: improved language models, real-time speaker adaptation
-performance indicator: WER+performance indicator: WER 
  
  
Line 23: Line 27:
  
  
 +===== Speech Reconstruction (WP 5.2) =====
 +features: omit filler phrases, remove irrelevant speech events, handle false starts, repetitions, and corrections, polish word ordering performance indicator: BLEU score between actual output and manually reconstructed sentences from corpora (T5.2.1), baseline: Moses with default settings 
  
- 
-===== Speech Reconstruction (WP 5.2) ===== 
-features: omit filler phrases, remove irrelevant speech events, handle false starts, repetitions, and corrections, polish word ordering 
-performance indicator: BLEU score between actual output and manually reconstructed sentences from corpora (T5.2.1), baseline: Moses with default settings 
  
  
Line 38: Line 40:
 ===== Morphology Analyzer and POS tagging (WP 5.2) ===== ===== Morphology Analyzer and POS tagging (WP 5.2) =====
 features: coverage of photo-pal domain, domain adapted tagger features: coverage of photo-pal domain, domain adapted tagger
-performance indicator: OOV rate, accuracy+performance indicator: OOV rate, accuracy (Morce podle webu 95.1%)
  
  
Line 53: Line 55:
 ===== Semantic Parsing (WP 5.2) ===== ===== Semantic Parsing (WP 5.2) =====
 features: assignment of semantic roles (69 roles), coordinations, argument structure, partial ellipsis resolution, pronominal anaphora resolution, post parsing detection of ungrammatical edges (caused by long user utterances) features: assignment of semantic roles (69 roles), coordinations, argument structure, partial ellipsis resolution, pronominal anaphora resolution, post parsing detection of ungrammatical edges (caused by long user utterances)
-performance indicator: accuracy (correctly induced edges, labels) +performance indicator: accuracy (correctly induced edges, labels) 
  
 ===== Information Extraction (WP 5.2) ===== ===== Information Extraction (WP 5.2) =====
Line 85: Line 88:
 manual creation of DAFs covering following topics: Person_retired, Person_in_productive_age, Child, Husband, Wife, Wedding, Christmas, Death, Handling_stalled_dialog (most frequent topics in corpora), using customized DAF Editor provided by USFD. manual creation of DAFs covering following topics: Person_retired, Person_in_productive_age, Child, Husband, Wife, Wedding, Christmas, Death, Handling_stalled_dialog (most frequent topics in corpora), using customized DAF Editor provided by USFD.
 performance indicator: acceptability - manual evaluation of actions selected by DM performance indicator: acceptability - manual evaluation of actions selected by DM
 +
  
  
Line 92: Line 96:
  
 ===== Natural Language Generation (WP 5.4) ===== ===== Natural Language Generation (WP 5.4) =====
-features: adding of functional words, morphological adjustments, generating paraphrases for hard-coded utterances, underspecified input (dott format), passing-through of emotional markup (originating in DAFs)+features: adding of functional words, morphological adjustments, generating paraphrases for hard-coded utterances, underspecified input (dott format).
 performance indicator: BLEU score performance indicator: BLEU score
  
Line 107: Line 111:
 features: new Czech female voice with affective features will be integrated with the TID avatar features: new Czech female voice with affective features will be integrated with the TID avatar
 performance indicator: subjective evaluation of the naturalness and the ability to convey emotions (small-scale, given the time constraint) performance indicator: subjective evaluation of the naturalness and the ability to convey emotions (small-scale, given the time constraint)
 +
 +
  
 ====== Scenario Brief ====== ====== Scenario Brief ======
  
-C1 Dobrý den, jak se jmenujete? intro +C1 Dobrý den, jak se jmenujete? (intro-daf-based)
 H1 Marie. H1 Marie.
-C2 Těší mě. Já jsem Pavla a chtěla bych Vás blíž poznat. Jsem ráda, že mi ukážete Vaše fotografie. intro 
-C2 Co je tohle? photo_maintenance 
-H2 To je moje rodina, rodiče, sestra, její manžel, moje dvě děti a její dvě děti. 
  
 +C2 Těší mě. Já jsem Pavla a chtěla bych Vás blíž poznat. Jsem ráda, že mi ukážete Vaše fotografie.
 +
 +C2 Co je tohle? (photo_maintenance)
 +H2 To je moje rodina, rodiče, sestra, její manžel, moje dvě děti a její dvě děti.
 H2 Byli u mě na Vánoce na návštěvě. H2 Byli u mě na Vánoce na návštěvě.
  
 C3 Trávíte Vánoce takhle pohromadě? C3 Trávíte Vánoce takhle pohromadě?
- ask_on_detail 
 H3 Teď už ne. H3 Teď už ne.
- 
 H3 Teď už všechny moje dětičky vylétaly z hnízda. H3 Teď už všechny moje dětičky vylétaly z hnízda.
-C4 Jak se jmenuje váš manžel? ask_on_detail+ 
 +C4 Jak se jmenuje váš manžel?
 H4 Manžel už nežije, jmenoval se Karel Šístek. H4 Manžel už nežije, jmenoval se Karel Šístek.
 +
 C5 Máte ráda Vánoce? C5 Máte ráda Vánoce?
- ask_on_detail 
 H5 Teď už ne. H5 Teď už ne.
- 
 H5 Měla jsem je ráda, když byly děti malé. H5 Měla jsem je ráda, když byly děti malé.
- 
 H5 Teď už to ale není ono. H5 Teď už to ale není ono.
  
 +C6 Takže teď trávíte Vánoce sama? (ask_on_detail-daf-based)
 +H6 Nejsem úplně sama, chodím každé Vánoce k dceři, ale už to není, jak to bývalo, když byly doma malé děti.
  
-C6 Takže teď trávíte Vánoce sama? ask_on_detail +C7 Jak děti vyrostou, tak má člověk najednou příliš mnoho času.
-H6 Nejsem úplně sama, chodím každé Vánoce k dceři, ale už to není, jak to bývalo, když byly doma malé děti. +
- +
-C7 Jak děti vyrostou, tak má člověk najednou příliš mnoho času. komentující+
 C7 Kdo je kdo na té fotce? C7 Kdo je kdo na té fotce?
 H7 U stromečku je můj synovec, ta holčička vedle je moje dcera, chlapeček s hračkou je můj syn, vedle je sestra, její manžel a nad ním je můj otec. H7 U stromečku je můj synovec, ta holčička vedle je moje dcera, chlapeček s hračkou je můj syn, vedle je sestra, její manžel a nad ním je můj otec.
-C8 To jste ale velká rodina. komentující + 
-C8 Jak se jmenuje vaše sestra?+C8 To jste ale velká rodina. 
 +C8 Jak se jmenuje vaše sestra? (companion commenting last utterance  bundled with follow-up question - to achieve longer responses)
 H8 Sestra se jmenuje Marie Havlová, její manžel je Vladimír, ten bohužel nedávno zemřel. H8 Sestra se jmenuje Marie Havlová, její manžel je Vladimír, ten bohužel nedávno zemřel.
-C9 To je smutné. hodnotící_obecná + 
-C9 Znala jste ho dobře? ask_on_detail+C9 To je smutné. 
 +C9 Znala jste ho dobře?
 H9 Velmi dobře, trávili jsme obě rodiny společně hodně času. H9 Velmi dobře, trávili jsme obě rodiny společně hodně času.
-C10 Máte už nějaká vnoučata? skip_to_associated_topic+ 
 +C10 Máte už nějaká vnoučata?
 H10 Mám vnučku Natálku. H10 Mám vnučku Natálku.
 H10 Ona je takové živé děťátko, taková neposeda. H10 Ona je takové živé děťátko, taková neposeda.
Line 152: Line 158:
 C11 Takže Natálka je neposeda. repeat-rephrase C11 Takže Natálka je neposeda. repeat-rephrase
 C11 Máte ještě nějaké další vnučky nebo vnuky? C11 Máte ještě nějaké další vnučky nebo vnuky?
- ask_on_detail 
 H11 Čekáme ještě další přírustek. H11 Čekáme ještě další přírustek.
  
 C12 Hlídáte je někdy? C12 Hlídáte je někdy?
- ask_on_detail 
 H12 Hlídám dost často. H12 Hlídám dost často.
- 
 H12 Já mám děti ráda a jsem s nimi moc ráda. H12 Já mám děti ráda a jsem s nimi moc ráda.
  
 C13 To je fajn. C13 To je fajn.
- hodnotící_obecná 
 C13 S dětmi je legrace. C13 S dětmi je legrace.
- komentující 
 H13 Ano. H13 Ano.
  
 C Podíváme se na další fotku? C Podíváme se na další fotku?
- photo_maintenance 
  
  

[ Back to the navigation ] [ Back to the content ]