Differences
This shows you the differences between two versions of the page.
| Both sides previous revision Previous revision | |||
|
user:kasner:gauk [2023/03/05 21:02] kasner |
user:kasner:gauk [2023/03/05 22:36] (current) kasner |
||
|---|---|---|---|
| Line 355: | Line 355: | ||
| * {{user: | * {{user: | ||
| * Ondřej Dušek – 10 nejdůležitějších publikací (2015-2019) | * Ondřej Dušek – 10 nejdůležitějších publikací (2015-2019) | ||
| + | |||
| + | ===== Závěrečná zpráva ===== | ||
| + | |||
| + | ==== Splnění cílů projektu ==== | ||
| + | Hlavním cílem projektu bylo vytvořit techniku pro generování textu ze strukturovaných dat nezávisle na konkrétní doméně. Při našem řešení jsme se zaměřili na využití schopností předtrénovaných jazykových modelů pracovat s textem v přirozeném jazyce. Abychom tyto modely mohli aplikovat na náš problém, přeformulovali jsme úkol " | ||
| + | |||
| + | V článku Kasner and Dušek (2020) jsme publikovali techniku, která iterativně zlepšovala text pomocí postupné editace šablon. Technika využívala jazykový model, který mohl provádět jen omezenou sadu operací zaměřenou na syntézu vět. Kromě toho, že tím došlo k omezení tzv. " | ||
| + | |||
| + | Tuto myšlenku jsme dále rozpracovali v článku Kasner and Dušek (2022). V návaznosti na předchozí práci se podařilo vyvinout systém, který nepotřeboval zcela žádná trénovací data z konkrétní domény a mohl být natrénovaný pouze na předzpracovaných volně dostupných datech (v našem případě na článcích z Wikipedie). Tento systém pomocí sekvence tří modulů postupně seřadil, zagregoval a zlepšil plynulost jednoduchých šablon, díky čemuž dosáhl na dvou datových sadách výsledků srovnatelných s obdobnými systémy z předchozích let, které využívaly trénovací data z konkrétní domény. | ||
| + | |||
| + | Jedním z výsledků nejnovějšího článku Kasner et al. (2023) pak je i možnost generování šablon pomocí jazykových modelů, díky čemuž je možné eliminovat zbývající manuální část v předchozím přístupu, tedy tvorbu šablon, a celkově tím zlepšit doménovou nezávislost našeho přístupu. | ||
| + | |||
| + | Vedlejším cílem projektu pak bylo vytvořit systém pro objektivní hodnocení výstupu generování přirozeného jazyka, který bude lépe korelovat s lidským hodnocením než současné objektivní metriky. Tento cíl se povedlo splnit v článku Dušek and Kasner (2020), ve kterém jsme popsali systém pro hodnocení vygenerovaných textů pomocí modelu založeném na tzv. natural language inference (tedy hodnocení logické provázanosti hypotézy a premisy). Naše metoda dokáže využít existujícího předtrénovaného modelu, díky čemuž je jednoduše použitelná, | ||
| + | |||
| + | Oba cíle projektu se tedy podařilo splnit. Na našem přístupu založeném na úpravách textu je možné stavět další přístupy pro generování textu z dat pomocí velkých jazykových modelů, které nedokáží pracovat se strukturovanými daty, ale dosahují velmi dobrých výsledků při práci s textem. Na náš přístup pro evaluaci textu pak již v současnosti navazuje řada dalších přístupů pro evaluaci textu založených na specializovaných modelech. | ||
| + | |||
| + | ==== Závěrečná zpráva za celý projekt ==== | ||
| + | Tento grantový projekt měl za cíl vyvinout techniky pro generování přirozeného jazyka, zejména se zaměřením na techniky pro doménově nezávislé generování textu ze strukturovaných dat. | ||
| + | |||
| + | V průběhu práce jsme vyvinuli techniky, které pomohly naplnit cíle projektu (viz sekce Splnění cílů projektu). Naše výsledky byly publikované na významných mezinárodních konferencích pro zpracování přirozeného jazyka (ACL, EACL, INLG) a všechna naše data a kódy byly publikované pod svobodnou otevřenou licencí. | ||
| + | |||
| + | Díky grantovým prostředkům se řešitel mimo jiné osobně zúčastnil konference ACL 2022, letní školy DeepLearn 2021 a stáže na Heriot-Watt University v Edinburghu. Zbylé grantové prostředky byly využity na nákup vybavení, které přímo pomohly splnění cílů projektu. | ||
| + | |||
| + | Výsledky projektu mimo jiné umožnily i přijetí řešitele na stáž v prestižním výzkumném institutu strojového učení MILA (Montreal, Kanada) na jaře roku 2023, kde bude řešitel navazovat na svůj dosavadní výzkum. | ||
| + | |||
| + | |||
| + | ===== Hodnocení projektu - 2022 ===== | ||
| + | ==== Zpráva o řešení za minulý rok ==== | ||
| + | V roce 2022 jsme se dále zaměřili na generování textu z dat pomocí jazykových modelů a úspěšně jsme vyvinuli způsob pro použití těchto modelů bez potřeby trénovacích dat z konkrétní domény. Výsledky této práce jsme publikovali v článku Kasner and Dušek (2022) na konferenci ACL 2022 v Dublinu. Této konference jsem se jako první autor článku zúčastnil a prezentoval zde o článku poster. | ||
| + | |||
| + | Ve spolupráci s Dr. Ioannisem Konstasem z Heriot-Watt University v Edinburgu, kde jsem se zúčastnil stáže na podzim roku 2021, vzniknul článek Kasner et al. (2023), který se zabývá analýzou schopností jazykových modelů generovat popisy zcela nových relací ve znalostních grafech. Tento článek je v současnosti přijatý na konferenci EACL 2023. | ||
| + | |||
| + | Spolupracoval jsem i na článcích s kolegy: v článku Mukherjee et al. (2022) jsme se zabývali zachováním obsahu při transferu stylu ve vygenerovaném textu a v článku Huidrom et al. (2022) jsme provedli reprodukční studii dřívějších experimentů. Tyto projekty byly také publikovány na konferencích. | ||
| + | |||
| + | Celkově jsme tak úspěšně pokračovali ve výzkumu ohledně doménové adaptace pro generování textu z dat a publikovali významné výsledky na mezinárodních konferencích pro zpracování přirozeného jazyka. | ||