[ Skip to the content ]

Institute of Formal and Applied Linguistics Wiki


[ Back to the navigation ]

This is an old revision of the document!


Table of Contents

Dobývání informací

(úloha z počítačového zpracování přirozeného jazyka)

Představte si, že provozujete server, který srovnává dostupnost a ceny určitého zboží v různých obchodech na internetu. Informace na vašem serveru je třeba pravidelně aktualizovat, musíte tedy opakovaně navštěvovat jednotlivé internetové obchody a zjišťovat, co momentálně nabízejí a za kolik. Samozřejmě to nechcete opisovat ručně, potřebujete tedy robota, který stránky obchodu proleze a potřebné informace vám zjistí. Bohužel, různé obchody používají odlišný formát stránek. Stejné zboží navíc mohou vést pod různými názvy a kódy.

Můžete na to jít tak, že si pro každý nový obchod napíšete robota, který mu bude šitý na míru. Z hlediska kvality získaných informací je tento přístup určitě nejbezpečnější. Přidání obchodu vás ale bude stát dost námahy, takže obchodů asi nepokryjete mnoho. Navíc i drobná změna na stránkách obchodu může vašeho robota vyřadit z provozu nebo, což je horší, nechat stahovat nesmysly v bláhové víře, že jsou to správná data.

Alternativou je pokusit se „porozumět“ textu v přirozeném jazyce tak, jako to umí živý zákazník. Nebude to porozumění přirozenému jazyku v pravém slova smyslu a v plné šíři. Pravděpodobně nebudete provádět detailní syntaktickou a sémantickou analýzu věty. Spíše půjde o soubor pravidel, která se pokusí chytit na základě různých klíčových slov, např. cena, skladem, objednat atd. Pracujete s omezenou doménou, proto máte šanci na úspěch i s relativně slabšími prostředky.

Zadání

Vaším úkolem je napsat (v Perlu) robota, který dostane adresu internetového obchodu, projde stránky obchodu, najde na nich potřebné informace a přidá je do databáze. Hledejte následující údaje:

Tato úloha pochopitelně je jazykově závislá. Předpokládejte, že stránky obchodu jsou v češtině. Samozřejmě vám bude sloužit ke cti, pokud robota dokážete napsat tak, aby přechod na jiný jazyk nebyl těžký, například že jazykově závislá pravidla nezadrátujete přímo do zdrojáku, ale místo toho je načtete ve stanoveném formátu ze souboru. Nicméně to není povinné.

Asi můžete i předpokládat, že ceny budou uvedené v českých korunách. Ale pozor! Adresa sídla obchodu už může být v cizině. Existují obchody, které komunikují česky, nechávají si platit kartou nebo dokonce v korunách na český účet, ale sídlí třeba v Paříži, odkud také rozesílají zboží. To je pro zákazníka pochopitelně zajímavá informace.

Neměli byste naopak předpokládat žádný konkrétní druh zboží. Pokud budete program testovat třeba na mobilech, nemělo by to znamenat, že nepůjde se srovnatelnou úspěšností pustit i na obchod s cédéčky, hrami, oblečením aj. Ignorujte méně obvyklé druhy zboží, které se běžně neposílají poštou (na jedné straně třeba nemovitosti a auta, na druhé např. skladby a software, který si po zakoupení registračního kódu přímo po síti stáhnete do počítače).

Databáze

Je na vás, jakou zvolíte implementaci databáze, do které budete informace ukládat. Pro snadnější testování robota na libovolném stroji se však raději vyhněte užívání knihoven a softwaru, který by bylo potřeba doinstalovat (např. SQL server). Úplně postačí, když příslušná data dokážete vypsat do textových souborů, kde jsou hodnoty jednotlivých polí oddělené středníky.

Databázi ovšem musíte umět také na začátku načíst, abyste mohli porovnávat názvy zboží, které v obchodě najdete, s názvy zboží, které jste už dříve našli v jiných obchodech.

Databázi můžete číst a ukládat do souboru (složky), jehož výchozí jméno je uvedené přímo ve zdrojáku. V tom případě to ale nesmí být absolutní cesta (není přenositelná, např. C:\Documents and Settings\blablabla nefunguje na Linuxu) a v podstatě by vůbec neměla opustit aktuální složku, pokud neumíte zajistit, že případné neexistující složky se vytvoří. V každém případě ale uživatel musí mít možnost dodat cestu k databázi, kterou preferuje on, pomocí nějaké volby na příkazovém řádku, např. dobyvatel.pl -db /home/user/obchody-db.

Další informace

Tento úkol (včetně zadání konkrétního jazyka) si můžete zarezervovat vyplněním formuláře na http://ufal.mff.cuni.cz/cgi-bin/zeman/zapoctaky/rezervace_ukolu.pl (pokud ještě není rozebrán).

Pokud se individuálně nedohodneme jinak, termín odevzdání je konec listopadu. Při některé prosincové přednášce program předvedete ostatním.


[ Back to the navigation ] [ Back to the content ]