Both sides previous revision
Previous revision
Next revision
|
Previous revision
Next revision
Both sides next revision
|
padt:start [2011/07/01 00:03] smrz |
padt:start [2013/06/24 12:30] zeman Ruční oprava pomůže. |
| |
http://ufal.mff.cuni.cz/padt/online/ | http://ufal.mff.cuni.cz/padt/online/ |
| |
===== Overview ===== | |
| |
===== Setup ===== | ===== Setup ===== |
Install [[http://ufal.mff.cuni.cz/~pajas/tred/|TrEd]] including the [[http://ufal.mff.cuni.cz/~pajas/tred/extensions/padt/documentation/|padt]] and [[http://ufal.mff.cuni.cz/~pajas/tred/extensions/elixir/documentation/|elixir]] extensions from the default TrEd repository http://ufal.mff.cuni.cz/~pajas/tred/extensions/. | Install [[http://ufal.mff.cuni.cz/~pajas/tred/|TrEd]] including the [[http://ufal.mff.cuni.cz/~pajas/tred/extensions/padt/documentation/|padt]] and [[http://ufal.mff.cuni.cz/~pajas/tred/extensions/elixir/documentation/|elixir]] extensions from the default TrEd repository http://ufal.mff.cuni.cz/~pajas/tred/extensions/. |
| |
The SVN repository of the PADT project is https://svn.ms.mff.cuni.cz/svn/padt/. A working copy is accessible at /net/projects/ace/data/arabic/PADT/ on the UFAL network. | The SVN repository of the PADT project is https://svn.ms.mff.cuni.cz/svn/padt/ (see also [[https://svn.ms.mff.cuni.cz/trac/padt|Trac]]). A working copy is accessible at ''/net/projects/padt'' on the ÚFAL network. |
| |
The project's data are stored in the main subdirectory ''data'', which is split further into ''Prague'', ''Penn'', and ''ElixirFM'', explained below. | The project's data are stored in the main subdirectory ''data'', which is split further into ''Prague'', ''Penn'', and ''ElixirFM'', explained below. |
data/Prague/XIN/ | data/Prague/XIN/ |
| |
The project's contributors are ''smrz'', ''bielicky'', and ''zabokrtsky'', the rest of ''ufal'' have just the read rights. | The project's contributors are ''smrz'', ''bielicky'', ''zabokrtsky'' and ''zeman'', the rest of ''ufal'' have just the read rights. |
| |
There is also the 'tools' directory which contains some useful scripts. | There is also the 'tools' directory which contains some useful scripts. |
| |
The code base for the PADT project, i.e. for annotation, display, and processing of the data, is the TrEd's ''padt'' extension, and its ''elixir'' extension that is a dependency for ''padt''. | The code base for the PADT project, i.e. for annotation, display, and processing of the data, is the TrEd's ''padt'' extension, and its ''elixir'' extension that is a dependency for ''padt''. |
| |
===== Agenda ===== | ===== Agenda ===== |
| |
| * Write a block to read the PADT 2.0 data in Treex. An XML schema is needed. |
| * Jak je to teď se zalámáním vět? Bude se nějak využívat prvek Unit? Současné stromy zatím pořád odpovídají odstavcům, s průměrným počtem 38 tokenů na strom. Treebank obsahuje 874 souborů (dokumentů), 7664 stromů (odstavců) a 289910 tokenů (nekořenových uzlů). Token je menší jednotka než slovo, přičemž je možné dohledat, které tokeny tvořily dohromady jedno slovo (týká se druhé tokenizace v rámci morfologické analýzy; odlepení interpunkce od slov je něco jiného). |
| |
Focus on paragraphs/sentences that miss PADT-Morpho annotation, esp. non-annotated headlines: | Focus on paragraphs/sentences that miss PADT-Morpho annotation, esp. non-annotated headlines: |
* Improve documentation. | * Improve documentation. |
| |
===== References ===== | ===== Poznámky před vydáním verze 2.0 ===== |
| |
| Při načítání PML PADT do Treexu narážím na záhadnou chybu. Hlášení podobné tomuto dostanu celkem sedmkrát, toto je první výskyt: |
| |
| <code>TREEX-INFO: 574.730: Loading EAT/AFP_ARB_20000715.0011.syntax.pml |
| warning: KNIT failed: ID m-p6w17t1 not found in reffile '' |
| TREEX-INFO: 575.704: Document 373/874 EAT/AFP_ARB_20000715.0011 loaded from EAT/AFP_ARB_20000715.0011.syntax.pml</code> |
| |
| Chybí mi informace, na kterém místě kterého zdrojáku k té chybě došlo. Také zřejmě chybí nějaké jméno souboru za tím "reffile". To, že je tato chyba dost řídká, naznačuje, že je nějaký problém na konkrétním místě vstupních dat, ale celková procedura načítání funguje dobře. Nicméně vstupní data jsem prohlédl a prvek s uvedeným ID tam je. |
| |
| * Soubor EAT/AFP_ARB_20000715.0011.syntax.pml, řádek 1446, uzel s-p6w17t1 odkazuje na m-p6w17t1. |
| * Soubor EAT/AFP_ARB_20000715.0011.morpho.pml, řádek 4515, token m-p6w17t1 je první ze dvou tokenů, na které bylo rozděleno slovo لنكون. Toto slovo odkazuje na w-p6u1w17. |
| * Soubor EAT/AFP_ARB_20000715.0011.words.pml, řádek 522, slovo w-p6u1w17. Zde je uveden jen povrchový slovní tvar, nic víc. |
| * Soubor EAT/AFP_ARB_20000715.0011.treex, na řádku 3928 začíná a na řádku 4275 končí podstrom dotyčného uzlu. Vypadá, jako by nebyl nalezen ve slovníku (značka U, lemma je kopií slovního tvaru), což by mohl být důsledek porušeného odkazu ze syntaktické roviny na morfologickou. |
| |
| Čili není pravda, že by cílový prvek neexistoval. V odkazu ze syntaktického souboru jsem však objevil jednu anomálii. Odkaz vypadá takhle: ''<m.rf>m-p6w17t1</m.rf>'' zatímco podobné odkazy v okolí navíc ještě obsahují jakýsi identifikátor roviny, čili asi cílového souboru, např.: ''<m.rf>m#m-p6w16t1</m.rf>''. |
| |
| Zkusil jsem dotyčné místo ručně opravit a chyba zmizela. Asi by to ale chtělo ověřit, že i ostatní místa, kde systém žádnou chybu nehlásí, vypadají tak, jak bychom si přáli. Zejména pokud dochází k druhé vlně tokenizace (rozdělení slova na dva a více tokenů), že na syntaktické rovině vidíme u každého uzlu všechny relevantní morfologické i slovní informace. |