https://dka.oszk.hu/078300/078376 sarkozi-lzsofia_elteDH_cikk_kereso.jpg https://dka.oszk.hu/078300/078376/sarkozi-lzsofia_elteDH_cikk_kereso_kiskep.jpg A Digitális Örökség Nemzeti Laboratórium internetes újságcikk-kereső és archiváló szolgáltatása Digitális Örökség Nemzeti Laboratórium internetes újságcikk-kereső és archiváló szolgáltatása létrehozó Sárközi-Lindner Zsófia N létrehozó Indig Balázs N felvéve 2021-05-20 2021-05-20 elérhető 2021-04-08 2021-04-08 Az előadás időpontja. prezentáció előadás Prezentáció Könyvtártudomány - prezentáció Networkshop 2021 Videotorium https://kifu.videotorium.hu/hu/recordings/42822/a-digitalis-orokseg-nemzeti-laboratorium-internetes-ujsagcikk-kereso-es-archivalo-szolgaltatasa Sárközi-Lindner Zsófia, Indig Balázs Jogvédett Könyvtártan, információtudomány Könyvtárvezetés, könyvtárügy Média, tömegkommunikáció Online média Média, tömegkommunikáció Írott sajtó Könyvtártan, információtudomány Elektronikus szöveg és könyvtár Számítástechnika, hálózatok Internet használat könyvtárügy tárgyszó/kulcsszó tartalomszolgáltatás tárgyszó/kulcsszó keresőszolgáltatás tárgyszó/kulcsszó újságcikk műfaj archivált példány tárgyszó/kulcsszó on-line katalógus tárgyszó/kulcsszó web tárgyszó/kulcsszó metaadat tárgyszó/kulcsszó jogszabály műfaj 2021 időszak A Digitális Örökség Nemzeti Laboratórium internetes újságcikk-kereső és archiváló szolgáltatása A Digitális Örökség Nemzeti Laboratórium internetes újságcikk-kereső és archiváló szolgáltatása Sárközi-Lindner Zsófia, Indig Balázs 2021, Budapest NWS2021 Cikk-kereső ELTE BTK TI Digitális Bölcsészet Tanszék / Webaratás projekt Digitális Örökség Nemzeti Laboratórium / Magyar nyelvű anyagok webaratása Elsődleges céljaink: archiválás anyagok tisztítása, metaadatolása, repozitóriumba szervezése kutatható formában való közzététel jogi háttér tisztázása Bevezetés digitális térben keletkező kulturális örökség a jövő történeti dokumentumai nyomtatott sajtó digitalizálása és közzététele vs. online hírportálok kereshetőség Az ELTE DH webaratás projektje webcrawler: saját fejlesztés, szabad szoftver célzott webaratás = előre meghatározott weboldalak specifikus bejárása lényege: kevés paraméter konfigurációjával, több ismétlődő szint elemzésére épít. előnye: duplikáció minimalizálása, alacsony erőforrásigény, fenntarthatóság Az archiválás formátuma: WARC (Internet Archive, ISO szabvány.) hitelesített "pillanatfelvételek" legfontosabb szempontok, előnyök: eltűnéstől, módosulástól való védelem az eredeti anyagok bármikor elérhetőek, a hibák utólag javíthatóak a feldolgozott anyagok reprodukálhatóak és hitelességük az archivált forráskódok segítségével ellenőrizhető A feldolgozás kimeneti formátuma: TEI XML Text Encoding Initiative által karbantartott XML szabvány a bölcsészettudományok különböző szövegeinek modellezésére fejlesztették ki metaadatokat és a dokumentumtörzs strukturálisan egy fájlban A Schema.org metaadat-szabvány: webes erőforrásokkal kapcsolatos információk tárolására tervezték kompatibilis a szemantikus web technológiával A szövegtörzs kódolása a TEI ajánlásokat, szabályokat követve testreszabott sémában az online cikkek sajátos strukturális-tartalmi egységeit tükrözi a különböző portálok egységesítésével Az archivált anyag átdolgozása A normalizálás, a konzisztencia megteremtése során figyelmet fordítunk: deskriptív szövegek, multimédiás tartalmak, tipográfiai elemek releváns szövegegységek és tagolók megkülönböztetése külső-belső hivatkozási rendszert alkotó linkek megőrzése "zajos" normalizált, konzisztens, valid Alapozás: sablonszűrés Az aktuális portál sémájának feltérképezése: címkekészlet, felépítés kivonata Kiértékelése: sablonszűrés finomítása, címkekészlet megfeleltetése a használt szövegegység típusoknak Konvertálás: a konfigurációs fájlok + a kimeneti séma szabályai alapján automatizáltan. A módszer előnyei és hátrányai - több időt igényel, mint egy általános, automatikus eszköz - több karbantartást igényel (konfigurációs fájlok kezelése) + teljes kontroll a szövegek kezelése felett + a kül. portálok közötti konzisztencia megteremtése ('emberi' szempontok alapján) + pontosabb, széleskörűbb metaadatolás + a crawling során keletkezett hibák, hiányosságok gyorsabb, pontosabb detektálása (szövegminőség, hiányzó oldalak, további szintek) + a tapasztalatok felhasználásával a feldolgozás ideje redukálható, a folyamat automatizálhatóbb Repozitórium: Zenodo nyílt hozzáférésű repozitórium, European OpenAIRE program keretében fejlesztették ki, a CERN működteti tanulmányok, dokumentumok, adatkészletek, szoftverek etc. minden feltöltött objektumhoz szabványos DOI-t biztosít 50 GB/objektum méretű feltöltéseket tesz lehetővé A learatott és feldolgozott anyag repozitálásának szisztémája : (portálonként 3 objektum-típusban reprezentálva) WARC fájlok + dokumentáció / crawling folyamat (portálonként több objektum) TEI XML fájlok + konfigurációs fájlok + log-ok 3) A fenti 2 vagy több objektumot összefogó, azok viszonyát tisztázó "meta-objektum" Az aratástól a keresőig A kereső felülete Technikai háttér: SQL adatbázis, PHP lekérdezőfelület szabadszöveges + metaadatokban való keresés kiküszöböli az egyes portálok archívumainak különbségeit Szerzői jogi szempontok: a kereső csak a metaadatokat jeleníti meg linkkel hivatkozik az eredeti cikk URL-jére a letöltött anyag és a kereső csak kutatók számára, non-profit céllal érhető el https://cikk-kereso.elte-dh.hu/ Összefoglalás és jövőbeli tervek Folyamatosan bővülő, hiteles anyag gondozottan, repozitóriumba gyűjtve Nyílt, átlátható, testreszabható know-how. Metaadat kereső A kutatók számára azonnal elérhető! Szemantikus adatgazdagítás (NLP, NER, Wikifikáció) Nagyobb automatizálás, kevesebb emberi interakció https://zenodo.org/communities/elte-dh/ https://github.com/elte-dh Magyar nyelvű anyagok webaratása - DH-LAB https://cikk-kereso.elte-dh.hu/ Köszönöm a figyelmet ! magyar Ipacs Eszter: Online időszaki kiadványok megőrzése az OSZK Webarchívumában és az EPA-ban https://dka.oszk.hu/078300/078364 PowerPoint prezentáció 12 Microsoft Office PowerPoint 2016 N PDF dokumentum 12 N HTML dokumentum HTML 5 verzió N JPEG képállomány 770x433 72 színes közepesen tömörített KÉSZ INSIDE katalogizálás Nagy Zsuzsanna