Adatfeldolgozás a Microsoft adattárház-eszközeivel

OData támogatás
Konzulens:
Dr. Erős Levente
Távközlési és Médiainformatikai Tanszék

Napjainkban világunk és az üzleti életünk egyre inkább információ- és adatorientálttá válik, illetve a vállalatok nagymértékű adatgenerálása miatt fontos, hogy támogassuk az adatipar fejlesztését. Számos módszert és eszközt fejlesztettek már ki az adatfeldolgozás gyorsítására és a döntés-támogatás segítségére. Ilyen például az adattárház, ami meglehetősen népszerűvé vált az informatikai fejlesztések azon területein, amelyek az Üzleti Intelligenciát támogatják.

Diplomamunkám keretein belül egy olyan adattárházat tervezek és fejlesztek ki, amely valós adatokat tárol Magyarország megyeszékhelyeinek és Európa fővárosainak időjárási adatairól. Ezeket 3 forrásból gyűjtöm: koponyeg.hu, OpenWeatherMap, Weather Undergorund. A munkám során bemutatom a folyamatot az adatforrások megtalálásától és tanulmányozásától, a létrehozandó riportok specifikálásán át, az azok alapján előállított adatstruktúra megtervezéséig.

Az adatgyűjtést kinyerés, átalakítás és betöltés (Extract, Transform, Load – ETL) folyamatokon keresztül viszem véghez a Microsoft SQL Server Data Tools Integration Services (SSIS) package-eivel. Ilyen package-ekkel építem fel az adattárházamat, amelynek három rétege van: a bemeneti adattár (Input Area), állomásoztató terület (Staging Area), elemi adattár (Detailed Storage). Az utóbbi táplálja az Reporting Services (SSRS) package-ekben létrehozott négy riportomat. Ezen riportok segítségével összehasonlítható az adatforrások megbízhatósága.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.