Bakalářská práce

Zpracování logů poštovního serveru v nástroji Hadoop

Sendmail log analysis in Hadoop

Matej Turek
Anotace

Táto práca sa zaoberá možnosťami spracovávania veľkých neštruktúrovaných dát v rámci prostredia nástroja Apache Hadoop. Vo svojom obsahu predstavuje princíp fungovania výpočetného modelu MapReduce a navrhuje spôsob spracovávania logov Sendmailu poštového servera MUNI. Ako výstup ponúka sériu dotazov, naimplementovaných za využitia nástroja Apache Pig.

Abstract

This work deals with the possibilities of processing large unstructured data within the Apache Hadoop environment. In its content, it presents the principle of MapReduce computational model and proposes a method of processing the Sendmail logs of the MUNI mail server. As an output, it offers a series of queries implemented using the tool Apache Pig.

Klíčová slova
Big Data MapReduce Apache Hadoop Apache Pig spracovanie dát sendmail log
Zadání práce
Cílem práce je vytvořit nástroj, který dovolí zpracování logů centrálního poštovního serveru MU. Práce má sloužit jako příklad zpracování velkých nestrukturovaných dat v prostředí Hadoop, důraz proto bude kladen i na čitelnost výsledného kódu, znovupoužitelnost, možnost použití při výuce Hadoopu apod. Úkolem studenta bude vytvořit prostředí, do kterého bude možné průběžně dodávat logy sendmailu a ve kterém bude možné pokládat dotazy na počty zpracovaných e-mailů v čase, jednotlivými servery nebo uživateli, vytvářet základní statistiky využití, vyhledávat anomálie apod. Výsledkem musí být i návod, jak vytvářet další dotazy. Předpokládá se využití Hadoop instalace v MetaCentru https://www.metacentrum.cz/cs/hadoop/index.html a využití nástrojů Hadoop, Kafka, Pig, Spark.
Administrativní informace
Práce zkontrolována:
22. 7. 2020 09:46, Mgr. Miroslav Ruda, učo 1284
Plný text práce
715,9 KB / soubor PDF
Přílohy (1)
Jazyk práce
slovenština slovenština
Termín obhajoby
23. 9. 2020
Práce byla úspěšně obhájena

Vedoucí

Mgr. Miroslav Ruda, učo 1284
ANKO DITI ÚVT MU

Oponent

RNDr. Michal Batko, Ph.D., učo 2907
KSUZD FI MU
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Aplikovaná informatika
Obor

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.