Diplomová práce

Měření výkonu proudového zpracování dat s využitím Apache Spark

Performance Measurement of Stream Data Processing in Apache Spark

Bc. Filip Halas
Anotace

Hlavní cíl této práce byla implementace aplikace pro měření výkonu proudového zpracování dat síťových toků nástroje Apache Spark. S využitím implementovaného nástroje bylo provedeno měření v distribuovaném prostředí. Výsledky měření jsou prezentovány v teoretické části práce, společně s popisem způsobu měření a představením relevantních technologií.

Abstract

The primary goal of this thesis was to implement application for measuring stream processing performance of Apache Spark on network traffic data and to perform performance benchmark in a distributed environment. The results of the benchmark are presented in the theoretical part of this work along with the description of the benchmark and the introduction of relevant technologies.

Klíčová slova
security stream processing event processing performance testing streaming network monitoring NetFlow
Zadání práce
Cílem diplomové práce je implementovat nástroj pro automatické měření výkonu proudového zpracování dat s využitím nástroje Apache Spark. Daný nástroj bude nasazen v distribuovaném módu. V rámci práce proběhne i samotný výkonnostní test nad specifickými daty a jeho výsledky budou v práci popsány. Proběhnou testy využití nástroje pro následující operace nad síťovými toky: Read/Write; FilterIP; Count; Aggregation; TopN; SynScan.
Administrativní informace
Práce zkontrolována:
23. 5. 2017 12:29, RNDr. Daniel Tovarňák, Ph.D., učo 172673
Plný text práce
553,5 KB / soubor PDF
Přílohy (1)
Jazyk práce
angličtina angličtina
Termín obhajoby
21. 6. 2017
Práce byla úspěšně obhájena

Vedoucí

RNDr. Daniel Tovarňák, Ph.D., učo 172673
KYPO II OProj ÚVT MU

Oponent

RNDr. Tomáš Jirsík, Ph.D.
TZASD OProj ÚVT MU

Literatura

  • KARAU, Holden; Andy KONWINSKI; Patrick WENDELL a Matei ZAHARIA. Learning spark : lightning-fast big data analysis. First edition. Beijing: O'Reilly, 2015, xvi, 254. ISBN 9781449358624.
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Aplikovaná informatika
Obor

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.