Bakalářská práce
Získaná ocenění: Cena děkana FI za vynikající závěrečnou práci

Spolehlivé zpracování dat ve streamové archituktuře

Reliable data processing in streaming architecture

Lucie Nováková
Anotace

Bakalářská práce se zabývá streamovým zpracováním dat využívajícím technologii Apache Kafka. Popisuje výpadky v systému a postupy, jak na ně reagovat. Dále se zabývá rizikovými situacemi, které by mohly nastat v běžném provozu a které by také mohly přesné zpracování ohrozit. V závěru se věnuje monitorování správného chodu systému.

Abstract

The bachelor thesis deals with data stream processing using Apache Kafka. It describes system failures and recommended reactions to them. It also deals with situations that could occur during the normal service and could endanger accurate processing. The last part of the thesis deals with the system monitoring.

Klíčová slova
Apache Kafka broker topic partition replikace Seznam.cz MirrorMaker Prometheus metrika Grafana
Zadání práce
Sklik.cz je reklamní systém společnosti Seznam.cz, který zpracovává řádově miliardy události za den. Tento systém aktuálně přechází na technologie zajišťující zpracování událostí v reálném čase, takzvané streamové zpracování. Pro tyto účely používá technologii Apache Kafka. V tomto kontextu je úloha této práce následující:

1. Prostudujte a popište způsoby zajištění spolehlivého zpracování streamových dat v reálném čase. Zaměřte se hlouběji na řešení pro dvě serverovny a pro technologii Apache Kafka.
2. Popište podrobněji scénáře možných výpadků a selhání různých částí systému (hardwarové i softwarové) a uveďte postupy jak na ně reagovat.
3. Vybrané scénáře otestujte nad reálnými instancemi Apache Kafka. Můžete k tomu využít kontejnerizované instance v testovacím prostředí.
4. Celý systém musí garantovat přesné zpracování všech události, takže je třeba prostudovat možná rizika, která by tuto klíčovou vlastnost mohla ohrozit.
Administrativní informace
Práce zkontrolována:
24. 5. 2019 07:11, doc. Ing. RNDr. Barbora Bühnová, Ph.D.
Plný text práce
1,6 MB / soubor PDF
Jazyk práce
čeština čeština
Termín obhajoby
28. 6. 2019
Práce byla úspěšně obhájena

Vedoucí

doc. Ing. RNDr. Barbora Bühnová, Ph.D.
CERIT FI MU

Oponent

RNDr. Jaroslav Ševčík, Ph.D.
Seznam

Konzultant

Ing. Miroslav Kvasnica
Seznam
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Informatika
Obor

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.