Diplomová práce

Distribuce zátěže proudového zpracováni dat na výpočetní jednotky

Distribution of processing unit utilization in flow-based data processing

Bc. Michal Řihák
Anotace

Cílem této práce bylo navržení a implementování algoritmu pro plánování běhu jednotlivých uzlů proudového zpracování dat v ETL systémech. Pro plánování běhu komponent v rámci ETL systému byl navržen algoritmus založený na Backflow algoritmu pro počítaní kritických časů. Algoritmus byl poté úspěšně implementován do systému CloverETL.

Abstract

The goal of this work was to design and implement an algorithm for scheduling nodes in flow-based programming in ETL systems. The new algorithm for scheduling components in the ETL system is based on Backflow algorithm for computing critical times. Algorithm was successfully implemented in the CloverETL system.

Klíčová slova
Proudové zpracování dat ETL CloverETL Pentaho Data Integration Talend Open Studio plánování běhu procesů plánovač
Zadání práce
Prostudujte problematiku proudového zpracování dat a ETL nástroje. Navrhněte algoritmus pro plánování běhu jednotlivých uzlů proudového zpracování dat s ohledem na jejich závislosti (producent-konzument) a počtu a výkonnosti dostupných výpočetních jednotek. Cílem je efektivně serializovat logicky mnoha vláknové úlohy na dostupné výpočetní zdroje, tak aby se minimalizovala doba zpracování dat. Algoritmus naprogramujte jako modul v jazyce Java.

Textová část diplomové práce bude obsahovat úvod do problematiky, popis a srovnání vybraných ETL nástrojů, popis vlastního řešení a implementace. Praktická část bude zahrnovat funkční implementaci modulu v jazyce Java.

Administrativní informace
Práce zkontrolována:
11. 1. 2011 09:04, doc. RNDr. Radek Ošlejšek, Ph.D., učo 3636
Plný text práce
340,5 KB / soubor PDF
Jazyk práce
čeština čeština
Termín obhajoby
7. 2. 2011
Práce byla úspěšně obhájena

Vedoucí

doc. RNDr. Radek Ošlejšek, Ph.D., učo 3636
KPSK FI MU

Oponenti

Mgr. Martin Zátopek
Javlin
Autor posudku dosud neidentifikován.
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Aplikovaná informatika
Obor

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce
 
Název
Vložil
Vloženo
Práva
Archiv závěrečné práce Michal Řihák FI N-AP AP t6fvk/7
Řihák, M.
10. 1. 2011
Složky
Soubory
Anotace anglicky annotation_english.txt
Řihák, M.
10. 1. 2011
Anotace česky annotation.txt
Řihák, M.
10. 1. 2011
cd.zip
Navrátil, T.
17. 1. 2011
Klíčová slova keywords.txt
Řihák, M.
10. 1. 2011
Posudek oponent posudek_rihak.pdf
Ošlejšek, R.
2. 2. 2011
thesis.pdf
Řihák, M.
10. 1. 2011

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.