Bakalářská práce

Využití metody MapReduce při konstrukci distribuovaných datových struktur

Utilization of MapReduce for Building Distributed Data Structures

Ondřej Nevělík, učo 325295
Anotace

V oblasti zpracování dat dochází k velkému rozmachu technik založených na podobnosti. Tato bakalářská práce se zabývá paralelizací procesu budování distribuované datové struktury pro podobnostní vyhledávání M-Index, k jehož dosažení je použita vývojová platforma Apache Hadoop zahrnující programovací model MapReduce navržený k paralelnímu zpracování velkých množin dat. Výsledkem práce jsou dvě na sebe navazující aplikace, s jejichž pomocí byla konstrukce struktury M-Index výrazně urychlena.

Abstract

Methods based on similarity in the area of data processing have recently shown rapid development. This bachelor's thesis deals with paralelization of building distributed indexing structure for similarity searching M-Index. The result of work are two Java applications created with the use of Apache Hadoop framework that implements MapReduce programming model for processing vast amounts of data in parallel on large clusters of compute nodes.

Klíčová slova
podobnost vyhledávání datové struktury index paralelizmus Hadoop MapReduce M-Index MESSIF
Zadání práce
Úkolem studenta je seznámit se s metodou MapReduce a nainstalovat vhodnou implementaci (např. Hadoop) na množině fakultních strojů. Dále se student seznámí s problematikou distribuované datové struktury pro podobnostní vyhledávání M-Index a její konstrukcí pro danou množinu dat. Jednotlivé kroky konstrukce jsou nyní realizovány sekvenčně. Cílem práce je navrhnout a implementovat paralelizaci těchto kroků pomocí MapReduce a vyhodnotit dosažené zrychlení v závislosti na použitém hardware.
Administrativní informace
Práce zkontrolována:
23. 5. 2011 14:33, RNDr. David Novák, Ph.D.
Plný text práce
1,1 MB / soubor PDF
Jazyk práce
čeština čeština
Termín obhajoby
24. 6. 2011
Práce byla úspěšně obhájena

Vedoucí

RNDr. David Novák, Ph.D.
abs FI MU

Oponent

RNDr. Michal Batko, Ph.D., učo 2907
KSUZD FI MU
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Informatika
Obor

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce
 
Název
Vložil
Vloženo
Práva
Archiv závěrečné práce Ondřej Nevělík FI B-IN PDS, učo 325295 a6bbq/7
Nevělík, O.
16. 5. 2011
Složky
Soubory
Anotace anglicky annotation_english.txt
Nevělík, O.
17. 5. 2011
Anotace česky annotation.txt
Nevělík, O.
17. 5. 2011
bp.pdf mapreduce.pdf
Nevělík, O.
19. 5. 2011
Klíčová slova keywords.txt
Nevělík, O.
17. 5. 2011
Posudek oponenta posudek-Nevelik.pdf
Batko, M.
13. 6. 2011
Příloha BPprilohy.zip
Nevělík, O.
22. 5. 2011

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.