Ziele
Das Seminar „‚Big Data‘ – Vertiefung zum Überblick“ ist eine ideale Ergänzung zum Seminar Big Data – eine Einführung in das Thema, indem zusätzliche Komponenten vorgestellt und ausführliche Demos gezeigt werden.
Schulungsunterlagen: nach Absprache
Dauer: 1 Tag
Entscheider, (Fach-)Anwender, Projektmanager
IT-Grundkenntnisse sowie Grundkenntnisse über Big Data (falls nicht mit Seminar Big Data – eine Einführung in das Thema kombiniert)
Überblick
In diesem Abschnitt wird der Inhalt aus dem Seminar „Big Data – eine Einführung in das Thema“ zusammengefasst.
YARN
Die massive Parallelisierung in Hadoop erfordert eine leistungsfähige Steuerung. Diese war in der ersten Version limitiert und primär auf MapReduce fokussiert. Die aktuelle Version weist deutliche Verbesserungen auf, die in diesem Abschnitt vorgestellt werden.
Pig
Pig ist ein Mechanismus, um stapelorientierte Datenfluss-Operationen in Hadoop auszuführen und wird oft in Verbindung mit Hive eingesetzt. In diesem Abschnitt lernen die Teilnehmer die Möglichkeiten von Pig kennen. Die Anwendung von Pig wird demonstriert.
HCatalog
HCatalog ist eine Metadatenverwaltung für strukturierte Daten in Hadoop, die von Hive und Pig genutzt wird. In diesem Abschnitt lernen die Teilnehmer, wie man HCatalog erfolgreich einsetzen kann. Die Anwendung von HCatalog wird demonstriert.
HBase
HBase ist eine Datenbank für Hadoop, allerdings keine im klassisch relationalen Sinne. In diesem Abschnitt erfahren die Teilnehmer Wissenswertes über HBase und die möglichen Stolperfallen, die dem in der relationalen Welt erfahrenen Anwender begegnen können. Die Anwendung von HBase wird demonstriert.
Weitere Komponenten
Hadoop ist ein Framework. Unter dem Schirm der Apache Foundation existieren eine Vielzahl von Projekten mit zum Teil konkurrierenden Lösungen. In diesem Abschnitt erhalten die Teilnehmer einen Überblick über weitere interessante Komponenten aus Hadoop. Die Anwendung weiterer Komponenten wird demonstriert.
Big Data und der Datenschutz
Technisch ist mit Big Data vieles möglich, wenngleich es natürlich auch hier physische Grenzen für die Datensammlung gibt. Weitreichender sind mögliche rechtliche Rahmenbedingungen, unter denen Big Data betrieben werden kann. Die Teilnehmer erhalten einen Überblick über Möglichkeiten, Grenzen sowie rechtliche Aspekte.