Inzwischen sollte wohl die ganze SQL-Welt von der (Programmier-)Sprache R gehört haben, nicht zuletzt, seit Microsoft sie immer mehr in ihre Data Platform Produkte integriert.

So, Du hast also Dein R Basis-System installiert, und die Entwicklungsumgebung Deiner Wahl. Aber es ist wie beim Kauf eines neuen Autos – mit der Standardausstattung ist keiner zufrieden. Du weißt, es gibt x Pakete, die Dir bei Analyse und Visualisierung helfen, aber welche nimmst Du?

Hier bietet sich ein Bündel mit dem Namen „The Tidyverse“ an, größtenteils (mit-)entwickelt von Hadley Wickham, einem der hellsten Köpfe im R-Ökosystem.

Wir werden uns in dieser Session die beliebtesten Zutaten des Tidyverse ansehen, wie ggplot2, dplyr und readr, mit vielen Code-Beispielen aus dem richtigen Leben.

Populär gemacht durch Bitcoin, inzwischen mit Ethereum & Co schon längst in Generation zwei. Was steckt technisch hinter der ominösen Blockchain, was hat das mit Datenbanken zu tun und warum steht Microsoft auf einmal auf Oracle? Sind Smart Contracts nur für die Finanzler interessant? Und hey, wieso soll man Verträge programmieren? Im ersten Teil dieser Session gibt es den Background, und zwar nicht nur technisch.

Im zweiten Teil schauen wir uns die BitCoin Blockchain als „Datenbank“ dann einmal genauer an. Ausgangspunkt: Wie anonym ist das Ganze eigentlich wirklich, wo doch alles für alle sichtbar sein soll?

Nach einem kurzen Einstieg in die Hintergründe, laden wir die Blockchain des Bitcoin (d.h. alle Transaktionen die bisher stattgefunden haben) in  eine Datenbank und zwar ins Neo4j und schauen, welche Analysen in solch einer GraphDB möglich sind. Auch ein Vergleich mit unserem relationalen SQL Server darf natürlich nicht fehlen (warum schlägt sich so eine GraphenDB hier eigentlich besser?) Visualisierung und weitere Analysen dann – wie könnte es anders sein – im PowerBI,das wir direkt ans Neo4j andocken.

Continuous Integration und Continuous Delivery sind im Bereich der Software-Entwicklung weit verbreitet. Im BI-Umfeld werden die Möglichkeiten, die sich hierdurch bieten aber oftmals nicht genutzt. Dabei bieten sich gerade hier im Zusammenspiel mit Rechtevergabe interessante Möglichkeiten sowohl für den DBA als auch für den BI Entwickler. In der Session stelle ich die Begrifflichkeiten vor und diskutiere die Vorteile die zu ihrer Verbreitung im Bereich der Softwareentwicklung beigetragen haben. Danach wollen wir gemeinsam mit VSTS einen Workflow für CI/CD im BI Umfeld aufbauen.

Wie werden die klassischen SSIS-Pakete für den ETL-Prozess in die Cloud verschoben? Azure bietet hierzu Data Factory, Streamanalytics, Runbooks, Logic App oder Functionen. Was verbirgt sich hinter den einzelnen Services und was kann ich damit machen? Die Beispiele hier zeigen, wie diese Komponenten zusammengesetzt werden können, um das DWH in der Cloud zu verwalten.

In diesem praxisorientierten Vortrag (Level 300+) befassen wir uns mit dem Transaction Log des Microsoft SQL Servers.

Dabei erarbeiten wir ein gemeinsames Verständnis für die folgenden Themen:

·         Virtual Log Files

·         Recovery Models (Simple, Bulk logged, full)

·         Performance Analyse des Transaction Log Files

·         Delay Durability

·         Transactions

·         Bulk logged Operations

·         Point in Time Recovery

Ein grundsätzliches Verständnis für Extended Events und Transaktionen ist hilfreich.

Im Oktober 2017 ist die neue Version des SQL Servers, SQL Server 2017 erschienen. Natürlich gibt es in dieser Version wieder zahlreiche Neuerungen so beispielsweise die Unterstützung verschiedener Linux Derivate und Docker oder Verfügbarkeitsgruppen ohne Cluster. Neben diesen viel beachteten Neuerungen hat sich auch einiges im Bereich der Performance-Optimierung getan. Hier bietet die neue Version des SQL Servers im Vergleich zu den älteren Versionen einige Mechanismen die eine automatische Optimierung der Abfragepläne versprechen. In diesem Vortrag geht Frank Geisler sowohl auf die Adaptive Abfrage Ausführung (Adaptive Query Processing) wie auch auf das Automatische Tuning im SQL Server 2017 ein und beschreibt diese Optimierungsverfahren funktionieren. Vorteilhaft für den SQL Server Entwickler bzw. Administrator: Die vorgestellten Optimierungsverfahren laufen (sofern eingeschaltet, s.u.) transparent im Hintergrund ab, d.h. es ist keine weitere Konfiguration oder ähnliches erforderlich.

Viele haben schon von Modellierungstechniken wie DataVault gehört, die im Bereich des Enterprise DataWarehouse immer mehr an Bedeutung gewinnen. Essentieller Bestandteil vieler dieser Methoden sind sogenannte Ensembles welche das Grundgerüst des kompletten Datenmodells bilden.

In dieser Session sehen wir uns an, was ein Ensemble ist, welche Regeln dafür gelten, wie sich die Vorgehensweise von klassischen Dimensional Modelling oder 3NF Ansätzen unterscheiden und welche Vor- und Nachteile sich daraus ergeben.

Tillmann wird etwas über das Arbeiten mit Azure Notebooks erzählen. Mit den Azure Notebooks stellt Microsoft einen PaaS Dienst, basierend auf der Open-Source Anwendung Juypter, zur Verfügung, mit der Dokumente erstellt und freigeben werden können, die Live-Code, Gleichungen, Visualisierungen und narrativen Text enthalten können. In dieser Session erkläre ich die technischen Grundlagen der Azure Notebooks und für welchen Einsatzweck sich Notebooks eignen. Ich gehe auf verschiedene Einsatzmöglichkeiten ein, wie Daten mittels R, Python oder F# verarbeitet werden können und wie die Azure Notebooks mit weiteren Azure Diensten zusammenarbeiten.

Wie kann man sein bestehendes on prime Data Warehouse und Reporting in die Cloud bringen? Genau das war die Fragestellung vor mehr als einem Jahr. Ziel war es möglichst alles als Service zu nutzen. Hier bietet Azure mit Azuer SQL DB / Azuer SQL DW / Azure Data Factory / Logic Apps / Streamanalytics / Power BI viele Möglichkeiten.

Jetzt nach mehr als einem Jahr im live Betrieb eine kurze Zusammenfassung und Bewertung zu dem Thema BI in Azure.

On PASS Summit 2017 Microsoft revealed a new tool for managing and developing SQL Server: SQL Operations Studio – now renamed to Azure Data Studio. In his demo packed session German Data Platform MVP Frank Geisler will show how to use SQL Operations Studio, what is new compared with SQL Server Management Studio and he will show what capabilites this tool has not only to develop SQL Server Solutions but also how to monitor a SQL Server with Operations Studio. By the way: One of the biggest advantages is that SQL Operations Studio is not only available for Windows but also for Mac and for Linux.

Der technische Enabler für die BigData-Welle war u.a. Apache Hadoop. Hortonworks ist einer der großen Distributoren dieser Technologie, die sich auch hinter Azure HDInsight verbirgt. Trotzdem ist HDInsight eine weitere Evolutionsstufe der Hadoop Idee, die inzwischen gute Abfragegeschwindigkeiten auf (sehr) großen Datenmengen verspricht sowie die Möglichkeit, in vielen Fällen auf ETL oder Data Movement zu verzichten. Mittels darauf aufsetzenden Produkten wie AtScale lässt sich dann sogar der Komfort von Ad-Hoc BI über semantische Modelle anbieten. Dieser Vortrag startet mit den Basics von Hadoop und zeigt die Entwicklung sowie Best Practices zum aktuellen Stand der Technik auf Azure auf.

Im April 2017 hat mit Azure Analysis Services ein weiterer Service im BI-Bereich in der Cloud den Status „General Available“ erreicht. Aber was zeichnet diesen Service eigentlich aus? Welche Besonderheiten machen ihn zu einem wichtigen Aspekt für BI in Azure? Ist es überhaupt ein wichtiger Service oder nur einer unter vielen?

In dieser Session wollen wir uns Azure Analysis Services genau unter diesem Aspekt anschauen. Was kann der Service und wie tragen diese Funktionen zur Verbesserung der Cloud-BI Optionen bei. Gleichzeitig betrachten wir noch einmal kurz das Thema BI als solches und die Besonderheiten, die sich für das Thema BI in der Cloud ergeben.

Außerdem wollen wir einen Blick auf die Abgrenzung zwischen Azure Analysis Services und Power BI werfen.

Per Definition muss SQL Server alle Daten und Schemaänderungen synchron im Transaktionslog protokollieren, um die Dauerhaftigkeit zu gewährleisten, was sich durchaus negativ auf die Performance auswirken kann. In dieser Session (Level 300) erfahrt ihr, wie die Leistung des Transaktionsprotokolls mithilfe von minimal logged Operations und Delay Durability verbessert werden kann.

Zudem beschäftigen wir uns mit folgenden Themen:

• virtual log files
• WAL write ahead logging
• checkpoint
• recovery models
• recovery internals

Die Nutzung der Cloud schreitet weiter voran und wirft dabei auch neue Fragen auf. Wie teuer ist mein Service? Welche Kosten verursacht welcher User denn nun genau? Welcher Dienst kann wie mit dem User verrechnet werden? „Flatrate“ oder Nutzungsbasierte Kostenweitergabe an die Fachabteilungen? Die Wichtigste Frage ist dabei: Welche Werkzeuge habe ich denn, um diese Fragen zu beantworten? Ich stelle die Billing API vor und zeige an einem praktischen Beispiel, wie man mit dieser Schnittstelle die Kostenentwicklung im Blick behalten kann.

Leider können wir dieses Mal den Sprecher nicht vor Ort begrüßen und werden ausnahmsweise einen Videocall aufsetzen. Wir sind kein virtuelles Chapter und möchten das Gefühl der Interaktion mit dem Speaker so gut wie möglich beibehalten. Deswegen werden wir für alle Teilnehmer den Termin wie gewohnt im Konferenzraum der GDS abhalten. Bitte habt Verständnis dafür, dass wir weder die Teilnahme von Extern noch die Aufzeichnung des Vortrags ermöglichen werden.

Power BI bietet den Weg der lokalen Installation, einer hybriden Umgebung und auch einer reinen Online-Installation. Welche Installations-Variante ist nun für welchen Zweck die sinnvollste?
Denn Power BI will nicht nur einfach eine neue Reporting-Variante sein, die unter Umständen Excel oder auch die Standard Reporting Services ablösen kann, sondern auch eine Lösungsplattform, die sich in Standard-Applikationen wie Microsoft CRM oder Sharepoint oder in individuelle Applikationen einbettet. Dabei sollte gut überlegt werden, auf welche Plattform gesetzt wird, damit die eigene Power BI Implementierung nicht in einer Sackgasse bei den Funktionalitäten und/oder Kosten endet.

• Möglichkeiten und Chancen der Installations-Varianten
• Einschränkungen in Blick auf die jeweilige Ziel-Applikation
• Verschiedene Sichten auf die Technik und auf die Lizensierung
• Fokus und Beispiele aus der SQL Server-Welt und Reporting Services-Lösungen

Es werden ausgewählte Fragestellungen aus der Power Bi Community (https://community.powerbi.com) behandelt.

Das erste Beispiel gibt einen Einblick in den Gültigkeitsbereich von Variablen im Zusammenspiel mit der table iterator FunktionSUMX. In diesem Beispiel wird mit einem einfachen dataset auch the beast, nämlich der evaluation context mit all seinen Facetten erklärt.

In zweit weiteren Beispielen werden komplexere Fragestellungen behandelt, nämlich wie Kunden identifiziert werden können, die noch nie etwas gekauft haben und wie measures verwendet werden, um Datensätze verschiedenen bins zuzuordnen und die Anzahl der Datensätze in diesen bins zu zählen.

Für alle Beispiele werden die Problemstellungen und die Lösungsansätze ausführlich diskutiert.

How Flow Can You Go

In diesem Vortrag werden zunächst die Grundlagen von Flow kurz erklärt. Danach schauen wir uns anhand eines konkreten Beispielszenarios an, wie Flow uns bei den täglichen Datenmanagement und -analyse-Aufgaben unterstützen kann. Dabei werden insbesondere Azure-Trigger und -Konnektoren als auch die Möglichkeiten Machine Learning in die Flows einzubinden, erklärt.

Application of Time Series Databases in Business Intelligence

In diesem Kurzvortrag wird beleuchtet, was Time Series Datenbanken sind und wie man sie für Aufgaben im Bereich Business Intelligence einsetzen kann. Dabei schauen wir konkret auf die Systeme InfluxDB inklusive der anderen Produkte des TICK Stack und beleuchten kurz Apache Druid.

You are already using a BI solution and are interested in moving into the cloud? Or a BI solution is on your roadmap and you are not sure if cloud or on-prem is the right strategy for you? Then choose this session to gather new ideas and real-life experiences.

We will cover possibilities and challenges of the following topics:

• Overview of the current services in Azure and why you might need to rethink your solution
• ETL in Azure with Azure Data Factory, Logic Apps, Stream Analytics and Data Gateway for on-prem data sources
• Data Warehouse in Azure MPP, Polybase and the Analysis Services
• Data Mining / AI with Cognitive Services and Azure ML
• Reporting in Azure with Power BI + Reporting Services
• Look into possibilities for maintenance and automation

Der Vortrag ist auf Deutsch.

Microsoft hat In-Memory OLTP mit der SQL Server Version 2014 eingeführt und versprochen, dass Abfragen bis zu 100-mal schneller ausgeführt werden. In dieser Session werden wir die Einschränkungen der traditionellen festplattenbasierten Speicher-Engine untersuchen und der Frage nachgehen, warum die In-Memory-Technologie das Potential hat erheblich schneller zu sein. Wir werden zudem klären, welche Szenarien die Migration nach In-Memory OLTP rechtfertigen und welche Schwierigkeiten damit verbunden sind.