Databricks

Die treibende Kraft hinter dem Apache Spark Framework die Databricks Inc. und Microsoft haben einen gemeinsamen Dienst entworfen, mit dem sich schnell und einfach Big Data und Advanced Analytics Lösungen entwerfen lassen.
Die Kombination aus der einfachen Skalierbarkeit der Azure Plattform und der umfassenden Databricks Unified Analytics Plattform, machen Analysen von Datenströmen, großen Datenmengen und das Trainieren von KI-Modellen zum Kinderspiel.
Sascha Dittmann zeigt in dieser Session, wie man den neuen Azure Dienst aufsetzen und in verschiedenen Real-World Szenarien einsetzen kann.

From Zero to Hero: „Dashboard in an hour“

Daten aus unterschiedlichsten Quellen importieren, mit wenigen Mausklicks bereinigen und für die nachfolgenden Analyseaufgaben aufbereiten. Mittels „drag & drop“ die Daten miteinander in Beziehung bringen und ein leistungsfähiges Datenmodell erstellen.
Die Datenbasis mit eigenen Berechnungen vervollständigen durch den Einsatz der leistungsfähigen Formelsprache DAX.
Schnelle Einblicke gewinnen durch einfaches Fragen stellen.
Interaktive Berichte mit beeindruckenden Visualisierungen erstellen und den Daten damit wertvolle Informationen entlocken. Berichte und Dashboards mit Kunden & Kollegen teilen und alle immer auf dem aktuellen Stand halten.
Auch mit mobilen Endgeräten jederzeit auf dem aktuellen Stand sein. Erwecken Sie Ihre Daten mit Power BI Desktop zum Leben!

Nun, wir sind ja bereits einiges gewohnt, was Evergreening und neue Services auf Azure betrifft, aber hier kommt was an, das schon wieder jedem DataMonster ein Fragezeichen auf die grüne Stirn brennt! Hier kommen Themen wie Power BI, Power Apps, Dynamics365, DataLake, Master Data, Governance, Data Catalog auf einen Schlag zusammen. Monstermäßig mutig werden wir in dieser Session versuchen Klarheit ins Thema zu bekommen und sehen what’s in it for me als BI SpezialistIn, DBA aber auch Entwickler.

Mit dem was es bereits gibt, machen wir natürlich auch ein paar Demos und wenn die Session vorbei ist, können wir gerne beim Bier, Wein oder Äppler checken, ob das alles so Sinn macht.

Im Oktober 2017 ist die neue Version des SQL Servers, SQL Server 2017 erschienen. Natürlich gibt es in dieser Version wieder zahlreiche Neuerungen so beispielsweise die Unterstützung verschiedener Linux Derivate und Docker oder Verfügbarkeitsgruppen ohne Cluster.
Neben diesen viel beachteten Neuerungen hat sich auch einiges im Bereich der Performance-Optimierung getan. Hier bietet die neue Version des SQL Servers im Vergleich zu den älteren Versionen einige Mechanismen die eine automatische Optimierung der Abfragepläne versprechen.
In diesem Vortrag geht Frank Geisler sowohl auf die Adaptive Abfrage Ausführung (Adaptive Query Processing) wie auch auf das Automatische Tuning im SQL Server 2017 ein und beschreibt diese Optimierungsverfahren funktionieren. Vorteilhaft für den SQL Server Entwickler bzw. Administrator: Die vorgestellten Optimierungsverfahren laufen (sofern eingeschaltet, s.u.) transparent im Hintergrund ab, d.h. es ist keine weitere Konfiguration oder ähnliches erforderlich.

Seit Mai dieses Jahres ist die Datenschutz-Grundverordnung – kurz DSGVO – in Kraft. Alle Unternehmen, die personenbezogene Daten speichern und verarbeiten, sind von den neuen Regeln dieser EU-Richtlinie betroffen. Speichern und Verarbeiten von Daten? Da ist es doch recht naheliegend, dass sich mit SQL Server auch Anforderungen der DSGVO umsetzen lassen. Dieser Vortrag zeigt Möglichkeiten von SQL Server zur Realisierung einiger Anforderungen und wird folgende Punkte der DSGVO ansprechen:

• Grundsätze der DSGVO
• Personenbezogene Daten
• Privacy by Default und Privacy by Design
• Sicherheit der Verarbeitung

Viele haben schon von Modellierungstechniken wie DataVault gehört, die im Bereich des Enterprise DataWarehouse immer mehr an Bedeutung gewinnen. Essentieller Bestandteil vieler dieser Methoden sind sogenannte Ensembles welche das Grundgerüst des kompletten Datenmodells bilden.

In dieser Session sehen wir uns an, was ein Ensemble ist, welche Regeln dafür gelten, wie sich die Vorgehensweise von klassischen Dimensional Modelling oder 3NF Ansätzen unterscheiden und welche Vor- und Nachteile sich daraus ergeben.

!!   bitte beachtet die „Weihnachtslocation“

SB is a hidden gem in Microsoft SQL Server that has received far too little attention. This session describes a business case that requires that data from inactive customers be automatically written to another database. For the customer, synchronous processing is not possible in his OLTP system because a synchronous process puts too much pressure on the ordering system.
With the help of SB, this process can be implemented quickly, safely and stably.
In the session, after an introduction to the technology and operation of Service Broker, the business case with all requirements will be cataloged and then a solution will be developed with the help of Service Broker.
Once the process has been broken down into its individual steps, the various processes are implemented using Service Broker.

Topics

The following topics are covered during the implementation of the business case:

• Components of Service Broker
• Security
• Row Level Security
• Monitoring of service brokers
• Error handling service broker

Requirements

• Good knowledge of T-SQL
• Basic understanding of asynchronous message processing
• Dealing with SQL Server Management System

Die Data Factory steht seit längerem in der Microsoft Azure Cloud für das effiziente Kopieren von Massendaten zwischen vielen Arten von Datenspeichern zur Verfügung. Ergänzt wird dieses Angebot um die Modellierung von Abhängigkeiten zwischen mehreren Verarbeitungsschritten und seit der Version 2 auch durch einen Control Flow für die Abbildung von Schleifen und Bedingungen und dem Ausführen von Integration Services Paketen. Seit kurzem können jetzt auch visuell unterstützt Data Flows für das gezielte Anreichern, Korrigieren und Umwandeln innerhalb der Data Factory genutzt werden!

Der Vortrag zeigt nach einem allgemeinen Überblick zur ADF, die Data Flows und andere top aktuelle Features des Platform-as-a-Service Dienstes mit wichtigen Tipps aus der Praxis.

Power BI Dataflows sind ein weiterer Schritt von Microsoft die Power BI Landschaft mehr und mehr Enterprise Ready zu machen. Nun, stand im Titel nicht etwas von SelfService?
Genau, es ist der Versuch Business Intelligence Prozesse, im Falle von Dataflows: ETL, so zu gestalten, das diese ohne Interaktion der IT durch Fachabteilungen erstellt werden können.
Was bedeutet das für den Anwender:
Wir werden in dieser Session, bekannte Funktionen aus Power Query wieder finden, aber auch Themen wie Data Lineage, Dataflow im PBI Desktop,
Machine Learning, AI und inkrementellen Refresh zeigen und was der Dataflow mit dem Common Data Model am Hut hat. Natürlich grenzen wir auch gegen den Data Flow mit blank ab 😊

Continuous Intelligence vereint die Begriffe
Continuous Integration und Business Intelligence.

Unser Ziel ist es, Prozesse zu definieren und umzusetzen, mit denen die Umsetzung und Auslieferung von BI Lösungen so flexibel und einfach wie möglich wird. Bis heute gibt es wenig bis keine Unterstützung für CI Prozesse in BI Projekten, aber in den letzten Jahren änderte sich die Wahrnehmung des Themas stark und die Art über das Thema zu denken wandelte sich auch in der BI-Welt. Last uns gemeinsam die Vorteile von CI für BI diskutieren und die Probleme und Herausforderungen bei der Umsetzung solcher Prozesse speziell für Analysis Services beleuchten.

Microsoft hat In-Memory OLTP mit der SQL Server Version 2014 eingeführt und versprochen, dass Abfragen bis zu 100-mal schneller ausgeführt werden.

In dieser Session werden wir die Einschränkungen der traditionellen festplattenbasierten Speicher-Engine untersuchen und der Frage nachgehen, warum die In-Memory-Technologie das Potential hat erheblich schneller zu sein.

Wir werden zudem klären, welche Szenarien die Migration nach In-Memory OLTP rechtfertigen und welche Schwierigkeiten damit verbunden sind.

Die diesjährige Weihnachtssesion zeigt einen Technik-Rückblick auf mehr als 2 Jahrzehnte „SQL und BI“.
Von den Anfängen mit Multiplan und 1-2-3, dem SQL Server 7.0 (für einige der Einstieg) bis zur Neuzeit …
Ohne geplanten Vortrag und Speaker setzen wir darauf, dass ihr eure Archiv-Schätze und eure Raritäten wieder vorkramt und der community zeigt was vor und kurz nach der Jahrtausendwende bei euch „state-of-the-art“ war.

Weiterhin seit ihr herzlich Willkommen zum „get-together“ und zum networking …

Mit dem SQL Server 2019 bringt Microsoft in Form der Big Data Clusters neue Features für Daten Virtualisierung, Data Mart Scale-Out sowie Big Data Analysen.

Was bedeutet das konkret? Wir schauen uns an, wie man die neuen Features installiert und nutzt, welchen Mehrwert sie bieten und wo man vielleicht dennoch mit anderen Funktionen besser aufgehoben ist.

Seit Microsoft SQL Server 2016 gibt es die Möglichkeit, bisherige Servereinstellungen auf Datenbankebene zu konfigurieren.
Bei der Vielzahl der individuellen Konfigurationsmöglichkeiten kann man recht schnell die Übersicht verlieren. Auch stellt sich für die Konfigurationsmöglichkeiten häufig die Frage, ob – und wann – eine Konfiguration Sinn macht.
In dieser 90-minütigen Session werden die wichtigsten Konfigurationsparameter erklärt und durch Demos eine
sinnvolle Einstellung erläutert.

Folgende Konfigurationsparameter werden behandelt:
· Löschen des Prozedurcaches
· Max Degree of Parallelism
· Cardinal Estimator
· Parameter Sniffing
· Identity Cache
· Optimize for Adhoc Queries
· Intelligent Query Execution
· Aktivieren oder Deaktivieren des beschleunigten Erzwingens des Plans.
· Aktivieren oder Deaktivieren der Funktion für automatisches Löschen von globalen temporären Tabellen
· „String or binary data would be truncated“-Fehlermeldung
· Letzter tatsächlichen Ausführungsplans in sys.dm_exec_query_plan_stats

—-
!! diese Veranstaltung findet aus gegebenem Anlass online statt !!
>> einen link zur Teams – Session gibt es mit der Registrierung.
Die Client-Software ist hier
https://products.office.com/de-de/microsoft-teams/download-app

.. auch im neuen Jahr werden wir zunächst mit virtuellen Events starten.

Der Teams-Link ist hier: Microsoft Teams Meeting

und die Agenda bzw. den Abstract bei [Erfahre mehr >]

.. im Oktober haben wir einen Vortrag rund um

„Azure and Data“ …

Auch da sind wir wieder an neuer location bei
adesso in Frankfurt-Niederrad, Herriotstraße 1

Für den Zugang zum Gebäude ist eine
Anmeldung
per email  an  nwe@sqlpass.de  oder aka@sqlpass.de
oder via meetup  erforderlich.  Danke fürs Verständnis.