{"id":932,"date":"2019-11-05T17:45:01","date_gmt":"2019-11-05T16:45:01","guid":{"rendered":"http:\/\/www.klaushaller.net\/?page_id=932"},"modified":"2022-03-26T10:08:42","modified_gmt":"2022-03-26T09:08:42","slug":"big-data-technologien-meine-erfahrung-mit-dem-microsoft-professional-programm","status":"publish","type":"page","link":"https:\/\/www.klaushaller.net\/?page_id=932","title":{"rendered":"Big Data Technologien &#8211; Meine Erfahrung mit dem Microsoft Professional Programm"},"content":{"rendered":"\n<figure class=\"wp-block-gallery alignright has-nested-images columns-default is-cropped wp-block-gallery-2 is-layout-flex wp-block-gallery-is-layout-flex\">\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"1024\" data-id=\"934\" src=\"http:\/\/www.klaushaller.net\/wp-content\/uploads\/2019\/11\/IMAG6586-1024x1024.jpg\" alt=\"\" class=\"wp-image-934\" srcset=\"https:\/\/www.klaushaller.net\/wp-content\/uploads\/2019\/11\/IMAG6586-1024x1024.jpg 1024w, https:\/\/www.klaushaller.net\/wp-content\/uploads\/2019\/11\/IMAG6586-150x150.jpg 150w, https:\/\/www.klaushaller.net\/wp-content\/uploads\/2019\/11\/IMAG6586-300x300.jpg 300w, https:\/\/www.klaushaller.net\/wp-content\/uploads\/2019\/11\/IMAG6586-768x768.jpg 768w, https:\/\/www.klaushaller.net\/wp-content\/uploads\/2019\/11\/IMAG6586-624x624.jpg 624w, https:\/\/www.klaushaller.net\/wp-content\/uploads\/2019\/11\/IMAG6586.jpg 1744w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n<\/figure>\n\n\n\n<p>Es war noch nicht mal Sommer, sondern Anfang April 2019, als ich mich f\u00fcr die Weiterbildung zum &#8220;Microsoft Professional Big Data&#8221; bei Edx angemeldet habe. Mein Ziel: &#8220;Hands-On&#8221; Erfahrung mit neuen (Microsoft-)Technologien bekommen, die f\u00fcr aktuelle oder zuk\u00fcnftige Projekte relevant sein werden. An Edx (ebenso wie bei Coursera) als Online-Lernplattform sch\u00e4tze ich, dass es nicht nur Informationsh\u00e4ppchen gibt. Themen werden strukturiert aufgearbeitet und detailliert besprochen. Es gibt Repetitions- und Pr\u00fcfungsfragen und praktischen Aufgaben mit Zertifikat am Ende. <\/p>\n\n\n\n<p>Das Programm bestand aus neun Kursen plus einem Abschlussprojekt (&#8220;Capstone&#8221;), in dem man drei Miniprojekte\/Aufgaben u.a. in Hive, Azure Data Factory l\u00f6sen musste. Vorher standen nat\u00fcrlich Kurse an, nach einem Einf\u00fchrungskurs (DAT229x: Big Data Orientation) ging es um die neun folgende Themen:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li><strong>Implementing Predictive Analytics with Spark in Azure HDInsight <\/strong>(DAT202.3x): Hier hat mich die Technologie besonders interessiert. Da ich letztes Jahr rund eine Woche mit Statistik und R verbracht hatte und einmal sehr kurz mit SAP Predictive Analytics gearbeitet hatte, war ich hier neugierig auf die Integrationsm\u00f6glichkeit in eine Gesamtarchitektur.<\/li><li><strong>Orchestrating Big Data with Azure Data Factory <\/strong>(DAT223.3x): Mit der Azure Data Factory bietet Microsoft eine Technologie unter anderem zur Orchestrierung und dem Scheduling von ETL-Prozessen und Datenfl\u00fcssen zwischen Applikationen an.<\/li><li><strong>Processing Real-Time Data Streams in Azure&nbsp;<\/strong>(DAT223.2x): Event-Hubs und Verarbeitung von Echtzeit-Events \/ Stream Data Processing &#8211; ein Thema, das in der Forschung ungef\u00e4hr dann aufkam, als ich die Welt der Universit\u00e4ten am Verlassen war.<\/li><li><strong>Processing Big Data with Hadoop in Azure HDInsight <\/strong>(DAT202.1x): Hier ging es um Hive und Hadoop. Faszinierend ist hier, wie leicht Hive den Zugang zur Big-Data-Welt f\u00fcr Informatiker mit SQL-Knowhow macht. Die Sprache ist sehr \u00e4hnlich, gleichzeitig er\u00f6ffnet die darunterliegende Technologie ganz neue M\u00f6glichkeiten, wie beispielsweise bei der Logfile-Analyse.<\/li><li><strong>Querying Data with Transact-SQL<\/strong>&nbsp;(DAT201x): ein SQL-Kurs, also nichts wirklich etwas Neues\u2026<\/li><li><strong>Introduction to NoSQL Data Solutions<\/strong>&nbsp;(DAT221x): \u00dcberblick \u00fcber verschiedene NoSQL-Technologien f\u00fcr das Datenmanagement wie Key-Value-Stores oder Dokumentenspeicher  (Azure Cosmos DB, Azure Storage, Mongo DB, Solr)<\/li><li><strong>Analyzing and Visualizing Data with Power BI<\/strong>&nbsp;(DAT207x): Der Kurs umfasst eine \u00dcbersicht \u00fcber Microsofts &#8220;Self-Service-&#8220;-BI-L\u00f6sung.<\/li><\/ul>\n\n\n\n<p>Jetzt ist es Anfang November 2019 und ich habe alle Kurse erfolgreich abgeschlossen. Der Gesamtaufwand lag bei rund 20 Tagen. Das f\u00fchrt zu deutlich mehr Know-How speziell in Microsoft- und Azure-Technologien als wenn man ein paar Whitepapers liest, ein paar kurze Videos schaut und Konferenzvortr\u00e4ge h\u00f6rt. Drei Punkte sind mir in der Zeit klar geworden:<\/p>\n\n\n\n<ol class=\"wp-block-list\"><li>Wer im Data Management\/Analytics\/Azure-Umfeld bestehen muss, braucht ein bisschen Mathematik- und Statistik-Know-How und ganz viel Technologiekenntnisse und Architekturerfahrung.&nbsp;<\/li><li>Microsoft Azure umfasst Third-Party- und Microsoft-Technologien. Bei Letzteren ist die Integration sehr gut, bei den Open Source-Technologien teils nicht so stark.&nbsp;&nbsp;<\/li><li>Die Arbeitsdichte und die Anspr\u00fcche an die Engineers steigen mit der Cloud. Einfache IT-T\u00e4tigkeiten werden weniger. Eine Betriebssysteminstallation oder Datenbankinstallation, bei der man innerhalb von 5 Stunden 10-mal die Diskette wechseln muss und dann einen Experten f\u00fcr 10, 20 Minuten Fine-Tuning dazu nimmt, das gibt es in der Cloud so nicht mehre. Die Cloud f\u00fchrt die Installation automatisch aus und man braucht nur noch den Experten f\u00fcr die 10, 20 Minuten Fine-Tuning.&nbsp;<\/li><\/ol>\n\n\n\n<p>Wie geht es f\u00fcr mich weiter? Bei mir stehen weitere Cloud- und Data Management-Technologien auf der Liste, auch jenseits der Welt von Azure und Microsoft. Dazu an ein anderes Mal mehr. Wer sich \u00fcbrigens eine konzeptionelle Sicht auf die Trends im Datenmanagement sucht, hier noch einen Link zu einem Artikel von mir:  <a href=\"http:\/\/tdan.com\/trends-in-data-management-and-analytics\">Trends in Data Managemenet and Analytics<\/a><\/p>\n\n\n\n<p>Noch ein Hinweis: Zu dieser Edx\/Microsoft-Big Data-Weiterbildung kann man sich nicht mehr anmelden. Sie l\u00e4uft Ende 2019 aus.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Es war noch nicht mal Sommer, sondern Anfang April 2019, als ich mich f\u00fcr die Weiterbildung zum &#8220;Microsoft Professional Big Data&#8221; bei Edx angemeldet habe. Mein Ziel: &#8220;Hands-On&#8221; Erfahrung mit neuen (Microsoft-)Technologien bekommen, die f\u00fcr aktuelle oder zuk\u00fcnftige Projekte relevant sein werden. An Edx (ebenso wie bei Coursera) als Online-Lernplattform sch\u00e4tze ich, dass es nicht [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"parent":887,"menu_order":7000,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-932","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/www.klaushaller.net\/index.php?rest_route=\/wp\/v2\/pages\/932","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.klaushaller.net\/index.php?rest_route=\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.klaushaller.net\/index.php?rest_route=\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.klaushaller.net\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.klaushaller.net\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=932"}],"version-history":[{"count":6,"href":"https:\/\/www.klaushaller.net\/index.php?rest_route=\/wp\/v2\/pages\/932\/revisions"}],"predecessor-version":[{"id":1243,"href":"https:\/\/www.klaushaller.net\/index.php?rest_route=\/wp\/v2\/pages\/932\/revisions\/1243"}],"up":[{"embeddable":true,"href":"https:\/\/www.klaushaller.net\/index.php?rest_route=\/wp\/v2\/pages\/887"}],"wp:attachment":[{"href":"https:\/\/www.klaushaller.net\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=932"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}