GeoAnalytics Tools wurden entwickelt, um große Mengen an Tabellen und Vektordaten effizient zu analysieren. Neben dem GeoAnalytics Server für ArcGIS Enterprise, sind die GeoAnalytics Tools auch in ArcGIS Pro ab der Version 2.4 verfügbar.
Die Menge an Daten, die wir über Sensoren und weitere Quellen sammeln, wird immer größer. Um mit diesen großen Datenmengen sinnvoll arbeiten zu können, stellt Esri mit den GeoAnalytics Tools ein neues Analyse Framework zur Verfügung. Basierend auf Apache Spark, können so große Datenmengen effizient auf raum-zeitliche Muster untersucht werden, indem Analysen parallelisiert durchgeführt werden.
Die GeoAnalytics Tools stehen in zwei Varianten zur Verfügung. In ArcGIS Enterprise lässt sich diese Big Data Analyse Funktionalität über den GeoAnalytics Server hinzufügen. Hier können Sie Analysen auf bis zu 3 Servern parallel durchführen. Auch auf dem Desktop bietet ArcGIS Pro seit der 2.4er Version die GeoAnalytics Desktop Tools an, welche eine parallele Berechnung über mehrere CPU-Kerne auf Ihrem Desktop Rechner ermöglicht.
Neben dem reinen Framework bieten die GeoAnalytics Tools, besonders im Bereich der Track-Analyse und durch die Kombination mit Arcade, noch weitere spannende Funktionalitäten, die Sie nun sowohl in ArcGIS Pro als auch in ArcGIS Enterprise nutzen können.
In dieser 3-teiligen Serie möchte ich Ihnen zunächst einen allgemeinen Überblick geben. Anschließend gehen meine Kollegen Jochen Manegold und Manuela Oberholzer etwas genauer auf die GeoAnalytics Desktop Tools in ArcGIS Pro ein.
GeoAnalytics Tools
Der letzte Blogeintrag zum Thema GeoAnalytics Server von meinem Kollegen Jörg Moosmeier liegt schon etwas länger zurück. Deshalb möchte ich Ihnen heute eine Übersicht spannender Neuerungen vorstellen:
Tools, Tools, Tools
In den letzten Versionen des GeoAnlytics Servers wurden zahlreiche neue Analyse-Tools für das neue Framework entwickelt. Im Bereich der Muster-Erkennung sind einige Machine Learning-Tools wie z.B. das „Forest-basierte Klassifizierung und Regression“- oder „Punkt-Cluster suchen“-Tool hinzugekommen. Diese Tools ermöglichen zeit-räumliche Muster in Ihren großen Datenmengen einfach zu erkennen.
Auch in den Bereichen der Datenverwaltung und Positionssuche gibt es eine Vielzahl an neuen Tools. Standard GIS Analyse Funktionalitäten wie Clip, Merge, Overlay oder Dissolve wurden hinzugefügt. Außerdem können Arcade Ausdrücke in verschiedenen Tools, wie z.B. dem Feld berechnen Tool genutzt werden, was die Einsatzmöglichkeiten nochmals stark erweitert, aber dazu mehr im nächsten Abschnitt.
Ein Einsatzschwerpunkt der GeoAnalytics Tools ist das Analysieren von Track-Daten also Daten, welche von Objekten gesammelt wurden, die sich in Zeit und Raum bewegen bzw. ihre Eigenschaften im zeitlichen Verlauf ändern. Die in den letzten Releases hinzugefügten Tools „Ereignisse ermitteln“ und „Verweilorte suchen“ sowie das bekannte „Spuren rekonstruieren“ sind genau für die Analyse solcher Track-Daten über Raum und Zeit entwickelt. Auch in ArcGIS Pro 2.7 und GeoAnalytics Server 10.9er Release kommen mit den neuen „Calculate Motion Statistics“ und „Trace Proximity Events“ zwei weitere spannende Tools für diesen Anwendungsbereich dazu.
Arcade in GeoAnalytics
Wie bereits kurz erwähnt, unterstützen mehrere GeoAnalytics Tools den Einsatz von Arcade Ausdrücken, was die Einsatzmöglichkeiten noch vielfältiger macht. So kann das simpel erscheinende „Feld berechnen“-Tool mit Arcade Ausdrücken sehr komplexe Bedingungen berechnen. Dabei ist besonders hervorzuheben, dass neben den vielen mathematischen, logischen, Text- und Datumsfunktionen sowie Operatoren speziell für die GeoAnalytics Tools auch Tracking-bezogene Ausdrücke verwendet werden. Mit diesen Tracking-bezogenen Arcade Ausdrücken können vergangene oder zukünftige Zustände eines Objektes in die Berechnung mit integriert werden. Wenn Sie als Logistiker zum Beispiel wissen möchten, wo sich Ihre Fahrzeuge schwerpunktmäßig verspäten, können Sie dies über Veränderungen der ETA (Estimated Time of Arrival) in Minuten mit einem Tracking-bezogenen Arcade Ausdruck wie folgt definieren:
Ein weiteres schönes Beispiel zur Analyse von Bus-Positionen aus dem ÖPNV mittels GeoAnalytics und Arcade hat das GeoAnalytics Team von Esri Inc. in diesem Blogpost verfasst, die Dokumentation zu Arcade Ausdrücken in GeoAnalytics finden Sie hier.
Erweiterungsmöglichkeiten der GeoAnalytics Tools
Um Ihre GeoAnalytics Analysen noch erweitern und anpassen zu können, sowie um auf das unterliegende Apache Spark Framework zuzugreifen, wurde für den GeoAnalytics Server das „Run Python Script“ -Tool hinzugefügt. Wie der Name schon vermuten lässt, ermöglicht dieses Tool die Ausführung eines Python Skriptes in dem von GeoAnalytics verwendeten Spark Framework. Dies geschieht über die Python Bibliothek PySpark, wodurch Sie Ihre Daten z.B. mittels SQL abfragen, zusammenfassen oder mit Machine Learning Algorithmen aus der Spark mllib analysieren können. Des Weiteren sind die GeoAnalytics Tools natürlich auch über das Python Skript nutzbar, wodurch Sie mehrere Tools für Ihren Analyseworkflow nacheinander ausführen können („Pipelinen“) und nur das Endergebnis in einen Feature Layer zurückschreiben. Diese Funktionalität ist besonders hilfreich für komplexere Analysen, die Sie in regelmäßigen Abständen automatisiert durchführen möchten, um z.B. eine aggregierte Ansicht der projizierten Niederschlagsmenge in Ihre eigenen Polygone alle 30 Minuten zu aktualisieren.
Die wiederkehrende Ausführung kann, wie in der nachfolgenden Abbildung zu sehen, wunderbar mit dem ArcGIS Notebook Server realisiert werden, über den ich vor kurzem in einem Blogbeitrag geschrieben habe. Weitere Informationen zu dem „Run Python Script“-Tool finden Sie auf diesem Blogpost von Esri Inc. sowie in unserer Online Dokumentation.
Wenn Sie sich bereits gut mit Apache Spark auskennen, sei an dieser Stelle noch kurz erwähnt, dass der geschätzte Kollege Mansour Raad auf GitHub beschrieben hat, wie man auch mit ArcGIS Pro auf das unterliegenden (oder sogar ein externes) Spark Framework zugreifen kann. Bitte beachten Sie dabei, dass dies keine offizielle Funktionalität von ArcGIS Pro ist und nicht mit Support unterstützt wird.
Datenquellen
Natürlich wollen wir nicht nur Daten, die bereits in irgendeiner Form in der Geo-Datenbank gespeichert sind, analysieren, sondern auch auf große Datenmengen und -archive zugreifen können die z.B. als CSV-Dateien abgelegt wurden. Zu diesem Zweck gibt es in dem GeoAnalytics Server das Konzept der „Big Data File Shares“, welche unterschiedliche Datenquellen (etwa Hadoop, Cloud Speicher oder lokale Dateifreigaben) mit Daten in unterschiedlichen Formaten (CSV / getrennter Text, Parquet, Shapefiles, ORC) referenzieren. So können auch diese Daten direkt als Input für Ihre Analyse gelesen werden, ohne sie vorher in eine Geo-Datenbank kopieren zu müssen. Falls Sie auch Ihre Analyseergebnisse noch anderweitig weiterverarbeiten möchten, können die Ergebnisse in ein „Big Data File Share“ zurückgeschrieben werden. Mehr Informationen hierzu finden Sie in unserer Online Dokumentation.
Für die GeoAnalytics Desktop Tools gibt es ein ähnliches Konzept, solche Datenquellen für die Analyse zu referenzieren, die „Big Data Connection“. Die ausführlichen Informationen dazu folgen im nächsten Teil dieser 3-teiligen Serie.
Visualisierung
Ich möchte einen kurzen Exkurs in den Bereich der Visualisierung großer Datenmengen machen, da es hier eine sehr geniale, neue Funktionalität in ArcGIS Pro zur Visualisierung von Ergebnissen des GeoAnalytics Servers gibt. Die Ergebnisse im Spatiotemporal Big Data Store verfügen über eine dynamische Aggregationsfunktionalität (Bins), welche in ArcGIS Pro und gehosteten Kartenbild-Layer visualisiert werden kann. Aus ArcGIS Pro 2.6 heraus können nun diese gehosteten Kartenbild-Layer zunächst gestaltet (Renderer für Features und Bins) und anschließend nach ArcGIS Enterprise (ab der Version 10.8) publiziert werden. Dies ermöglicht die kartographischen Gestaltungsmöglichkeiten aus ArcGIS Pro auf die Aggregations-Bins sowie individuellen Features der GeoAnalytics Ergebnisse anzuwenden. Wie das genau funktioniert, lesen Sie hier.
GeoAnalytics Server vs. Desktop
Nun stellt sich also die Frage, wann soll ich welche GeoAnalytics Variante benutzen? Die Antwort darauf kann leider nicht pauschal getroffen werden und hängt auch immer von Ihrem Anwendungsfall ab. Grob unterscheiden lässt sich natürlich, was Sie mit den Analyse Ergebnissen machen möchten.
Wollen Sie wiederkehrende Analysen durchführen, etwa alle 5 Minuten, 2 Stunden oder einmal täglich, und die Ergebnisse direkt in WebMaps und Apps Ihren Teammitgliedern und Kunden zur Verfügung stellen? Oder wollen Sie auf große Datenmengen im Cloud-Speicher oder Hadoop zugreifen und diese analysieren? Dann ist der GeoAnalytics Server die richtige Wahl.
Wenn Sie mit lokalen Daten arbeiten und deren Analyse Ergebnisse anschließend visuell in einer Karte präsentieren wollen oder wenn Sie mit anderen GeoProcessing Tools aus ArcGIS Pro die Ergebnisse weiterverarbeiten möchten, dann sind die GeoAnalytics Desktop Tools das Mittel der Wahl. Falls Sie sowohl Desktop als auch Server zur Verfügung haben, ist es natürlich auch ein gängiger Workflow, die Analysen erst einmal im Desktop an kleineren Datensätzen zu designen und testen, bevor diese final auf dem Server auf der vollen Datenmenge eingerichtet werden.
Ein paar weitere Details zum Vergleich der beiden Varianten können Sie in diesem Blogpost von Esri Inc. nachlesen. Weitere Überlegungen zum Einsatz der GeoAnalytics Desktop Tools finden Sie hier.
Fazit
Wenn Sie diesen Satz noch lesen, freut mich das schon mal sehr, denn ich konnte Sie mit der Informationsflut der vorangegangenen Absätze nicht verschrecken. Es gibt einfach sehr viele spannende Neuerungen und so wird es auch weitergehen. Die GeoAnalytics Tools werden kontinuierlich weiterentwickelt und bieten vor allem im Bereich der Track Analyse sehr nützliche Funktionalitäten. Probieren Sie diese am besten direkt selbst in ArcGIS Pro mit einer Advanced Lizenz als GeoAnalytics Desktop Tools aus.
In Teil 2 erfahren Sie von Jochen Manegold, wie man große Datenmengen über eine Big Data Connection in ArcGIS Pro integriert: Teil 2: GeoAnalytics – Big Data Verbindung in ArcGIS Pro 2.6
Und in Teil 3 wird Ihnen meine Kollegin Manuela Oberholzer ein spannendes Beispiel für Analysen mit den GeoAnalytic Desktop Tools näherbringen: Teil 3: GeoAnalytics – Auf den Spuren von Rotmilanen
