Es gibt in ArcGIS Enterprise unterschiedliche Möglichkeiten, (GIS-)Daten für Dienste bereitzustellen.
Abhängig von der Anwendung, den Datentypen, den Workflows und der gesamten Konfiguration von ArcGIS Enterprise, können und müssen unterschiedliche Datenspeicher eingesetzt werden.
Prinzipiell gibt es in ArcGIS zwei Konzepte des Datenmanagements.
Benutzer verwaltet (auch User Managed)
Die zugrunde liegende Infrastruktur und die Datenbanken werden vollständig von den Administratoren und den Nutzern des Systems verwaltet. Die Nutzung einer Datenbank, mit oder ohne ArcGIS Geodatabase-Schema, fällt in diesen Bereich.
ArcGIS verwaltet (auch ArcGIS Managed)
Die zugrunde liegende Datenbank ist nicht für die direkte Verwaltung durch einen Administrator freigegeben. Der Zugriff für Anwender erfolgt ausschließlich über die Webservices, die von ArcGIS Enterprise bereitgestellt werden. Die Nutzung der unterschiedlichen ArcGIS Data Stores fällt in diesen Bereich.
Konzepte des Datenmanagements in ArcGIS Enterprise
Alle Datenquellen, sowohl ArcGIS- als auch Benutzer-verwaltete, müssen prinzipiell in der ArcGIS Server Komponente von ArcGIS Enterprise freigegeben werden. Entweder automatisch während der Konfiguration oder über die Administrationsoberfläche im Browser (den ArcGIS Server Manager) oder über ArcGIS Desktop.
Abbildung 1: Datenspeicher im ArcGIS Server Manager
Diese beiden Konzepte sind kein entweder/oder. ArcGIS Enterprise unterstützt beides parallel. Der Workflow, die benötigten Funktionen und die Servicetypen bestimmen die Datenhaltung.
Benutzerverwaltete Datenquellen
Diese Datenquellen umfassen Ordner und unterstützte Datenbanken, die bei der ArcGIS Server Komponente von ArcGIS Enterprise registriert werden. Diese Registrierung erfolgt bei der Konfiguration oder kann noch im Nachhinein vorgenommen werden.
Das Management dieser Datenquellen, also Freigaben, Rechte, Updates,…. obliegen einem Administrator.
Bei der Registrierung von Datenbanken muss neben den Datenbankinformationen auch ein gültiger (DB-) Nutzer mit ausreichenden Rechten hinterlegt werden. Die Verbindungs- und Authentifizierungsinformation wird verschlüsselt abgelegt.
Für die Verbindung spielt es keine Rolle, ob die Datenbank eine Geodatabase ist oder „nur“ eine Datenbank mit dem nativen Datenschema und Geometrie-Datentyp.
Eine Geodatabase (GDB) bietet mehr (GIS-) Funktionalität, wie die Topologie oder eine Versionierung. Aus einer Datenbank ohne GDB-Schema können Tabellen und Geodaten als Feature-Service veröffentlicht und u.U. auch editiert werden.
ArcGIS verwaltete Datenquellen
Beim „ArcGIS Data Store“ handelt es sich um eine eigenständige Softwarekomponente von ArcGIS Enterprise, die bei der Lizenz von ArcGIS Enterprise enthalten ist und extra installiert wird.
Dieser Data Store wird komplett von und über ArcGIS Enterprise verwaltet. Datenbankspezifische Tools oder Kenntnisse sind nicht notwendig.
Der ArcGIS Data Store wird benötigt, um das Konzept eines „Hosting Servers“ umzusetzen und ist zwingender Bestandteil einiger Workflows. Der ArcGIS Data Store ermöglicht die Veröffentlichung von (Hosted) Feature Layern, 3D Scene Layern und die Benutzung von Analyse Tools in Portal for ArcGIS.
- Relational Data Store: Speicherung von Feature-Daten (Punkt, Linie, Fläche). Er wird benötigt, um (Hosted) Feature Services zu veröffentlichen (z.B. durch das Hochladen von CSV-Dateien im Map Viewer) und um die Ergebnisse von Analysen im Portal zu speichern
- Tile Cache Data Store: Wird zur Speicherung der 3D-Daten von Scene Services benötigt
- Spatiotemporal Big Data Store: Verteilter (mehrere Knoten) Data Store zur Speicherung von großen Datenmengen, die von GeoAnalystics Server und/oder GeoEvent Server erzeugt werden. GeoAnalytics und GeoEvent sind optionale Server von ArcGIS Enterprise
- Raster Data Store: Ein Raster Data Store ist ein (oder mehrere) freigegebener Ordner, der dediziert vom Image Server genutzt wird, um z.B. Ergebnisse aus Rasteranalysen abzuspeichern
Sonderfälle
Cloud Data Store
Es können auch Cloud-Stores bei Cloud-Anbietern für die Speicherung der Ergebnisse von Rasteranalysetools, für Big Data File Shares von GeoAnalytics Tools und für die Speicherung von Map und Image Server-Caches genutzt werden.
| Cloud Store | Ergebnis von Raster Analyse Tools (Image Server) | Big Data File Share (GeoAnalytics Tools) | Cache für Map und Image Service |
|---|---|---|---|
| Amazon Simple Storage Service (S3) | J | J | J |
| Microsoft Azure Blob storage | J | J | J |
| Alibaba Cloud Object Storage Service (OSS) | J | N | J |
| Huawei Object Storage Service (OBS) | J | N | J |
| Microsoft Azure Data Lake storage | N | J | N |
Serververzeichnisse
Ein Serververzeichnis ist ein physisches Verzeichnis im Netzwerk, das speziell für eine ArcGIS Server-Site zum Speichern und Schreiben bestimmter Informationen dient.
Cache-Verzeichnis
In Cache-Verzeichnissen werden Caches mit vorab gerenderten Kacheln gespeichert, durch die die Anzeigegeschwindigkeit von Kartenservices erhöht wird. Auch die Kacheln von Vector Tile Services werden hier gespeichert.
Systemverzeichnis
Das Systemverzeichnis wird zum Verwalten von Informationen verwendet, die zum Verwalten von Services, dem ArcGIS Server und Datenbankverbindungen sowie zum Speichern von Dateien, die auf die ArcGIS Server-Site hochgeladen wurden, erforderlich sind.
Welcher Datenspeicher wird wann verwendet?
Welche Speicherart und welcher ArcGIS Data Store-Typ verwendet wird, hängt ab vom
- Klienten mit dem veröffentlicht wird
- ArcGIS Desktop
- oder über WebApps (z.B. Portal MapViewer)
- oder über Apps (z.B. Maps for Office)
- Web Service-Typ der erzeugt wird (auch abhängig vom Datentyp)
- Map Image Service
- Image
- Feature Service
- Tile Service
- Vector Tile Service
- Workflow und allgemeiner Funktionalität
Veröffentlichung von Webservices aus ArcGIS Pro
Beim Veröffentlichen Service aus ArcGIS Desktop (ArcMap oder ArcGIS Pro) können die Daten kopiert oder referenziert werden.
Abbildung 2: Layer-Typen beim Referenzieren von Daten
Abbildung 3: Layer-Typen beim Kopieren von Daten
Exkurs: Layer oder Service? Was denn jetzt?
Über ArcGIS Pro freigegebene Web Layer sind Portal-Elemente, die einen Service oder Service Layer bereitstellen, die freigegeben und verwendet werden können. Je nach bereitgestelltem Service-Typ wird ein anderer Layer-Typ erstellt.
| Web Layer | Web Service |
|---|---|
| Feature Layer | Feature Service |
| Tile Layer | Cached Map Service |
| Vector Tile Layer | Vector Tile Service |
| Map Image Layer | Dynamic or Cached Map Service |
| Scene Layer | Cached Scene Service |
| Imagery Layer | Dynamic Image Service |
Web Layer können konfigurierte Einstellungen wie Symbolisierung, Pop-up-Informationen und Berechtigungen für den Zugriff speichern.
Ein Service kann von mehreren Layern referenziert werden. Einstellungen, die innerhalb eines Layers vorgenommen werden, werden auch nur im Layer gespeichert und nicht im Service. Ein Service kann also ganz unterschiedlich in verschiedenen Layern genutzt werden.
Beispiel: In einen Feature Service mit Punkten werden grundlegende Eigenschaften wie die Geometrie, die Visualisierung oder der Maßstab abgespeichert. Eine Beschriftung kann jedoch nicht definiert werden. Die Beschriftung wird erst im Feature Layer (oder auch erst in der Webmap) definiert.
Grundsätzlich wird beim Veröffentlichen von Daten die Konfiguration soweit möglich im Service gespeichert. Nur wenn eine bestimmte Konfiguration (z.B. Beschriftung) nicht im Service gespeichert werden kann, wird sie im Layer gespeichert.
Veröffentlichen von Diensten mit referenzierten Datenquellen
Beim Referenzieren greifen ArcGIS Desktop und ArcGIS Enterprise auf die gleichen Datenquellen zu. Die Daten verbleiben in der registrierten Datenbank oder im Ordner.
Mit diesem Workflow können Map Services, Image Services, Scene Services und Feature Services veröffentlicht werden.
Abbildung 4: Veröffentlichen mit referenzierten Daten
Veröffentlichen von Diensten mit kopierten Daten
Beim Kopieren werden die Daten vom Klienten auf den Server kopiert. Der Klient und der Server(-Dienst) greifen dann nicht mehr auf die originär gleichen Daten zu.
Beim Veröffentlichen von Diensten mit der Option, alle Daten zu kopieren, können die sechs Service Typen Map Image, Image, Feature, Scene, Tile oder Vector Tile veröffentlicht werden. Es können nicht mehrere Diensttypen gleichzeitig veröffentlicht werden. Wenn aus einem Datenbestand in ArcGIS Pro mehrere Diensttypen veröffentlicht werden, muss dies mehrmals durchgeführt werden.
Die Input-Daten von Image Services sind ausschließlich Rasterdaten (einzelne Dateien oder Mosaike). Aufgrund der potentiell großen Datenmenge von Rasterdaten sollte die Veröffentlichung immer mit registrierten Datenquellen und nur in Ausnahmefällen mit kopierten Daten erfolgen.
Feature Service
Beim Veröffentlichen eines Feature Services mit der Kopieroption, werden die Daten auf den Server in die Managed Database (Relational Data Store) kopiert.
Abbildung 5: Feature Service mit kopierten Daten
Map Image und Image Service
Wenn ein Map Image Service mit der Kopierfunktion veröffentlicht wird, dann werden die Daten auf den Server kopiert. Die Kopie entspricht dem Ausgangsdatenformat. Wenn der Input den ArcGIS Pro Shapefiles zuzuordnen ist, werden z.B. auch Shapefiles zum Server kopiert. Wenn die Daten in einer GDB liegen, werden die Daten zum Veröffentlichen in eine File-Geodatabase gepackt und diese wird hochgeladen.
Die Input-Daten für Image Services werden beim Kopieren auf den Server in eine fGDB im „input“ Serververzeichnis des Servers geschrieben.
Abbildung 6: Map Service mit kopierten Daten
Tile und Vector Tile Service
Bei Tile Services werden vorgerechnete Kacheln („Tiles“), entweder mit Raster oder mit Vektorinformationen an den Klienten ausgeliefert. Die Speicherung der Kacheln erfolgt am Server in den Serververzeichnissen. Wenn die (Raster-) Kacheln am Server vorgerechnet werden sollen, steht nur der „Daten kopieren“ Workflow zur Verfügung. Beim Referenzieren von Datenquellen können (Raster-) Kacheln zusätzlich zu einem Map Image Service erzeugt werden. Vektorkacheln werden lokal in ArcGIS Pro gerechnet, dann als Paket zum Server hochgeladen. Am Server werden die Kacheln ebenfalls im Serververzeichnis für die Services bereitgestellt.
Scene Services
Beim Publizieren von 3D-Diensten aus ArcGIS Pro können die Originaldaten entweder kopiert oder referenziert werden. Für die Bereitstellung der Scene Services wird aber immer zusätzlich ein Cache im Tile Data Store angelegt. Bei einer Änderung der referenzierten Daten muss nur ein Update des Caches angestoßen werden.
Zusammenfassung
| Servicetyp | Anwendung zum Veröffentlichen | Genutzter Speicherort für die Daten des Dienstes | Bemerkung |
|---|---|---|---|
| Feature Service | ArcGIS Desktop** | Referenziert • Folder • Database Oder kopiert Relational Data Store | Wenn die Daten in einer Database (mit/ohne GDB Schema) oder in einem Relational Data Store liegen, können sie auch editiert werden. * |
| Map Viewer und Apps | Relational Data Store | Daten können editiert werden* | |
| Map Image Service | ArcGIS Desktop** | Referenziert Oder kopiert in Serververzeichnis | Rendering der Bilder erfolgt dynamisch am Server |
| Image Service | ArcGIS Desktop** | Referenziert Oder Kopiert GDB in Serververzeichnis | Rendering der Bilder erfolgt dynamisch am Server |
| Tile Service | ArcGIS Desktop** | Für die Tiles: Serververzeichnis | |
| Map Viewer | (Erzeugt aus Feature Layer) Tiles: Serververzeichnis | ||
| Vector Tile Service | ArcGIS Pro | Für die Tiles: Serververzeichnis | |
| Scene Service | ArcGIS Pro | Tile DataStore für 3D Daten Referenziert Feature Daten verbleiben in Quelle Oder kopiert in Relational Data Store | Bei einem referenzierten wird zusätzlich noch ein Map Image Layer erzeugt |
** ArcMap und ArcGIS Pro
Workflows
Editieren von Daten in (mobilen) Workflows
- Web Apps (aus Web AppBuilder oder einigen der Templates)
- ArcGIS Desktop
- Collector for ArcGIS
- Custom Apps (mit dem ArcGIS Runtime SDK oder der ArcGIS API for JavaScript)
- Survey123 for ArcGIS
Online Editieren
- Daten des Feature Service werden im Relational Data Store gespeichert
- Oder Daten des Feature Service werden in einer Database gespeichert (mit oder ohne GDB)
- Im Service ist „editieren“ aktiviert
- Nutzer haben das Recht zu editieren
Offline Editieren
- Daten des Feature Service werden im Relational Date Store gespeichert und die Synchronisierung ist aktiviert
- Oder Daten des Feature Service werden in einer Enterprise Geodatabase gespeichert. Global-IDs sind hinzugefügt, die Daten sind versioniert oder archiviert und die Synchronisierung ist aktiviert.
Weitere Infos zur Vorbereitung von Daten: https://enterprise.arcgis.com/en/server/latest/publish-services/windows/prepare-data-for-offline-use.htm
Wenn die Voraussetzungen erfüllt sind, können Collector for ArcGIS und ArcGIS Pro, sowie eigene Anwendungen, die mit dem ArcGIS Runtime SDK erstellt wurden, die Services offline nehmen, editieren und zu einem späteren Zeitpunkt wieder synchronisieren.
Daten aus Fachdatenbank
Prinzipiell können alle unterstützen Datenbanken in ArcGIS, sowohl in ArcGIS Desktop als auch in ArcGIS Enterprise, eingebunden werden.
Dies gilt auch für Datenbanken ohne ein GDB-Schema, also für Datenbanken, die nur attributive Tabellen haben und Geodaten im eigenen Format speichern.
Wenn die Datenbank (bzw. einzelne Tabellen) über einen Query Layer aus ArcGIS Desktop in ArcGIS Enterprise freigegeben sind, wird ein Feature Service erstellt, der von allen Klienten von ArcGIS genutzt werden kann. Unter bestimmten Voraussetzungen (DB-Schema und Berechtigungen passen) können die ArcGIS Klienten auch direkt Daten in dieser Datenbank über den Service editieren.
Nutzung von Analyse Tools
Direkt im Map Viewer von Portal for ArcGIS können Standard Analysen auf den eigenen Geodaten (bzw. Diensten) ausgeführt werden. Auch in Apps die mit dem Web AppBuilder gemacht wurden, stehen diese Standard Analysen zur Verfügung.
Wenn für ArcGIS Enterprise auch die optionalen ArcGIS Image Server und/oder ArcGIS GeoAnalytics Server bereitgestellt sind, stehen Analysen für Rasterdaten und Big Data Analysen im Map Viewer bereit.
Sobald ArcGIS Pro mit dem Portal verbunden ist, stehen auch dort diese Analysen zur Verfügung. Die Berechnung findet dann in ArcGIS Enterprise statt, nicht in ArcGIS Pro.
Mehr zu den verfügbaren Analysen:
Die von den Tools erzeugten Ergebnisse werden immer im ArcGIS Data Store gespeichert.
| Analysetools | Data Store Typ |
|---|---|
| Standard Tools | Relational Data Store |
| Geoanalytic Tools | Spatiotemporal Big Data Store |
| Raster Analytics Tools | Raster Data Store Und Relational Data Store, wenn Features oder Tabellen erzeugt werden |
Zusammenfassung
ArcGIS Enterprise bietet parallel zwei verschiedene Konzepte für das Verwalten von Datenquellen. ArcGIS verwaltet oder Nutzer verwaltet.
Je nach gewünschter Funktionalität und Service müssen für die Datenbereitstellung der eine oder andere Typ der Datenspeicherung gewählt werden.
Die Art der Funktionalität, der Workflow zum Veröffentlichen von Daten als Service und der gewünschte Servicetyp definieren die Art der Datenspeicherung.
