Uniklinik Tübingen: Beste Aussichten dank IT-Monitoring

Eine neue Lösung musste her

Die IT bildet die Basis für das Funktionieren des UKT auf allen Ebenen und jederzeit. Das bedeutet, dass auch die IT rund um die Uhr verfügbar sein muss. Störungen und Ausfälle müssen schnellstmöglich erkannt, gemeldet und behoben werden. In der Vergangenheit setzte das UKT dazu HostMonitor und OpenNMS ein. Zwei IT-Monitoring-Tools, eine Kombination aus OpenSource und properitärer Software, welche bei Einrichtung und Bedienung einiges an Fachkompetenz und Erfahrung voraussetzen. Dieses Monitoring erforderte mehr fachliche Ressourcen als tatsächlich bereitstanden. Das bedeutete in der Praxis einige schwerwiegende Einschränkungen:

• Nur die wichtigsten Systeme wurden überwacht. Vor allem die Aufnahme von neuen Systemen lief hinterher.
• Ein weitergehendes Automatisieren (Aufnahme neuer Windows Server, auslösen von Prozessen) fand nicht statt, weil einerseits die Tools nur bedingt die Möglichkeit dazu bieten, andererseits aber auch schlichtweg Zeit und Ressourcen für aufwendige Automatisierungen fehlten.
• Im Störungsfall gingen Alarmierungen an das Bereitschaftsteam, das dann aktiv werden musste – tags wie nachts, wochentags wie am Wochenende oder an Feiertagen.

Auf Dauer war der Zustand nicht tragbar, eine Alternative musste her. Bei der Evaluierung wurden im Wesentlichen die folgenden Aspekte in den Vordergrund gestellt:

Zukunftssicherheit

Im ersten Schritt sollte das neue Monitoring-System das etablierte Monitoring durch ein einfacheres und leistungsfähigeres System ersetzen. Gleichzeitig sollte es aber auch für kommende Erweiterungen des Monitorings gerüstet sein. Das UTK ist vor allem ein medizinisches Hochleistungszentrum. Jenseits der IT existieren zahlreiche medizinische Systeme und Geräte. Eine Einbeziehung dieser Systeme in ein zentrales Monitoring zusammen mit der IT kann eine schnellere Lokalisierung von Störungen und damit ein schnelleres Beheben derselben ermöglichen. Allerdings muss die eingesetzte Lösung entsprechende Methoden zum Monitoring medizinischer Umgebungen unterstützen.

Nach einer gründlichen Evaluierung fiel die Entscheidung auf Paessler PRTG. Unter anderem war auch die Verbreitung der Lösung ein wichtiger Faktor bei der Entscheidung, da einige der zuständigen Kolleg:innen bereits Erfahrungen mit PRTG vorweisen können und PRTG auch in einem Teilbereich schon seit einiger Zeit beim UTK im Einsatz war.

Die IT im Blick: Entlastung dank Zugriffskontrolle

Heute überwacht das UKT die IT-Umgebung mit PRTG auf zwei Ebenen mit insgesamt mehr als 18.000 Messpunkten, den sogenannten PRTG Sensoren. Torsten Schoen zeichnet als Service-Owner PRTG für das Monitoring der Basis-Systeme verantwortlich, sprich die Hardware, die Server und die wichtigsten zentralen Applikationen. Das beinhaltet die VMware-Umgebung, NetApp, SAN Storage, die Windows- und Linux-Betriebssysteme, Citrix, SQL und Oracle-Datenbanken inklusive der Oracle-Hypervisor-Umgebung, die SAP-Integration und vieles mehr. Unter anderem auch einige medizinische Applikationen, die als klinische Prozesse bedeutend sind.

Universitätsklinikum Tübingen: Übersicht der Server

Auf der zweiten Ebene haben die Expert:innen der Fachabteilungen einen eingeschränkten Zugriff auf PRTG: Sie können die für sie relevanten Dienste, Geräte und Applikationen selbstständig mit PRTG überwachen, ohne dabei Zugriff auf das Monitoring der Basis-Komponenten zu haben. Schoen erklärt den Hintergrund:

„Viele Kolleg:innen in den Fachabteilungen haben genaue Vorstellungen, wie ihre Geräte und Services überwacht werden müssen. Dank der einfachen und verständlichen Bedienung von PRTG können sie das ohne großen Schulungsbedarf selbst einrichten. Allerdings sind sie nicht so vertraut mit den darunterliegenden Servern und dem Netzwerk. Indem wir ihnen in PRTG ausschließlich Zugriff auf Systeme in ihrem Kompetenzbereich geben, können sie ihr Monitoring selbst einrichten, ohne dabei auf die Basis-Komponenten zugreifen zu können. Sprich, sie können nicht versehentlich in Bereichen außerhalb ihres Kompetenzbereiches auf das Monitoring zugreifen und so unter Umständen Probleme verursachen, indem sie beispielsweise das Monitoring für einen Server pausieren oder ganze Sensoren löschen. Auf der anderen Seite erspart uns diese Trennung von zentralem und dezentralem Monitoring eine Menge Zeit und Arbeit, die wir als Nicht-Fachabteilung sonst in das Monitoring der Fachbereiche investieren müssten.“

Die Rechtezuweisung steuert Schoen über PRTG Probes – Polling Engines, die mit PRTG in beliebiger Anzahl einsetzbar sind. Im Störungsfall wird die Rufbereitschaft alarmiert, während gleichzeitig auch die Expert:innen der Fachabteilung informiert werden. Die Alarmierungen und Benachrichtigungen sowie das Auslösen von automatisierten Aktionen werden in PRTG anhand von Bibliotheken und Tags gesteuert.

Universitätsklinikum Tübingen: Übersicht über den Exchange

Universitätsklinikum Tübingen: Netzwerk Map

Automatisierung und Entlastung der Bereitschaft

In der Vergangenheit wurde bei Störungen außerhalb der normalen Arbeitszeiten stets das Bereitschaftsteam alarmiert. Da musste dann der/die zuständige Kolleg:in schon mal Samstagnacht um 3:00 Uhr aus dem Bett, nur um einen Server zu booten. Mit PRTG ist Schoen jetzt in der Lage, mehrere Komponenten in einem Prozess zusammenzufassen und so auch Redundanzen abzubilden. Fällt jetzt beispielsweise einer von drei redundanten Servern aus, wird maximal eine E-Mail an das zuständige Team geschickt, aber kein Alarm an das Bereitschaftsteam ausgelöst. Aber auch bei Ausfällen von nicht redundant vorhandenen Systemen sorgt Schoen mit PRTG für eine Entlastung des Bereitschaftsdienstes, indem er automatisierte Routinen einsetzt, die beispielsweise Dienste neu starten, einen Server booten oder eine Gruppe von Sensoren pausieren können.

Als Beispiel führt Schoen den Spoolerservice seiner Printserver an. Wenn sich in der Vergangenheit ein Service aufhängte oder abstürzte, wurde umgehend die Bereitschaft alarmiert – rund um die Uhr. Heute bootet PRTG erst einmal den Printserver und erst wenn das Problem damit nicht innerhalb einer definierten Zeitspanne behoben ist, geht eine Alarmierung raus.

Schoen fasst das Ergebnis zusammen:

„Dank der Business-Process-Sensoren und der zahlreichen Möglichkeiten zur Automatisierung in PRTG haben wir es geschafft, unsere Bereitschaftsteams deutlich zu entlasten, ohne dass die Zuverlässigkeit unserer Systeme darunter leidet. Im Gegenteil: Wenn außerhalb der offiziellen Dienstzeit die Möglichkeit eines automatischen Reboots durch PRTG besteht, ist das immer schneller als eine Alarmierung an die Rufbereitschaft, die immer einen gewissen Zeitraum an Reaktionszeit mitbringt, bevor Maßnahmen ergriffen werden. Wir haben hier im Klinikum 24/7-Betrieb und im Extremfall hängen Leben von zuverlässig funktionierenden Systemen ab. Je schneller wir Störungen beheben können, desto besser und zuverlässiger werden unsere Systeme und desto besser können wir unsere Patienten versorgen.“

Die Zukunft im Blick

Ein wichtiges Argument bei der Entscheidung für PRTG war die Zukunftssicherheit. Im ersten Schritt geht es um das Monitoring der IT und der damit eng verknüpften medizinischen Systeme. Allerdings ist ein Krankenhaus kein statisches System. Die IT wächst und wird immer wichtiger. Auch die medizinischen Umgebungen werden in immer stärkerem Maß digitalisiert und mit der IT verzahnt. Daher war es ein zentrales Anliegen, jetzt auf eine Lösung zu wechseln, die auf lange Sicht als alleiniges Monitoring-System ausreicht und auch kommenden Anforderungen gewachsen ist. Dabei sind mehrere Aspekte wichtig:

• Skalierbarkeit: Die aktuelle PRTG Installation stößt mit 18.000 Sensoren an ihre Leistungsgrenzen. Das UKT setzt vorausschauend eine PRTG Enterprise Monitor Lizenz ein, mit der es beliebig viele zusätzliche PRTG Server installieren kann, lizenztechnisch muss lediglich die Zahl der Sensoren erhöht werden.
• Dezentralisierung: Die Planung des UKT hinsichtlich des Netzwerks und der IT-Infrastruktur sieht eine stärkere Segmentarisierung und Dezentralisierung vor. Dank der PRTG Enterprise Monitor Lizenz und der Remote Probes bietet PRTG alle Features, um diese Maßnahmen Monitoring-seitig zu unterstützen.
• Einbeziehung IT-ferner Komponenten: Auf lange Sicht soll das Monitoring im Universitätsklinikum Tübingen auch auf Bereiche jenseits der IT ausgeweitet werden. Das umfasst sowohl medizinische Geräte und Systeme als auch beispielsweise die Gebäudetechnik im Rechenzentrum. PRTG ist dank der nativen Unterstützung von Methoden wie DICOM und HL7 im medizinischen Bereich sowie von Modbus oder MQTT in der Gebäudetechnik umfassend darauf vorbereitet.
• Krankenhauszukunftsgesetz: Last but not least spielt ein umfassendes IT-Monitoring auch eine wichtige Rolle bei der Erfüllung der Anforderungen des Krankenhauszukunftsgesetzes, indem es Sicherheit und Zuverlässigkeit der IT-Umgebung gewährleistet und verbessert.