Holistic Intervention Glove System – Projekt Whole'O'Hand

Die Ausgangssituation

Der möglichst schmale Schlüsselloch-Zugang bei der minimal­invasiven Chirurgie (MIC) reduziert den Kollateralschaden während des Eingriffs und beschränkt gleichzeitig die Wahrnehmung, die Orientierung ebenso wie die Bewegungsfreiheit des Chirurgen am Situs. Zur Kompensation dieser Einschränkungen war die Durchführbarkeit der MIC schon immer von der Verfügbarkeit technischer Hilfsmittel abhängig, z.B. Endoskopen, Lichtquellen etc.

Mit dem aktuellen Instrumentarium der MIC werden die ständig wachsenden Möglichkeiten der Mechatronik, Mikroelektronik und Informationstechnik jedoch kaum ausgeschöpft. Außerdem werden diese Instrumente in der Regel als Produkte ohne funktionale Schnittstellen zu anderen Geräten ausgelegt, so dass die Potenziale durch einen höheren Integrationsgrad beim Bauraum oder der komplementären Nutzung einzelner Systeme weitgehend verloren gehen.

An diesem Punkt setzt das Projekt »Whole'O'Hand« an, an dem die Fraunhofer-Institute für Integrierte Schaltungen IIS, Produktionstechnik und Automatisierung IPA und Graphische Datenverarbeitung IGD beteiligt sind. Das Projekt wurde seit 2008 von der Fraunhofer-Gesellschaft gefördert und lief über einen Zeitraum von drei Jahren.

Die Zielsetzung

Im Projekt »Whole'O'Hand« wird ein Endoskopiesystem entwickelt, das die unterschiedlichen Ansätze der Robotik, Messtechnik, Computer Assistierte Diagnose (CAD) und Navigation zu einer leistungsfähigen Einheit verbindet, die den Chirurgen maximal bei der Orientierung und Ausführung eines Eingriffs unterstützt. Neben den technischen Einzelentwicklungen soll das Potenzial der integrierten MIC-Systeme für die Zukunft experimentell aufgezeigt und dadurch Impulse für zukünftige Systemkonzepte und Instrumente erzeugt werden. Für diesen Nachweis wurden als Szenarien die minimalinvasiv durchgeführte Lebertumorresektion und die Blasenspiegelung (Zystoskopie) ausgewählt, die am Projektende in einer Tieroperation möglichst realistisch nachgestellt werden sollen.

Das System wird in »Whole'O'Hand« für ein typisches Blasenspiegelungs-Szenario integriert, bei der das Zystoskop in die Blase eingeführt wird und der Arzt die Möglichkeit bekommt, die Abbildung auf einem hochauflösenden Monitor zu beurteilen. Treten Auffälligkeiten auf der Organwand auf, unterstützt das System bei der Detektion und Bewertung durch korrigierbare Hypothesen. Auf Basis der gewählten Region erstellt das System schließlich einen Diagnosevorschlag, den der Arzt in seine weitere Behandlung einfließen lassen kann. Die Bedienung des Systems kann über eine ergonomische Touch­screen-Benutzeroberfläche erfolgen.

Das Einsatzszenario

Der Einsatz des »Whole'O'Hand«-Systems beginnt mit dem Laden der chirurgischen Planungsdaten in das Navigationssystem und der Einrichtung der Benutzerschnittstelle am Operationstisch. Während der gesamten Operationszeit kann die Operation von einem Leitstand aus koordiniert und alle Systeme zentral gesteuert werden. Die Planungsdaten werden für die Durchführung der Operation vom System aufgearbeitet.

Im ersten Schritt werden auf der Basis von präoperativ gewonnenen und entsprechend aufbereiteten Computertomographie-Daten (CT-Daten) die Positionen der Trokare geplant und dem Chirurgen durch Projektion auf die Körperoberfläche des Patienten angezeigt. Dadurch wird ein optimaler Zugang für den gesamten Eingriff gewährleistet, der den Arbeitsraum der Trägersysteme berücksichtigt. Das Instrumententrägersystem wird an die so ermittelte Position am Operationstisch geschoben. Es unterstützt den Chirurgen als Instrumentenhalter und Führungshilfe. Für »Whole'O'Hand« wird ein Instrumentenwechselsystem entwickelt, das die störenden Unterbrechungen während des Eingriffs durch den Austausch von Instrumenten vermeidet. Nach der Positionierung der Trokare wird ein 3D-Ultraschalldatensatz der Leber erzeugt und mit dem vorhandenen, präoperativ erzeugten Planungsdatensatz in einen räumlichen Bezug gesetzt. Dem Chirurgen stehen dadurch neben dem Endoskopbild auch während der Resektion ständig aktualisierte Planungsdaten zur Verfügung. Die Schnittbewegung wird ebenfalls durch 3D-Ultraschallaufnahmen überwacht, so dass dem Chirurgen falls notwendig Abweichungen von den Planungsdaten signalisiert werden können. Im Verlauf der Resektion werden die Planungsdaten auf Basis der Ultraschalldaten ständig den wechselnden Umgebungsbedingungen durch die Resektion angepasst.

Im zweiten Anwendungsszenario der Zystoskopie wird die Blasenoberfläche mittels kombinierter Weißlicht- und Fluoreszenzendoskopie auf Tumore untersucht. Bei diesem Verfahren werden Videobilddaten analysiert und mit Referenzbildern aus einer Datenbank verglichen. Auf diese Weise kann dem Urologen eine Diagnoseunterstützung zur Verfügung gestellt werden.

Vom ersten Schritt an richtig liegen: Oberflächenscanner

Whole'O'Hand 3D-Oberflächenscanner
© Fraunhofer IIS
Whole'O'Hand 3D-Oberflächenscanner

Im Rahmen der Planung wird der gewünschte Operationsbereich im Patienten festgelegt. Diese Daten werden später genutzt, um die minimalinvasiven Zugänge für die Operation zu bestimmen. Dies ist notwendig, da die verwendeten Trägersysteme nur einen begrenzten Bewegungsraum haben. Um diesen optimal ausnutzen zu können, ist eine exakte Positionierung zwischen Patient und Trägersystemen erforderlich. Dafür kommt ein 3D-Scanner zum Einsatz, der einen Oberflächenscan des Patienten auf dem Operationstisch erstellt. Für diese Aufnahme findet ein berührungsloses, optisches Verfahren Verwendung, so dass der Patient nicht zusätzlich belastet wird. Das so gewonnene Oberflächenmodell wird mit den CT-Daten registriert, um so eine Verbindung zwischen präoperativer Planung und intraoperativer Situation zu erzielen. Dadurch ist es möglich, die geplanten Zugangsdaten auf den realen Patienten zu übertragen und mit Hilfe einer Projektionseinheit auch zu visualisieren. Nach der Insufflation des Patienten werden die Zugänge für die beiden Trägersysteme gesetzt. Dazu müssen die beiden so in Position gebracht werden, dass ein direkter Zugang zum Operationsgebiet möglich ist. Hierbei wird der Arzt durch eine Führungshilfe für die Trägersysteme unterstützt, die die gewünschte Ausrichtung der Trägersysteme zum Patienten sicherstellt.

Immer auf Kurs: Navigation und Registrierung

Aus präoperativen CT-Aufnahmen des Abdomen und intraoperativen 3D-Ultraschall-Aufnahmen (3D-US-Aufnahmen) wird das Gefäßsystem der Leber extrahiert und in eine symbolische Beschreibung überführt. Anhand dieser Darstellung errechnet der Computer die Deformation der Leber und überträgt die präoperativ geplanten Resektionsvorschläge und Schnittlinien auf den intraoperativen Situs. Dazu werden Ultraschallaufnahmen kontinuierlich, also auch während der Resektion, ausgewertet. So ist eine durchgängige Überwachung des Resektionsvorgangs und Einhaltung der Schnittlinien gewährleistet.

Um zu einer symbolischen Beschreibung des Gefäßsystems zu gelangen, müssen die CT-/3D-US-Aufnahmen mehrere Zwischenschritte durchlaufen. Am Anfang steht eine Segmentierung der Lebergefäße. Daraus wird im nächsten Schritt ein Skelett berechnet, welches die Gefäßmittellinien repräsentiert. Anschließend wird aus dem Skelett die symbolische Beschreibung des Gefäßgraphen anhand von Mustererkennungs-Algorithmen generiert.

Zur Registrierung der präoperativen Planungsdaten mit intraoperativen Ultraschallaufnahmen werden in den beiden Gefäßbäumen übereinstimmende Verzweigungen gesucht. Sie werden verwendet, um daraus die Deformation der Leber zu berechnen. Mit diesen Informationen können die Planungsdaten dann verformt und intuitiv visualisiert werden. Zusätzlich werden die aktuellen Positionen der Instrumente in das Bild überlagert.

Komfort und mehr: Der Instrumententräger

Whole'O'Hand Instrumententräger
© Fraunhofer IIS
Whole'O'Hand Instrumententräger

Im Konzept von »Whole'O'Hand« ist der Einsatz von zwei Manipulatoren als Trägersysteme vorgesehen. Für den Prototyp werden als Manipulatoren zwei Industrieroboter verwendet. Sie werden auf schlanken mobilen Plattformen oder durch eine Deckenmontage so in das OP-Setup integriert, dass sie die Prozesse im Operationsaal und den Arbeitsraum möglichst wenig einschränken. Außerdem ermöglicht das Konzept den Einsatz der Manipulatoren/ Roboter auch für andere Anwendungen.

An den Manipulatoren werden die beiden Instrumentenwechselsysteme befestigt. Der Instrumententräger wird mit Kraftmessdosen ausgestattet, die mit der Systemsteuerung verbunden sind. Auf diese Weise kann der Chirurg die Instrumente bzw. das Instrumentenwechselsystem leicht und präzise bewegen und bei Bedarf fixieren. Der Instrumententräger lässt sich über seine Steuerung unmittelbar an das Planungssystem koppeln. Bei der Resektion wird ein Verlassen der dynamischen Schnittlinie durch Bremsen oder Blockieren der Achsen angezeigt (»Active Constraints«).

In einer späteren Version von »Whole'O'Hand« können mit diesem Konzept auch teilautomatisierte Funktionen vom Trägersystem übernommen werden.

Ein Instrument für alles: Das Instrumentenwechselsystem

Das Instrumentenwechselsystem von »Whole'O'Hand« erlaubt einen automatisierten und schnellen Austausch der chirurgischen Instrumente direkt am Situs. Die konzeptionelle Kernidee ist die kapselförmige Ausführung der zu wechselnden Instrumente, die in einem Trokar zwischen Situs und einem außerhalb des Körpers befindlichen Magazin automatisch ausgetauscht werden können. Am proximalen Ende des Arbeitskanals sind die Kapseln der Wechselinstrumente zur Energie- und Informationsübertragung elektrisch kontaktierbar, so dass neben den elektrisch aktiven Effektoren auch sensorische Elemente einsetzbar sind. Das Funktionsspektrum umfasst dabei alle für minimalinvasive Eingriffe typischen Effektoren und Sensoren, z.B. Greifer, Clip-Applikatoren, Scheren und Skalpelle, elektrisch aktive Instrumente wie HF-Resektoren, Ultraschallsysteme und optische Sensoren etc.. Der Trokar verbleibt während des Effektor- bzw. Sensorwechsels im Körper, so dass Zeit gespart, der Ablauf für den Chirurg komfortabler gestaltet und störende Unterbrechungen der interventionellen Maßnahmen vermieden werden können.

Hören und sehen: 3D-Ultraschall für Navigation und Resektionskontrolle

Zur Navigation und Ortung von Tumoren in der Leber wird ein Ultraschallsensor eingesetzt, der dreidimensionale Bilddaten der Leber liefern kann. Diese Daten werden digital vorverarbeitet, mit den präoperativ gewonnenen Planungsdaten registriert und dafür genutzt, den Resektionsprozess des Chirurgen zu visualisieren und etwaige Verletzungen von geplanten Schnittgrenzen zu signalisieren.

Durch Überstreichen des Zielorgans mit der Sonde werden Ultraschalldaten derart aufgezeichnet und einer Auswertungseinheit übermittelt, dass diese daraus ein möglichst das gesamte Organ umfassendes dreidimensionales Komplettvolumen berechnen und aktualisieren kann. Dabei kommen neben der mechanischen Positionsbestimmung aus dem Trägersystem noch weitere Modalitäten zur Bewegungserfassung zum Einsatz, z.B. endoskopisches oder elektromagnetisches Tracking. Aus der automatischen oder interaktiven Segmentierung relevanter Organstrukturen erfolgt mit dem Navigationsystem (siehe oben) eine Registrierung mit präoperativ gewonnenen CT-Daten. Dadurch können die in der vorausgegangenen Planung festgelegten Tumorbereiche und Segmentgrenzen in den Volumendaten visualisiert werden. Die Bild- und Volumendaten zusammen mit Angaben zu Schnittgrenzen und geplanter Schnittführung werden dem Chirurgen auf einem übersichtlich gestalteten Monitor visualisiert. Während des Schnittprozesses hat der Chirurg die Möglichkeit, weitere Ultraschallvolumina aufzuzeichnen, anhand derer das initiale Komplettvolumen aktualisiert wird. Dadurch ist es möglich, die Operation an der Leber zu überwachen und in der verformten Visualisierung die geplanten Schnittgrenzen anzuzeigen. Bei einer Verletzung des geplanten Schnittkorridors wird der Chirurg frühzeitig auf seinen Fehler aufmerksam gemacht und kann seinen Eingriff korrigieren.

Vom Bild zur Diagnose: Multimodale Bildauswertung zur Diagnoseunterstützung

Um Sicherheit über die Malignität und den Zustand von Läsionen zu erhalten, ist bis dato eine konventionelle Biopsie mit histologischer Bewertung unentbehrlich. Um die Anzahl der notwendigen Biopsien durch eine optimal gezielte Entnahme zu reduzieren und dem Urologen trotzdem eine hohe Sicherheit in der Untersuchung und Behandlung von Läsionen zu bieten, soll diese Komponente eine semi-automatische, bildbasierte Gewebeerkennung zur objektiven Diagnoseunterstützung bereitstellen. Mittels einer hochauflösenden endoskopischen Kamera und einer speziellen Beleuchtung werden texturelle, morphologische, farbliche und ggf. funktionelle Parameter mit einer Kombination aus Weißlicht und Fluoreszenzlicht zur Charakterisierung der Gewebeproben erfasst. Durch Nutzung neuartiger Verfahren zur Bildanalyse und Bildinterpretation ist es somit möglich, entartetes Gewebe oder Vorstufen solcher Veränderungen frühzeitiger als bisher zu erkennen und einen Diagnosevorschlag zu erstellen. Das automatische Auffinden ähnlicher Referenzbilder anhand des Bildinhaltes unterstützt das fallbasierte Schließen bei der Befundung. Mittels dieses Verfahrens können passende Referenzfälle mitsamt den relevanten Anamnesedaten während der Untersuchung angezeigt werden.

Mehr erfahren

 

Whole'O'Hand: Holistic-Intervention-Glove-System

Projektpartner: Fraunhofer-Institut IPA

Weitere Informationen

Ihr Entwicklungspartner für die medizinische Bildanalyse

Sprechen Sie uns an – gemeinsam finden wir eine Lösung für Ihre Herausforderung in der medizinischen Bildverarbeitung.

Softwareentwicklung zur Auswertung und Aufbereitung von Bilddaten

Unser Fokus sind Problemstellungen rund um die Mikroskopie und die Endoskopie.

Medical Image Analysis – Publikationen

Hier finden Sie unsere Veröffentlichungen gegliedert nach Jahren.