Fraunhofer-Institut für Integrierte Schaltungen IIS
Fraunhofer-Institut für Integrierte Schaltungen IIS
Abstract operating room environment representing the HaptiVisT research project on haptic-visual surgical training, digital twins, and immersive medical simulation.
© Parilov – stock.adobe.com

HaptiVisT

Haptisches Feedback, Virtual Reality und patientenspezifische Bilddaten für das chirurgische Training

© Parilov – stock.adobe.com

Chirurgische Eingriffe am digitalen Zwilling trainieren

Sehen, fühlen, üben: Vom digitalen Zwilling zum OP-Training

Wie lassen sich komplexe chirurgische Eingriffe trainieren, bevor sie am Patienten durchgeführt werden? Dieser Frage widmete sich das Forschungsprojekt HaptiVisT. Ziel war es, medizinische Bilddaten, Virtual Reality und haptisches Feedback zu einem realitätsnahen Trainingssystem für die chirurgische Aus- und Weiterbildung zu verbinden.

Besonders bei Eingriffen in anatomisch anspruchsvollen Bereichen sind Erfahrung und Routine entscheidend. Gleichzeitig sind Trainingsmöglichkeiten begrenzt und der Zugang zu spezialisierten Ausbildungszentren oft nur eingeschränkt möglich. Digitale Trainingssysteme eröffnen hier neue Möglichkeiten, chirurgische Abläufe sicher, reproduzierbar und unabhängig von Zeit und Ort in sogenannten »Serious Games« zu üben.

Im Rahmen des Projekts entstand der virtuelle Demonstrator »HandsOn.surgery«. Auf Basis patientenspezifischer CT- und DVT-Daten können Chirurginnen und Chirurgen individuelle Eingriffe an einem digitalen Zwilling des Patienten trainieren – ohne Risiko, jederzeit und beliebig oft. Haptische Rückmeldungen ermöglichen dabei nicht nur das Sehen, sondern auch das Fühlen virtueller Gewebestrukturen. 

Neben dem Trainingssystem entstanden neue Ansätze zur Modellierung chirurgischer Instrumente, zum haptischen Rendering biologischer Strukturen und zur Gestaltung intuitiver Mensch-Maschine-Interaktionen. Die gewonnenen Erkenntnisse leisten bis heute wichtige Beiträge zu Forschungsfeldern wie medizinischer Robotik, digitalen Zwillingen und immersiven Trainingssystemen.

Der Demonstrator »HandsOn.surgery« kombiniert reale CT-/DVT-Daten, stereoskopische Visualisierung und haptisches Feedback zu einer immersiven Trainingsumgebung für chirurgische Eingriffe.

Vom Patientenbild zum virtuellen Training

Im Projekt HaptiVisT wurden zentrale Technologien für ein haptisch-visuelles Trainingssystem erforscht und in einem virtuellen OP-Trainer demonstriert.

Digitale Zwillinge

Patientenspezifische CT- und DVT-Daten bilden die Grundlage individueller Trainingsszenarien. Das Fraunhofer IIS entwickelte Verfahren zur Segmentierung komplexer anatomischer Strukturen und zur Erstellung digitaler Zwillinge für chirurgische Simulationen.

Haptisches Feedback

Realistische Kraft- und Berührungsrückmeldungen ermöglichen das Training chirurgischer Eingriffe in einer virtuellen Umgebung. Das Fraunhofer IIS erforschte die haptische Modellierung biologischer Gewebe und begleitete die Integration und Kalibrierung des Haptiksystems.

Evaluation der Mensch-Maschine-Interaktion

Das Fraunhofer IIS evaluierte die Interaktion zwischen Anwendern und System mit Blick auf Realismus, User Experience und Trainingseffekte.

mehr erfahren

Das Wichtigste auf einen Blick

Alle ausklappen Alle einklappen

  • Im Rahmen des Projekts HaptiVisT entstand ein haptisch-visuelles Trainingssystem, das virtuelle Realität, patientenspezifische Bilddaten und haptisches Feedback zu einer immersiven Lernumgebung verbindet. Ziel war es, chirurgische Eingriffe realitätsnah erfahrbar zu machen und neue Wege für Aus- und Weiterbildung in der Medizin zu erforschen.

  • Mock-Up HaptiVisT – Haptisch-visuelles Training von Cochlea-Implantationen
    © Fraunhofer IIS
    Mock-Up HaptiVisT – Haptisch-visuelles Training von Cochlea-Implantationen

    Patientenspezifische Computertomographie-(CT-) und Digitale-Volumentomographie-(DVT-)Daten werden zu einem digitalen Zwilling verarbeitet. Auf Basis dieser dreidimensionalen Bilddaten lassen sich chirurgische Eingriffe in einer virtuellen Umgebung visualisieren. Über einen Haptikarm können Anwenderinnen und Anwender mit virtuellen Instrumenten interagieren und durch Kraftfeedback Widerstände sowie Gewebeeigenschaften während des Eingriffs unmittelbar haptisch wahrnehmen.

  • Variation der knöchernen Transparenz und unterschiedlicher Sichtbarkeit der Risikostrukturen im Mittelohr
    © Fraunhofer IIS
    Variation der knöchernen Transparenz und unterschiedlicher Sichtbarkeit der Risikostrukturen im Mittelohr. Die Nerven (Corda Tympani, Nervus facialis) sind in gelb dargestellt, die Hörschnecke (Cochlea) und Bogengänge (Gleichgewichtssinn) in graublau. Von links nach rechts nimmt die Transparenz ab und der Schwierigkeitsgrad zu.

    Der Schwerpunkt lag auf Eingriffen am Felsenbein, wie sie beispielsweise bei Cochlea-Implantationen durchgeführt werden, sowie auf Anwendungen in der Handchirurgie. Beide Anwendungsfelder zeichnen sich durch komplexe anatomische Strukturen und hohe Anforderungen an Präzision und chirurgische Erfahrung aus und dienten daher als beispielhafte Szenarien für die Evaluation des Trainingssystems.

  • Das Trainingssystem wurde während der gesamten Projektlaufzeit wissenschaftlich begleitet und gemeinsam mit medizinischen Expertinnen und Experten evaluiert. Im Fokus standen dabei Realismus, Benutzerfreundlichkeit, wahrgenommener Trainingsnutzen sowie die Qualität der haptischen und visuellen Interaktion.

    Ziel war es, die technische Umsetzung, die Nutzbarkeit sowie den wahrgenommenen Trainingsnutzen des Systems systematisch zu untersuchen und die Ergebnisse fortlaufend in die Weiterentwicklung einfließen zu lassen. Hierfür entwickelte das Fraunhofer IIS ein Evaluationskonzept mit geeigneten Kriterien, Methoden und Vorgehensweisen zur Bewertung haptisch-visueller Trainingssysteme.

  • HaptiVisT verbindet zentrale Themenfelder moderner Mensch-Maschine-Interaktion, darunter digitale Zwillinge, haptische Interaktion, virtuelle Trainingsumgebungen und die wissenschaftliche Evaluation komplexer Assistenzsysteme.

    Die im Projekt entwickelten Ansätze zur Modellierung biologischer Strukturen, zum haptischen Feedback sowie zur Gestaltung intuitiver Interaktionen liefern wichtige Impulse für aktuelle Forschungsarbeiten in den Bereichen Robotik, medizinische Simulation und digitales Training.