Digitale Pathologie

MIA - Microscopy Image Analysis

Unsere Bildanalyse-„Apps“ integrieren wir in unsere MIA-Software-Plattform. MIA besteht aus

  • Virtual Microscopy Viewer
    • ausgelegt für pyramidale Hellfeld- und Fluoreszenz Whole-Slide Images 
    • Unterstützung für z-Layer (ermöglicht nachträgliches Fokussieren)
    • Synchronisiertes Grid-View von bis zu 4x4 Slides gleichzeitig
    • Support für mehrere Gewebeflächen pro Objektträger
    • Mächtiges Annotationssystem
    • UI ist skinnable/customizable in Ihrem Design
  • App-Center für Bildanalyse Apps
    • Ergebnisse können live visualisiert werden.
    • Hellfeld und Fluoreszenz
    • Auswertung von ROI, Sichtfeld oder Whole-Slide
    • Batch-Analyse mehrerer Slides
    • KI oder „klassische“ Computer Vision
  • Erweiterbares WSI Format
    • ausgelegt auf Hochdurchsatz-Erstellung
    • Unterstützung für GPU-basiertes Encoding für High-Speed Scanner
    • JPEG2000, JPEG oder weitere Kompressionsformate
    • „sparse“ – gescannte Gewebeareale müssen nicht zu einer rechteckigen Fläche ausgefüllt werden
    • Kacheln können beliebig positioniert sein – es gibt kein vordefiniertes Raster

Für unsere MIA-Plattform bieten wir C++ oder .NET APIs an. Der MIA-Viewer kann auch „schlüsselfertig“ lizenziert werden.  

Ziel: Unterscheidung verschiedener Gewebetypen und Detektion von Adenokarzinomen in H&E gefärbten Darmgewebeschnitten. Bestimmung der Tumorfläche, und –komposition sowie der Invasionsfront.  

Partner: Gemeinsame Initiative mit dem Pathologischen Institut des Uni-Klinikums Erlangen

Aktueller Status:

  • Erstellung der Datenbank abgeschlossen
  • Verschiedenste KI-Modelle trainiert, die das Gewebe klassifizieren und so eine Karte erstellen
  • Verschiedenste Methoden zur Datenaugmentierung evaluiert und eingesetzt
  • Verfahren durch intelligente Vorverarbeitung beschleunigt
  • Erneutes Scannen der Schnitte mit unterschiedlichen Scannern, um die Datenbank robust gegenüber verschiedener Scanningsystemen zu machen
  • Publicaton pending

Datenbank:

  • Datenbank von 157 WSIs hand-annotiert
  • 30 Mio. gelabelte Kacheln (je nach CNN, ca 250x250 px)(227x227)
  • Verschiedene Gewebeklassen: Tumor-Stroma, Tumor-Zell-Cluster, Fett, Muskel, Bindegewebe, Blutgefäße, Entzündung, Nekrose, Schleim

Unsere Lösung:
End-to-End Training des Convolutional Neural Network

Projekt PathoScan: Automatisierte Digitalisierung in der Routinepathologie

PathoScan: Künstliche Intelligenz in der Routinepathologie
© Vshyukova - stock.adobe.com
PathoScan – Optimierung von morphologischen Arbeitsprozessen durch ein automatisiertes digitalisiertes Pathologiesystem

Ziel: Digitaler und automatisierter Mikroskopie-Workflow incl. Pre-Scan QC anhand Übersichtskamera

Partner: PreciPoint GmbH, Universität Regensburg, Technische Universität München TUM, HTI bio-X GmbH

             

Aktueller Status:

  • Systematische Sammlung und Priorisierung der möglichen Fehlerartefakte, die während der Probenpräparation auftreten können
  • Sammlung und Digitalisierung von problematischen Objektträgern

Datenbank: Aktuell werden Objektträger in Regensburg und München gesammelt und anschließend digitalisiert. Anhand der Datenbank werden die Wissenschaftler am Fraunhofer IIS die Bildanalyse-Algorithmen entwickeln und validieren.

Unsere Lösung:

  • Färbung (HTI Smart Automation) und Digitalisierung (PreciPoint) mittels vollautomatisiertem Digitalisierungsworkflow
  • Automatische Bildanalyse anhand der Übersichtskamera zur Detektion verschiedener Qualitätsprobleme wie etwa überstehender Deckgläser, Luftblasen, Fremdkörper, Falten, Risse
  • Detektion Über/-Unterfärbung oder fehlerhafter Färbung durch objektive Quantifizierung der Färbung
  • Kosten- und zeiteffiziente Verfahren zur Qualitätssicherung
-------------------------------------------------
Presse

Tissue Pathology: PathoScan project - Automated digitalization in routine pathology

Universität Regensburg: Kick-Off des Projekts PathoScan

weiter.vorn Magazin (Fraunhofer Gesellschaft): Corona auf der Sprur (Interview mit Prof. Dr. Brochhausen-Delius (Universität Regensburg) und Volker Bruns

 

Tumor Budding

© Fraunhofer IIS

Tumor Budding ist ein unabhängiger Prognosefaktor für Lymphknotenmetastasen bei kolorektalen pT1-Karzinomen und ein Indikator für die Überlebensrate bei Darmkrebs in Stadium II1.

Ziel: Automatisertes Scoring

Partner: Gemeinsame Initiative mit dem Pathologischen Institut des Uni-Klinikums Erlangen

Aktueller Status:

  • Entwicklung einer automatisierten Analyse von immunhistochemischen Färbungen (pan-Cytokeratin – PCK) für die
  • Detektion der Tumor-Invasions-Front
  • Erkennen der Tumor Buds
  • Detektion von Hot Spots und Bestimmung von geringem/mittlerem/hohem Budding auf Basis bestimmter Cut-Off-Wert
  • Training des Algorithmus auf 40x PCK gefärbten Whole Slide Images

Datenbank: Über 100 Whole Slide Images mit über 50.000 annotierten Tumor Buds

Unsere Lösung:

  • Detektion von möglichen Tumor Buds mittels klassischer Bildanalyse: Bestimmung von Größe, Farbe und Entfernung von Tumor
  • Aussortieren falsch-positiver Strukturen mittels eines Convolutional Neural Networks, das darauf trainiert ist, Tumor Buds zu klassifizieren

 

------------------------------------------------------------------

1Lugli et al, Recommendations for reporting tumor budding in colorectal cancer based on the International Tumor Budding Consensus Conference (ITBCC) 2016

Poster presentation at Global Engage blog - Tumor budding in brightfield immunostained colon sections

Kostengünstige Diagnose von gastro-ösophagealen Tumoren

DigImmune
© Fraunhofer IIS

Ziel: Histologische Bildanalyse – Vergleich von iSTIX gegen Whole-Slide-Scanner

Partner: Gemeinsame Initiative mit der Definiens AG, dem Pathologischen Institut des Uni-Klinikums Erlangen und dem Pathologischen Institut des Klinikum Bayreuth

Aktueller Status:

  • Erstellung einer umfassenden annotierten Datenbank: Daten aus verschiedenen klinischen Zentren, unterschiedliche Scannern und Färbemethoden (H&E plus 9x Immunhistochemie), sowohl von Resektionen als auch von Biopsien
  • Quantifizierung der IHC Proben und Analyse von Korrelationen zwischen IHC Biomarkern und zwischen Patienten

Datenbank: abgeschlossen

  • Insgesamt 1000 Objektträger (100 Fälle mit jeweils 10 Färbungen) aus Bayreuth und Erlangen digitalisiert mit 3DHISTECH Scanner
  • Zusätzlich Übersichtsscan (50x) der H&E Färbung aller Fälle mit iSTIX manuell gescannt
  • Zusätzlich vom Pathologen ausgewählte Tumorregion in H&E Färbung mit iSTIX in hoher Auflösung (200x) manuell gescannt

Unsere Lösung:

  • Scannen der Objektträger
  • Scannen der Tumorregionen mit iSTIX
  • Bildanalyse der Whole Slide Images (iSTIX vs. Scanner)

"DigImmune (Digitale Diagnostik für die Immuntherapie von Krebspatienten)"

 

Single Cell Tumor Detektion in Lymphknoten

© Fraunhofer IIS

Ziel: Früherkennung von Krebsmetastasen durch die Detektion einzelner Tumorzellen in Lymphknoten

Partner: Gemeinsame Initiative mit dem Fraunhofer ITEM und Fraunhofer IPA

Aktueller Status:

  • Entwicklung einzelner Komponenten bereits fertiggestellt: Tissue Grinder, Scanning und Bildanalyse, Einzelzell-DNA-Amplifikation, Software für das Labor
  • Evaluation in Bearbeitung

Datenbank: ca. 50 Proben von Melanom und Lungenkrebs

Unsere Lösung:

  • Bisherige Arbeiten der Universität Tübingen und des Fraunhofer ITEM haben gezeigt, dass selbst wenige Krebszellen pro Millionen Lymphozyten einen negativen Einfluss auf die Überlebensrate haben.
  • Das Fraunhofer IPA hat den TissueGrinder entwickelt, um das Lymphknotengewebe in eine Zellsuspension zu überführen.
  •  Immunzytologische Färbung mit Melanom-Markern (gp100)
  • Scannen der Zellsuspension mit der S-Cube Scanning Plattform des Fraunhofer IIS
  • Bildanalyse beim Fraunhofer IIS: Detektion der potentiellen Tumorzellen und Unterscheidung von Tumorzellen und Artefakten mit einem Convolutional Neural Network.
  • Molekulare Analyse der einzelnen Zellen mit einem von Fraunhofer ITEM entwickelten Assays (kommerziell verfügbar: Ampli1TM WGA)

Wir suchen nach Partnern für die Kommerzialisierung

-----------------------------------------------------------------
Weitere Quellen:
1. Ulmer A., et al., Quantitative measurement of melanoma spread in sentinel lymph nodes and survival. PLoS Med, 2014. 11(2): e1001604.
2. Ulmer A., et al., The sentinel lymph node spread determines quantitatively melanoma seeding to non-sentinel lymph nodes and survival. Eur J Cancer, 2018. 91: p. 1-10
3. Werner-Klein M., et al. Genetic alterations driving metastatic colony formation are acquired outside of the primary tumour in melanoma. Nat Commun, 2018. 9(1): p. 595
 

xAI – Erklärbare KI in Digitaler Pathologie

© BMBF

Ziel: Transparente KI Algorithmen in der digitalen Pathologie

Partner: Universität Bamberg (Cognitive Systems, Prof. Dr. Ute Schmid), Fraunhofer HHI

Aktueller Status:

  • Entwicklung und Evaluation von Technologien, die KI- Algorithmen nachvollziehbarer machen

Unsere Lösung:

  • Darstellung der Ergebnisse von Neuronalen Netzen in einfach nachvollziehbarer und transparenter Form
  • Berücksichtigen von Unsicherheiten sowohl aus den annotierten Trainingsdaten als auch aus dem Modell selbst

Gefördert vom Bundesministerium für Bildung und Forschung (BMBF)
Transparent Medical Expert Companion (TraMeExCo)

--------------------------------------------------

Literatur:

Schmid, Wittenberg (2019) TraMeExCo - Medical Expert Companion (Vortrag). All-Hands-Meeting (5. Juni 2019, Dortmund), Förderschwerpunkt Maschinelles Lernen des BMBF.
Rieger, Finzel, Seuß, Wittenberg, Schmid (2019) Make Pain Estimation Transparent: A Roadmap to Fuse Bayesian Deep Learning and Inductive Logic Programming (Poster). 41st Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC, 23.-27. Juli 2019, Berlin)

Bruns, Volker, Geppert, Carol (2019), Einsatz von Künstlicher Intelligenz in der digitalen Pathologie - Auf dem Sprung in die Routine?, Trillium Diagnostik 2/2019, https://www.trillium.de/zeitschriften/trillium-diagnostik/ausgaben-2019/td-heft-22019/pathologie/einsatz-von-kuenstlicher-intelligenz-in-der-digitalen-pathologie.html

Poster presentation at Global Engage blog: Tumor budding in brightfield immunostained colon sections

Entwicklung von robusten KI Systemen für die digitale Pathologie

Ziel:

  • Entwicklung von KI Algorithmen, die robust gegenüber der realen Heterogenität sind: Verschiedenen Scanner, Unterschiede bei den Färbungen, nicht optimale Bildqualität

Aktueller Status:

  • Entwicklung von Algorithmen zur Simulation von Varianzen bei Färbungen
  • Aufbau einer Datenbank von H&E-gefärbten Kolon-Präparaten mit verschiedene Scannern
  • Entwicklung von Prototypical Networks (PN) für Few-Shot Learning, das die Entwicklung neuer Klassifikatoren mit wenigen Daten und Annotationen erlaubt.

Datenbank:

  • In Bearbeitung

Unsere Lösung:

  • Abbilden der realen Heterogenität in Trainingsdatensätzen, bzw. Normalisieren der Daten, damit diese den Charakteristika der Trainingsdaten entsprechen.