Digitale Pathologie

MIA – Microscopy Image Analysis

© Fraunhofer IIS

Unsere Bildanalyse-„Apps“ integrieren wir in unsere MIA-Software-Plattform. MIA besteht aus

  • Virtual Microscopy Viewer
    • ausgelegt für pyramidale Hellfeld- und Fluoreszenz Whole-Slide Images 
    • Unterstützung für z-Layer (ermöglicht nachträgliches Fokussieren)
    • Synchronisiertes Grid-View von bis zu 4x4 Slides gleichzeitig
    • Support für mehrere Gewebeflächen pro Objektträger
    • Mächtiges Annotationssystem
    • UI ist skinnable/customizable in Ihrem Design
  • App-Center für Bildanalyse Apps
    • Ergebnisse können live visualisiert werden.
    • Hellfeld und Fluoreszenz
    • Auswertung von ROI, Sichtfeld oder Whole-Slide
    • Batch-Analyse mehrerer Slides
    • KI oder „klassische“ Computer Vision
  • Erweiterbares WSI Format
    • ausgelegt auf Hochdurchsatz-Erstellung
    • Unterstützung für GPU-basiertes Encoding für High-Speed Scanner
    • JPEG2000, JPEG oder weitere Kompressionsformate
    • „sparse“ – gescannte Gewebeareale müssen nicht zu einer rechteckigen Fläche ausgefüllt werden
    • Kacheln können beliebig positioniert sein – es gibt kein vordefiniertes Raster

Für unsere MIA-Plattform bieten wir C++ oder .NET APIs an. Der MIA-Viewer kann auch „schlüsselfertig“ lizenziert werden.  

Ziel: Unterscheidung verschiedener Gewebetypen und Detektion von Adenokarzinomen in H&E gefärbten Darmgewebeschnitten. Bestimmung der Tumorfläche, und –komposition sowie der Invasionsfront.  

Partner: Gemeinsame Initiative mit dem Pathologischen Institut des Uni-Klinikums Erlangen

Aktueller Status:

  • Erstellung der Datenbank abgeschlossen
  • Verschiedenste KI-Modelle trainiert, die das Gewebe klassifizieren und so eine Karte erstellen
  • Verschiedenste Methoden zur Datenaugmentierung evaluiert und eingesetzt
  • Verfahren durch intelligente Vorverarbeitung beschleunigt
  • Erneutes Scannen der Schnitte mit unterschiedlichen Scannern, um die Datenbank robust gegenüber verschiedener Scanningsystemen zu machen
  • Publicaton pending

Datenbank:

  • Datenbank von 157 WSIs hand-annotiert
  • 30 Mio. gelabelte Kacheln (je nach CNN, ca 250x250 px)(227x227)
  • Verschiedene Gewebeklassen: Tumor-Stroma, Tumor-Zell-Cluster, Fett, Muskel, Bindegewebe, Blutgefäße, Entzündung, Nekrose, Schleim

Unsere Lösung:
End-to-End Training des Convolutional Neural Network

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: http://www.youtube.com/t/privacy_at_youtube

Projekt PathoScan: Automatisierte Digitalisierung in der Routinepathologie

PathoScan: Künstliche Intelligenz in der Routinepathologie
© Vshyukova - stock.adobe.com
PathoScan – Optimierung von morphologischen Arbeitsprozessen durch ein automatisiertes digitalisiertes Pathologiesystem

Ziel: Digitaler und automatisierter Mikroskopie-Workflow incl. Pre-Scan QC anhand Übersichtskamera

Partner: PreciPoint GmbH, Universität Regensburg, Technische Universität München TUM, HTI bio-X GmbH

             

Aktueller Status:

  • Systematische Sammlung und Priorisierung der möglichen Fehlerartefakte, die während der Probenpräparation auftreten können
  • Sammlung und Digitalisierung von problematischen Objektträgern

Datenbank: Aktuell werden Objektträger in Regensburg und München gesammelt und anschließend digitalisiert. Anhand der Datenbank werden die Wissenschaftler am Fraunhofer IIS die Bildanalyse-Algorithmen entwickeln und validieren.

Unsere Lösung:

  • Färbung (HTI Smart Automation) und Digitalisierung (PreciPoint) mittels vollautomatisiertem Digitalisierungsworkflow
  • Automatische Bildanalyse anhand der Übersichtskamera zur Detektion verschiedener Qualitätsprobleme wie etwa überstehender Deckgläser, Luftblasen, Fremdkörper, Falten, Risse
  • Detektion Über/-Unterfärbung oder fehlerhafter Färbung durch objektive Quantifizierung der Färbung
  • Kosten- und zeiteffiziente Verfahren zur Qualitätssicherung
-------------------------------------------------
Presse

Tissue Pathology: PathoScan project - Automated digitalization in routine pathology

Universität Regensburg: Kick-Off des Projekts PathoScan

weiter.vorn Magazin (Fraunhofer Gesellschaft): Corona auf der Sprur (Interview mit Prof. Dr. Brochhausen-Delius (Universität Regensburg) und Volker Bruns

 

Tumor Budding

© Fraunhofer IIS

Tumor Budding ist ein unabhängiger Prognosefaktor für Lymphknotenmetastasen bei kolorektalen pT1-Karzinomen und ein Indikator für die Überlebensrate bei Darmkrebs in Stadium II1.

Ziel: Automatisertes Scoring

Partner: Gemeinsame Initiative mit dem Pathologischen Institut des Uni-Klinikums Erlangen

Aktueller Status:

  • Entwicklung einer automatisierten Analyse von immunhistochemischen Färbungen (pan-Cytokeratin – PCK) für die
  • Detektion der Tumor-Invasions-Front
  • Erkennen der Tumor Buds
  • Detektion von Hot Spots und Bestimmung von geringem/mittlerem/hohem Budding auf Basis bestimmter Cut-Off-Wert
  • Training des Algorithmus auf 40x PCK gefärbten Whole Slide Images

Datenbank: Über 100 Whole Slide Images mit über 50.000 annotierten Tumor Buds

Unsere Lösung:

  • Detektion von möglichen Tumor Buds mittels klassischer Bildanalyse: Bestimmung von Größe, Farbe und Entfernung von Tumor
  • Aussortieren falsch-positiver Strukturen mittels eines Convolutional Neural Networks, das darauf trainiert ist, Tumor Buds zu klassifizieren

 

------------------------------------------------------------------

1Lugli et al, Recommendations for reporting tumor budding in colorectal cancer based on the International Tumor Budding Consensus Conference (ITBCC) 2016

Poster presentation at Global Engage blog - Tumor budding in brightfield immunostained colon sections

Kostengünstige Diagnose von gastro-ösophagealen Tumoren

DigImmune
© Fraunhofer IIS

Ziel: Histologische Bildanalyse – Vergleich von iSTIX gegen Whole-Slide-Scanner

Partner: Gemeinsame Initiative mit der Definiens AG, dem Pathologischen Institut des Uni-Klinikums Erlangen und dem Pathologischen Institut des Klinikum Bayreuth

Aktueller Status:

  • Erstellung einer umfassenden annotierten Datenbank: Daten aus verschiedenen klinischen Zentren, unterschiedliche Scannern und Färbemethoden (H&E plus 9x Immunhistochemie), sowohl von Resektionen als auch von Biopsien
  • Quantifizierung der IHC Proben und Analyse von Korrelationen zwischen IHC Biomarkern und zwischen Patienten

Datenbank: abgeschlossen

  • Insgesamt 1000 Objektträger (100 Fälle mit jeweils 10 Färbungen) aus Bayreuth und Erlangen digitalisiert mit 3DHISTECH Scanner
  • Zusätzlich Übersichtsscan (50x) der H&E Färbung aller Fälle mit iSTIX manuell gescannt
  • Zusätzlich vom Pathologen ausgewählte Tumorregion in H&E Färbung mit iSTIX in hoher Auflösung (200x) manuell gescannt

Unsere Lösung:

  • Scannen der Objektträger
  • Scannen der Tumorregionen mit iSTIX
  • Bildanalyse der Whole Slide Images (iSTIX vs. Scanner)

"DigImmune (Digitale Diagnostik für die Immuntherapie von Krebspatienten)"

 

Single Cell Tumor Detektion in Lymphknoten

© Fraunhofer IIS

Ziel: Früherkennung von Krebsmetastasen durch die Detektion einzelner Tumorzellen in Lymphknoten

Partner: Gemeinsame Initiative mit dem Fraunhofer ITEM und Fraunhofer IPA

Aktueller Status:

  • Entwicklung einzelner Komponenten bereits fertiggestellt: Tissue Grinder, Scanning und Bildanalyse, Einzelzell-DNA-Amplifikation, Software für das Labor
  • Evaluation in Bearbeitung

Datenbank: ca. 50 Proben von Melanom und Lungenkrebs

Unsere Lösung:

  • Bisherige Arbeiten der Universität Tübingen und des Fraunhofer ITEM haben gezeigt, dass selbst wenige Krebszellen pro Millionen Lymphozyten einen negativen Einfluss auf die Überlebensrate haben.
  • Das Fraunhofer IPA hat den TissueGrinder entwickelt, um das Lymphknotengewebe in eine Zellsuspension zu überführen.
  •  Immunzytologische Färbung mit Melanom-Markern (gp100)
  • Scannen der Zellsuspension mit der S-Cube Scanning Plattform des Fraunhofer IIS
  • Bildanalyse beim Fraunhofer IIS: Detektion der potentiellen Tumorzellen und Unterscheidung von Tumorzellen und Artefakten mit einem Convolutional Neural Network.
  • Molekulare Analyse der einzelnen Zellen mit einem von Fraunhofer ITEM entwickelten Assays (kommerziell verfügbar: Ampli1TM WGA)

Wir suchen nach Partnern für die Kommerzialisierung

-----------------------------------------------------------------
Weitere Quellen:
1. Ulmer A., et al., Quantitative measurement of melanoma spread in sentinel lymph nodes and survival. PLoS Med, 2014. 11(2): e1001604.
2. Ulmer A., et al., The sentinel lymph node spread determines quantitatively melanoma seeding to non-sentinel lymph nodes and survival. Eur J Cancer, 2018. 91: p. 1-10
3. Werner-Klein M., et al. Genetic alterations driving metastatic colony formation are acquired outside of the primary tumour in melanoma. Nat Commun, 2018. 9(1): p. 595
 

xAI – Erklärbare KI in Digitaler Pathologie

© BMBF

Ziel: Transparente KI Algorithmen in der digitalen Pathologie

Partner: Universität Bamberg (Cognitive Systems, Prof. Dr. Ute Schmid), Fraunhofer HHI

Aktueller Status:

  • Entwicklung und Evaluation von Technologien, die KI- Algorithmen nachvollziehbarer machen

Unsere Lösung:

  • Darstellung der Ergebnisse von Neuronalen Netzen in einfach nachvollziehbarer und transparenter Form
  • Berücksichtigen von Unsicherheiten sowohl aus den annotierten Trainingsdaten als auch aus dem Modell selbst

Gefördert vom Bundesministerium für Bildung und Forschung (BMBF)
Transparent Medical Expert Companion (TraMeExCo)

--------------------------------------------------

Literatur:

Schmid, Wittenberg (2019) TraMeExCo - Medical Expert Companion (Vortrag). All-Hands-Meeting (5. Juni 2019, Dortmund), Förderschwerpunkt Maschinelles Lernen des BMBF.
Rieger, Finzel, Seuß, Wittenberg, Schmid (2019) Make Pain Estimation Transparent: A Roadmap to Fuse Bayesian Deep Learning and Inductive Logic Programming (Poster). 41st Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC, 23.-27. Juli 2019, Berlin)

Bruns, Volker, Geppert, Carol (2019), Einsatz von Künstlicher Intelligenz in der digitalen Pathologie - Auf dem Sprung in die Routine?, Trillium Diagnostik 2/2019, https://www.trillium.de/zeitschriften/trillium-diagnostik/ausgaben-2019/td-heft-22019/pathologie/einsatz-von-kuenstlicher-intelligenz-in-der-digitalen-pathologie.html

Poster presentation at Global Engage blog: Tumor budding in brightfield immunostained colon sections

Entwicklung von robusten KI Systemen für die digitale Pathologie

Ziel:

  • Entwicklung von KI Algorithmen, die robust gegenüber der realen Heterogenität sind: Verschiedenen Scanner, Unterschiede bei den Färbungen, nicht optimale Bildqualität

Aktueller Status:

  • Entwicklung von Algorithmen zur Simulation von Varianzen bei Färbungen
  • Aufbau einer Datenbank von H&E-gefärbten Kolon-Präparaten mit verschiedene Scannern
  • Entwicklung von Prototypical Networks (PN) für Few-Shot Learning, das die Entwicklung neuer Klassifikatoren mit wenigen Daten und Annotationen erlaubt.

Datenbank:

  • In Bearbeitung

Unsere Lösung:

  • Abbilden der realen Heterogenität in Trainingsdatensätzen, bzw. Normalisieren der Daten, damit diese den Charakteristika der Trainingsdaten entsprechen.

 

Veranstaltungen und Messen

 

Virtuelle Veranstaltung

7th Digital Pathology & AI Congress

Utilizing AI & digital pathology to advance pathology practice & enable enhanced patient care

 

Der 7th Digital Pathology & AI Congress findet vom 3. bis 4. Dezember 2020 virtuell statt.