Bringen digitale Bäume mehr Ertrag?

Ein »Digitaler Zwilling« ist das genaue Abbild eines physischen Objekts. Anders als in der Wirklichkeit können damit bestimmte Situationen und Einflüsse simuliert, ausgewertet und gesteuert werden. Wie das funktioniert, welche Informationen sich daraus gewinnen lassen, und wie eine Zukunft aussehen könnte, in der sich die Technologie in breiter Anwendung befindet, erfahren Sie im Interview von Dr. Fabian Keil, Gruppenleiter Optische Phänotypisierung am Entwicklungszentrum Röntgentechnik EZRT.

Wer bist du und welche Funktion erfüllst du am Fraunhofer IIS?

Mein Name ist Fabian Keil. Ich bin studierter Physiker und habe an der RWTH Aachen im Bereich der Medizinischen Bildgebung und Datenanalyse promoviert. Mittlerweile bin ich schon seit über zehn Jahren am Fraunhofer IIS, Abteilung berührungslose Mess- und Prüfsysteme im Bereich EZRT. 
Anfangs habe ich viel an optischer Sensorik und an Bildauswertung gearbeitet. Im Laufe der Zeit habe ich mich immer mehr mit dem Thema Projektleitung beschäftigt, also ein bisschen weniger technologische Arbeit und ein bisschen mehr organisatorische Sachen. Seit dem 15. Mai 2023 bin ich Gruppenleiter einer neuen Gruppe namens »Optische Phänotypisierung« geworden.  Da geht es um die Themen, die wir ja auch heute noch besprechen werden. Zum Beispiel das Thema Digitaler Zwilling in der Landwirtschaft oder im Obstbau.

Im Projekt For5G nutzen Sie »Digitale Zwillinge« für die Optimierung des Obstanbaus. Was kann man sich darunter vorstellen?

Ein Digitaler Zwilling bildet ein reales Objekt digital ab, und zwar in allen wichtigen Eigenschaften für einen bestimmten Nutzungszweck. Das heißt, der Digitale Zwilling verfügt nicht über alle Informationen zum Objekt, sondern er ist ein Modell mit den Daten, die für einen bestimmten Anwendungszweck wichtig sind. Im Rahmen von unserem For5G-Projekt nehmen wir Fotos von Bäumen auf, machen eine 3D-Rekonstruktion und leiten dann Merkmale des Baumes daraus ab. Relevante Fragestellungen sind: Welche Struktur hat der Baum? Wie viele Knospen lassen sich ausmachen? Welche Blühstärke können wir gerade sehen? Oder auch am Ende: Wie viele Kirschen hängen am Baum und wie groß sind sie? Und diese gesamte Information zusammengenommen ist der Digitale Zwilling.

Wie läuft die Aufnahme der Bilder ab?

Wir nehmen die Daten mit einer Drohne auf. An dieser Drohne ist eine spezielle Kamera angebracht, die Farbfotos mit einer sehr hohen Auflösung liefert. Wir haben die Drohne so programmiert, dass sie einen parametrierbaren Pfad um den Baum entlang fliegt. Das kann man sich in etwa vorstellen wie einen Mäander-förmigen Flusslauf. Während dieses Flugs werden laufend Bilder aus verschiedenen Perspektiven gemacht. Das gelingt, indem die Kamera vom Boden aus variabel gesteuert werden kann. Da wir nicht mit freistehenden Bäumen arbeiten, sondern mit ganzen Hecken – wir befinden uns ja auf einer Versuchsanlage –  heißt das, dass man diesen Schritt noch einmal von der anderen Seite wiederholen muss.

Wie sieht es mit dem Zeitaufwand aus?

Momentan nehmen wir uns in dem Projekt relativ viel Zeit dafür, zumindest für unsere Begriffe. Ein Umflug des Baumes dauert knapp fünf bis sechs Minuten. Das geht auch schneller, es hängt davon ab, wie viele Bilder man benötigt. Wir versuchen gerade, einen möglichst hohen Detailgrad umzusetzen. Und dafür brauchen wir sehr viele Bilder. Das liegt daran, dass wir noch nicht die Frage beantworten konnten, welchen Detailgrad wir brauchen, um die relevanten Merkmale richtig zu quantifizieren. Momentan brauchen wir zur gesamten Erfassung noch Stunden. Am Ende soll es durchaus schneller gehen.

Dr. Fabian Keil ist studierter Physiker und promovierte im Bereich Medizinische Bildgebung und Datenanalyse. Seit über 10 Jahren ist er am Fraunhofer IIS im Bereich EZRT beschäftigt. Im Mai 2023 wurde er zum Gruppenleiter Optische Phänotypisierung ernannt. Seit 2021 kümmert er sich mit seinem Team um das Projekt "For5G", bei dem mithilfe Digitaler Zwillinge der Obstanbau optimiert werden soll. Dort übernimmt er vor allem administrative Tätigkeiten, bringt sich aber auch mit seiner Expertise in der Sensorik und Bildverarbeitung ein.

Ist das Ganze sehr wetterabhängig?

Das größte Problem ist aktuell noch der Wind. Wenn die Drohne mehrere Minuten um den Baum herumfliegt und die dabei aufgenommenen Bilder daraufhin das 3D-Modell bilden sollen, dann darf der Baum sich in dieser Zeit nicht bewegen. Deshalb müssen wir herausfinden: Ab welcher Stärke ist der Wind ein Problem? Wann können wir fliegen und sicher sein, dass die Daten, die wir dann aufnehmen, auch wirklich nutzbar sind? Und natürlich auch: Was können wir eventuell tun, um im Notfall trotzdem noch vernünftige Daten rekonstruieren zu können? Ein weiteres Problem ist, wenn sehr viel Regen fällt. Dann können wir die Drohne ebenfalls nicht fliegen lassen. Gut ist, dass die Drohne über ein sogenanntes RTK-GPS verfügt. Damit können wir sie auf wenige Zentimeter genau lokalisieren. Das ist allein schon deswegen wichtig, um die Drohne sicher um die Bäume steuern zu können. Ein normales GPS reicht nicht aus, weil da die Abweichung bis einem Meter betragen kann. 

Wie entwickelt sich der Projektfortschritt?

Das Projekt startete Ende 2021 und soll noch bis ins dritte Quartal 2024 gehen. Wir sind aktuell also mittendrin. Im ersten Jahr hatten wir eine Verzögerung, weil die Drohne und Zubehör für die Drohne entweder nicht lieferbar waren oder sehr lange Lieferzeiten hatten. Daraufhin haben wir ein wenig improvisiert und versucht, das Ganze mit einer Kamera auf einer Leiter stehend nachzustellen, um überhaupt Daten zu generieren. Wenn man die Daten nicht hat, dann kann man auch bei den anderen Punkten nicht weitermachen. Jetzt haben wir die Ausstattung und sind in dieser Saison so weit, dass wir die Entwicklung der Knospen bis zur Blüte aufzeichnen konnten. Inzwischen sehen wir schon die ersten Früchte und bereiten uns auf die Ernte vor. 

Dann geht es darum, die Daten auszuwerten. Wir wollen ja nicht nur diesen Kirschbaum dreidimensional schön darstellen. Es geht vor allem um die Merkmale, die für den Obstbauer interessant sein können: Wie entwickelt sich mein Baum strukturell, welche Ernte kann ich vielleicht erwarten, wann wäre der beste Erntezeitpunkt? Weiterhin möchten wir prüfen, ob wir Krankheits-Befall, Schädlingsbefall oder auch Stress-Zustände wie Trockenstress einfach erkennbar machen können, um das als nutzbare Informationen dem Obstbauern zur Verfügung stellen zu können. 

Wer wirkt am Projekt mit und was bringt das Fraunhofer IIS ein? 

Das Fraunhofer IIS ist mit den Bereichen Entwicklungszentrum Röntgentechnik  und Kommunikationssysteme vertreten. Des Weiteren ist im Konsortium die Friedrich-Alexander-Universität Erlangen-Nürnberg dabei, die sich um die 3D-Rekonstruktion kümmert und Expertise in diesem Bereich einbringt. Die Hochschule Weihenstephan-Triesdorf verfügt über Obstbau-Expertise. Und der Landkreis Forchheim stellt uns das Obst-Informationszentrum Fränkische Schweiz in Hiltpoltstein zur Verfügung. Hier werden Versuche mit Kirschen, aber auch anderen Obstsorten gefahren. 

Die Kolleginnen und Kollegen vom Bereich Kommunikationssysteme stellen ihr mobiles 5G-Campus-Netz zu Verfügung; das nutzen wir, um die Daten von der Drohne zum Boden zu übertragen. Das Entwicklungszentrum Röntgentechnik bringt die Expertise in der Sensorik für die Drohne ein, um einen reibungslosen, automatischen Flug zu ermöglichen. Weiterhin spielt unser Know-how in der Pflanzentypisierung und -Modellierung eine Rolle. Für die Auswertung der Daten sorgt die Bildverarbeitung. Hier hilft uns unser Wissen über konventionelle Algorithmen oder konventionelle Modelle wie beispielsweise ein Blatt-Modell. Zunehmend spielen auch KI-Methoden eine große Rolle, um den Baum in seine Bestandteile zerlegen und segmentieren zu können. So lässt sich herausfinden, wo genau die Kirschen sind, wo Blätter, wo der Stamm und so weiter. Das ist die Aufgabe meiner Abteilung. Andere Kollegen aus dem Bereich versuchen für den Digitalen Zwilling ein geeignetes Datenmodell zu entwickeln, um diese Informationen alle an einem Ort zu sammeln und auch nutzbar wieder auszulesen. 

Was ist die Vision für das Projekt? Wie könnte eine Zukunft aussehen, in der der Digitale Zwilling fertig entwickelt und in Anwendung ist?

Wir sind bereits dabei zu testen, das, was wir jetzt für die Süßkirsche exemplarisch entwickeln, auch auf den Apfel zu übertragen. Vorstellbar ist, dass die Drohne automatisch in regelmäßigen Abständen startet, die Plantage abfliegt und Daten sammelt. Diese Daten werden dann mit den Methoden, die wir gerade entwickeln, rekonstruiert und ausgewertet und können dem Obstbauern einen digitalen Überblick über seine Plantage bieten. Er sieht am Tablet, wie der Entwicklungsstand der gesamten Plantage ist, erhält aber auch Informationen über einzelne Bäume, die vielleicht grade Anzeichen zeigen, Krankheiten oder Trockenstress zu entwickeln. Das geht es vor allem darum, nicht einfach blind bei allen Bäumen Schädlingsbekämpfung einzusetzen oder alle gleichmäßig zu wässern, sondern Pestizide und knapper werdende Ressourcen genau da einzusetzen, wo sie gebraucht werden. 

Zusätzlich kann man mit der Ernteprognose nachvollziehen, wie viel Ernte zu erwarten ist und wann ein guter Zeitpunkt für die Ernte wäre. 

Wenn man noch weiterdenkt – Stichwort Feldroboter– dann könnte man diese beiden Technologien kombinieren. Die Drohne kann schnell über große Flächen fliegen und Daten sammeln, die sie dann dem Feldroboter zur Verfügung stellt, und ihm zeigt, wo er hinfahren muss. Daraufhin nutzt man dessen Sensorik gezielt, die darauf ausgerichtet ist, noch näher an einem Objekt Daten zu sammeln, und dadurch ganz andere Merkmale abbildet. Das wäre eine sinnvolle Kombination für die Zukunft.

Interview von Lucas Westermann, Redaktion Fraunhofer IIS Magazin