Forschungs- und Innovationsprojekt EWIS
Erkennung von Unkraut in Sorghum durch künstliche Intelligenz

Bild: Tobias Hase/StMELF
Sorghum wird in Bayern als Energiepflanze vor allem für die Biogasproduktion angebaut. Die hohe Biomasseleistung und die große Sortenvarietät in Verbindung mit seiner Trockenheitstoleranz und Nährstoffeffizienz machen Sorghum zu einer vielversprechenden Rohstoffpflanze.
Neuartige Technologien, verknüpft mit intelligenter Software, eröffnen große Potentiale im Bereich der Effizienzsteigerung in der Landwirtschaft. Mit Hilfe von modernsten Verfahren des maschinellen Lernens (z. B. künstliche neuronale Netze/Deep Learning) sollen drohnenbasierte Bildaufnahmen der Anbauflächen analysiert und Beikraut erkannt werden.
Ziel
Mit Hilfe von modernsten Verfahren der künstlichen Intelligenz (KI) und des maschinellen Lernens sollen drohnenbasierte Bildaufnahmen der Anbauflächen analysiert werden. Ziel dieses Projekts ist es, nicht nur etablierte KI-Verfahren zu untersuchen und deren Anwendbarkeit zu evaluieren, sondern auch neuartige Methoden zu entwickeln, welche mit möglichst hoher Genauigkeit Unkrautflächen im Bestand erkennen und lokalisieren können. Die entwickelten KI-Verfahren könnten in Zukunft dabei helfen, effizientere und zielorientiertere Beikrautbekämpfung durchzuführen und somit den Einsatz von Pflanzenschutzmitteln zu reduzieren.
Methode/Arbeitsschwerpunkte
Dabei werden zahlreiche moderne Verfahren des maschinellen Lernens untersucht und auf deren Anwendbarkeit zur automatischen Beikrauterkennung evaluiert. Diese Verfahren sollen dann gezielt weiterentwickelt und optimiert werden, um akkuratere Bildanalysen und Vorhersagen über Beikrautherde treffen zu können.
Zwischenergebnis
Datenerhebung und Datenverarbeitung
- Um Trainingsdatensätze mit hoher Variabilität zu generieren, wurden Drohnenflüge unter verschiedenen Umweltbedingungen (bewölkt, sonnig, windig und nicht windig) und mit unterschiedlicher Drohnenhardware, Mappingsoftware und Einstellungen durchgeführt.
- Durch die Reduzierung der Flughöhe von 5 m auf 3 m und die Verwendung eines speziellen Aufnahmemodus (Hover and capture mode) wurde die bislang aufgetretene Bewegungsunschärfe deutlich reduziert. Bei dieser Methode nimmt die Drohne keine Bilder in Bewegung auf, sondern schwebt in 3 m Höhe über jedem Aufnahmepunkt (Waypoint) und löst erst dann aus. Dies verbessert die Qualität der Annotation und der späteren Erkennung von Bildobjekten.
- Um eine hohe Auflösung und Homogenität der Bilder unter den stark schwankenden Wetterbedingungen zu erreichen, werden während des Drohnenflugs spezielle Weißabgleichstafeln verwendet, um Über- und Unterbelichtungen zu reduzieren und die Farbtemperatur anzugleichen.
- Mithilfe neuartiger KI-Modelle werden Pflanzen (Beikraut und Sorghum) in Bildern vormaskiert, was zu einem halbautomatischen Annotationsprozess führt, der den Zeitaufwand erheblich reduziert.
- Um einen Trainingsdatensatz von Sorghum und Beikräutern mit sehr hoher Bildauflösung zu erhalten, insbesondere von Beikräutern, die auf dem Feld nur selten zu finden sind, wurde die Moving-Fields-Anlage der Bayerischen Landesanstalt für Landwirtschaft (LfL) eingesetzt. Dort wurden durch die automatische tägliche Datenerfassung und die Erstellung von Wachstumszeitreihen von Sorghum und Beikraut Daten erzeugt. Diese hochaufgelösten Beikrautbilder werden mittels neuartiger Machine-Learning Verfahren mit Bildern aus den Drohnenflügen kombiniert.
KI-Entwicklung
- Moderne Modelle zur semantischen Segmentierung und Erkennung von Bildern wurden evaluiert und für das Projekt weiterentwickelt. Zu den bisher verwendeten KI-Modellen gehören U-Net, ResNet-50 und ResNet-101 von Fully Convolutional Network, RestNet-50 und RestNet-101 von DeepLabv3.
- Das trainierte U-Net-Modell wurde an 20 % unbekannten Testdaten bewertet. Die Klassifizierungsqualität, in diesem Fall die pixelgenaue Übereinstimmung, lag im Durchschnitt bei 78 %. Es zeigt, dass 59 % der Beikräuter auch als Beikraut erkannt wurden. Darüber hinaus wurden mehr als 99 % des Ackers und etwa 76 % der Sorghumpflanzen korrekt klassifiziert. Weitere Analysen ergaben, dass der Acker (Hintergrund) über alle Bilder hinweg 97,2 % der Fläche einnimmt und damit die häufigste Klasse ist. Nur 2,1 % der Fläche kann Sorghum und 0,7 % Beikraut zugeordnet werden.
- Die entwickelten KI-Modelle (ResNet-50 und ResNet-101 aus Fully Convolutional Network, RestNet-50 und RestNet-101 aus DeepLabv3) zeigen mit einem Fehler von weniger als 5 % eine hohe allgemeine Erkennungsrate von Beikraut, Sorghum und Feld/Boden. Betrachtet man die einzelnen Klassen im Detail, so fällt auf, dass Fehler vor allem an den Blatträndern einzelner Pflanzen auftreten und komplette Fehlklassifikationen nur in geringem Umfang vorkommen.
- Das entwickelte KI-Modell kann auch Beikräuter in der Saatreihe mit hoher Genauigkeit erkennen, eine Fähigkeit, die mit anderen Methoden derzeit nicht möglich ist. Darüber hinaus wurde gezeigt, dass das KI-Modell, das anhand von Daten von Sorghum-Pflanzen im Wachstumsstadium BBCH 17 entwickelt wurde, gut auf ein früheres Wachstumsstadium von Sorghum (BBCH 15) angewendet werden kann, ohne dass das Modell zusätzlich oder neu trainiert werden muss.
- Bei größeren Wachstumsstadien von Sorghum kommt es zu einer verstärkten Fehlklassifizierung von Sorghum-Pflanzen, nicht jedoch bei Beikraut. Diese Ergebnisse deuten darauf hin, dass für höhere Wachstumsstadien zusätzliche Trainingsdaten benötigt werden, zumal sich die Pflanzenmorphologie in höheren Wachstumsstadien deutlich verändert.
Einblicke in das Projekt
Veröffentlichungen im Projekt EWIS
[1] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Beikrauterkennung mit Drohnen und künstlicher Intelligenz-Ein Einblick in das Projekt "EWIS". Schule und Beratung. München: Bayerisches Staatsministerium für Ernährung, Landwirtschaft und Forsten. Bd. 8-10, S. 12-15
[2] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Intelligente Augen in der Luft. Land und Forst. Hannover: Deutscher Landwirtschaftsverlag GmbH. Bd. 40/2021, S. 12-13
[3] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Drohnen schauen und die KI erkennt. Bayerisches Landwirtschaftliches Wochenblatt. Hannover: Deutscher Landwirtschafts-verlag GmbH. Bd. 36/2021, S. 47-48
[4] GENZE, N., GRIMM, D. (24.06.2021): Maschinelles Lernen zur automatischen Erkennung von Beikräutern in Sorghum mit Hilfe von Drohnen. https://www.youtube.com/watch?v=7y6MCoQkXzQ (Stand: 12.05.2022)
[5] GENZE N., AJEKWE R., GÜRELI Z., HASELBECK F., GRIEB M., GRIMM D. (2022): Deep learning-based early weed segmentation using UAV images of Sorghum fields. Under Review in Computers and Electronics in Agriculture
Projektinformationen:
Projekttitel: Evaluierung und Weiterentwicklung moderner Verfahren der künstlichen Intelligenz zur automatischen Erkennung von Unkraut in Sorghum mit Hilfe von Drohnen
Projektleitung: Michael Grieb
Projektbearbeitung: Raymond Ajekwe
Projektlaufzeit: 01.05.2020–30.04.2023
Geldgeber: Bayerisches Staatsministerium für Ernährung, Landwirtschaft und Forsten
Projektpartner: Prof. Dr. Dominik Grimm, Nikita Grenze, Hochschule Weihenstephan-Triesdorf (HSWT), TUM Campus Straubing; Dr. Wouter Vahl‚ Dr. Jennifer Groth, Institut für Pflanzenbau und Pflanzenzüchtung (IPZ) der Bayerischen Landesanstalt für Landwirtschaft (LfL)
Förderkennzeichen: G2/N/19/13