Forschungs- und Innovationsprojekt EWIS
Erkennung von Unkraut in Sorghum durch künstliche Intelligenz

Nahaufnahme einer schwarzen Drohne, die mit einer RGB- und einer Multispektralkamera ausgestattet ist.

Bild: Tobias Hase/StMELF

Sorghum wird in Bayern als Energiepflanze vor allem für die Biogasproduktion angebaut. Die hohe Biomasseleistung und die große Sortenvarietät in Verbindung mit seiner Trockenheitstoleranz und Nährstoffeffizienz machen Sorghum zu einer vielversprechenden Rohstoffpflanze.
Neuartige Technologien, verknüpft mit intelligenter Software, eröffnen große Potentiale im Bereich der Effizienzsteigerung in der Landwirtschaft. Mit Hilfe von modernsten Verfahren des maschinellen Lernens (z. B. künstliche neuronale Netze/Deep Learning) sollen drohnenbasierte Bildaufnahmen der Anbauflächen analysiert und Beikraut erkannt werden.

Ziel

In diesem Projekt sollen innovative Ansätze der smarten Digitalisierung zur automatischen Beikrauterkennung mittels Fernerkundung auf landwirtschaftlichen Nutzflächen untersucht und entwickelt werden. Dabei soll Sorghum als Nachwachsender Rohstoff zur Untersuchung der Forschungsfragen verwendet werden.
Mit Hilfe von modernsten Verfahren der künstlichen Intelligenz (KI) und des maschinellen Lernens sollen drohnenbasierte Bildaufnahmen der Anbauflächen analysiert werden. Ziel dieses Projekts ist es, nicht nur etablierte KI-Verfahren zu untersuchen und deren Anwendbarkeit zu evaluieren, sondern auch neuartige Methoden zu entwickeln, welche mit möglichst hoher Genauigkeit Unkrautflächen im Bestand erkennen und lokalisieren können. Die entwickelten KI-Verfahren könnten in Zukunft dabei helfen, effizientere und zielorientiertere Beikrautbekämpfung durchzuführen und somit den Einsatz von Pflanzenschutzmitteln zu reduzieren.

Methode/Arbeitsschwerpunkte

Zur automatischen Klassifikation und Erkennung von Beikrautherden beim Anbau von Sorghum und Mais werden höchstmoderne Verfahren der künstlichen Intelligenz, insbesondere des maschinellen Lernens, untersucht und weiterentwickelt. Zum einen sind hoch-qualitative Bilddaten von Einzelpflanzen nötig. Zum anderen soll eine Vielzahl an Befliegungen von unterschiedlichsten Anbauflächen mit unterschiedlichsten Sensoren und Drohnentypen (professionelle Geräte vs. Hobbygeräte) durchgeführt werden, um einen genügend großen sowie variablen Stamm an hochwertigen Trainings- und Testdaten zu generieren.
Dabei werden zahlreiche moderne Verfahren des maschinellen Lernens untersucht und auf deren Anwendbarkeit zur automatischen Beikrauterkennung evaluiert. Diese Verfahren sollen dann gezielt weiterentwickelt und optimiert werden, um akkuratere Bildanalysen und Vorhersagen über Beikrautherde treffen zu können.

Ergebnisse

Datenerhebung

Im Laufe des Projektes wurden durch den Einsatz von Drohnen, aber auch durch den Einsatz der Moving-Fields-Anlage über 121.000 Bilder aufgenommen und in diesen ca. 336.000 Pflanzen annotiert. Der gesamte Datensatz hat eine Größe von 1.483 Gigabyte (siehe Tabelle 1).

Tab. 1: Kennzahlen zur Datenerfassung
 Anzahl BilderAnzahl annotierter PflanzenSpeicherbedarf [GB]
Drohnenflüge12.369136.145283
Gewächshaus108.936200.2931.200
Gesamt121.305336.4381.483
Umwelteinflüsse

Im Gegensatz zum Labor sind im Freiland nicht nur die Pflanzen, sondern auch die Sensoren verschiedenen Umwelteinflüssen ausgesetzt. In Tabelle 2 ist der jeweilige Umwelteinfluss auf die Bildqualität dargestellt. Insbesondere die Bodenauflösung (GSD) durch die Flughöhe, die Kameraauflösung und die Bildschärfe haben einen entscheidenden Einfluss auf die generierten Bestandsaufnahmen.

Tab. 2: Bewertung Umweltparameter
UmweltparameterEinfluss auf Bildqualität
Wind/Bewegungsunschärfe-
Direkte Sonneneinstrahlung-
Reduzierter Schlagschatten durch Mittagsbefliegung+
Wachstumsstadien Sorghumo
Niedrige Fluggeschwindigkeit+
Hohe Kameraauflösung+
Große Flughöhe für mehr Flächenleistung-
Hochauflösender Kamerasensor+
+ = positiv, o = neutral, - = negativ
Evaluierung und Entwicklung eines KI-Modells

Für die automatische Beikrauterkennung in Sorghum (für die Jugendentwicklung) wurde ein KI-Modell entwickelt, das Sorghum, Beikraut und Acker in Drohnenaufnahmen erkennt und klassifiziert (siehe Abbildung 1).

Das Foto zeigt einen Überblick über die Entwicklung eines KI-Modells zur Beikrauterkennung in Sorghum

Abb. 1: Überblick über die Entwicklung eines KI-Modells

Weiterentwicklung des KI-Modells

Für die Optimierung wurde das Modell zur künstlichen Schärfung/Qualitätsverbesserung von Drohnenaufnahmen und zur verbesserten Beikrauterkennung (externe Umwelteinflüsse) weiterentwickelt. Abbildung 2 zeigt schematisch die Funktionsweise der künstlichen Schärfung von Drohnenaufnahmen zur Verbesserung der Vorhersage.

Das Foto zeigt die Weiterentwicklung durch künstliche Schärfung der Drohnenaufnahmen

Abb. 2: Weiterentwicklung durch künstliche Schärfung der Drohnenaufnahmen

Zeitaufwändige Annotation

Der Annotationsprozess ist sehr zeitaufwendig, da es sich um eine sehr gründliche manuelle Tätigkeit handelt. Die Qualität und Quantität der annotierten Daten wirken sich direkt auf die Performance des Modells aus. Daher wurden ein semi-automatischer Prozess zur Erleichterung bei der Annotation und ein generatives Modell zur Erzeugung künstlicher Trainingsdaten entwickelt. Künstlich erzeugte Trainingsdaten müssen nicht mehr annotiert werden, da die Informationen über Segmente und Klassen bereits vorhanden sind.

Erkennung von Beikraut in Drohnenaufnahmen

Die genaue quantitative Analyse zeigt, dass das entwickelte Modell Sorghum und Beikraut in den meisten Fällen richtig erkennt (vergleiche Abbildung 3). Die Fehlerquellen liegen darin, dass entweder Sorghum (22,5 %) oder Beikraut (27,9 %) als Acker vorher-gesagt werden. Fehlklassifikationen zwischen Sorghum und Beikraut sind selten, nur in 1,3 % der Fälle wird Sorghum fälschlicherweise als Beikraut vorhergesagt. Etwas häufiger (4,3 %) wurden Beikrautpixel als Sorghum erkannt. Es werden folglich die meisten Pflanzen richtig segmentiert, wenn man die allgemeine Form der Pflanze betrachtet (vergleiche Abbildung 4). Das Modell ist in der Lage, verschiedene Beikrautspezies als Beikraut vorherzusagen und liefert auch in schwierigen Situationen, wie z. B. bei teilweisen Überlappungen der Pflanzen, akzeptable Ergebnisse (vgl. Abbildung 4 a, c). Inkonsistenzen in der Vorhersage wurden hauptsächlich an den Rändern der Pflanzen beobachtet (vergleiche Abbildung 4). Dies ist am besten in der Zeile "Unterschied" zu erkennen, in der nur die Unterschiede zwischen Grundwahrheit und Vorhersage dargestellt sind. Rosa und violett eingefärbte Pixel stellen Fehler in der Vorhersage dar, bei denen Pflanzenpixel als Acker erkannt wurden. Aus pflanzenbaulicher Sicht sind diese Fehler vernachlässigbar, da die allgemeine Form der Pflanzen trotzdem erkannt wird. Schwerwiegender sind Fehler, bei denen Sorghum als Beikraut klassifiziert wird. Dies kommt nur selten vor, vor allem wenn sich Sorghum und Beikraut teilweise überlappen (Abbildung 4, rot). In seltenen Fällen wird Beikraut als Sorghum vorhergesagt, was häufig bei monokotylen Pflanzen vorkommt (vgl. Abbildung 4).

Das Foto zeigt die Konfusionsmatrix zum Datensatz sorghum_17 in Prozent

Abb. 3: Konfusionsmatrix zum Datensatz sorghum_17 in Prozent

Das Foto zeigt Ergebnisse am Test-Datensatz sorghum_17 der Größe 400x400 Pixel

Abb. 4: Ergebnisse am Test-Datensatz sorghum_17

Adaption auf Mais

Ein auf Sorghum trainiertes Modell liefert vielversprechende Ergebnisse bei der Adaption auf Mais. Weitere Anpassungen des Modells sind notwendig, um es zuverlässig auf Aufnahmen von Sorghum und Mais anwenden zu können (siehe Abbildung 5).

Das Foto zeigt Unterschiede zwischen Sorghum und Mais in den Drohnenaufnahmen

Abb. 5: Unterschiede zwischen Sorghum und Mais in den Drohnenaufnahmen

Weiterer Forschungsbedarf

Aufgrund der in EWIS erarbeiteten Ergebnisse haben sich eine Reihe von Fragestellungen und Herausforderungen ergeben, die im Folgeprojekt EWIS2 bearbeitet werden:

  • Optimierung der Datenerhebung mit Drohnen für die effiziente Erzeugung von hochaufgelösten Bestandsbildern, Befliegungen und Annotation
  • Entwicklung und Validierung einer KI zur automatisierten Generierung von Karten zur teilflächenspezifischen Beikrautregulierung
  • Integration der Feldkarte in Feldrobotik
  • Ökonomisch-ökologische Bewertung des Verfahrens

Einblicke in das Projekt

Eine schwarze Drohne schwebt vor der TFZ Versuchsfläche mit zwei Wissenschaftlern, die die Drohne fliegen, im Hintergrund.

Drohnenbefliegung

Nahaufnahme einer schwarzen Drohne, die mit einer RGB- und einer Multispektralkamera ausgestattet ist.

Drohne

Schwarze Drohne fliegt über einen jungen Sorghumbestand

Drohnenbefliegung

Das Foto zeigt ein Beispiel aus dem Testset des Modells zum Herausrechnen der Bewegungsunschärfe in Drohnenflügen

Beispiel zum Herausrechnen der Bewegungsunschärfe

In einer Software werden mit Hilfe von Bilderkennungstools die Sorghum- von Unkrautpflanzen unterschieden.

Auswahl von hoch auflösenden Aufnahmen

Das Foto zeigt die Wachstumszeitreihen von Matricaria recutita.

Wachstumszeitreihen

In einer Software werden mit Hilfe von Bilderkennungstools Sorghum und Beikräuter unterschieden und farblich maskiert.

Annotationsvorgang

Das Foto zeigt einen Bildausschnitt einer Drohnenaufnahme einer Annotation im zweiten Versuchsjahr.

Annotation

Das Foto zeigt eine Vormaske des binären Klassifikators, in Blau die Pflanzen und in Weiß der Boden.

Vormaske des binären Klassifikators

Das Foto zeigt farbige Labels und feine Maskierung der nicht maskierten und nicht korrekt maskierten Pflanzen.

Farbige Labels

Vergleich zwischen Objekterkennung und Segmentierung unterteilt nach Annotationsart und Evaluationsmetrik

Vergleich Objekterkennung

Übersicht über verschiedene Annotationsarten und deren Eigenschaften

Verschiedene Annotationsarten

Veröffentlichungen im Projekt EWIS

[1] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Beikrauterkennung mit Drohnen und künstlicher Intelligenz-Ein Einblick in das Projekt "EWIS". Schule und Beratung. München: Bayerisches Staatsministerium für Ernährung, Landwirtschaft und Forsten. Bd. 8-10, S. 12-15.

[2] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Intelligente Augen in der Luft. Land und Forst. Hannover: Deutscher Landwirtschaftsverlag GmbH. Bd. 40/2021, S. 12-13.

[3] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Drohnen schauen und die KI erkennt. Bayerisches Landwirtschaftliches Wochenblatt. Hannover: Deutscher Landwirtschafts-verlag GmbH. Bd. 36/2021, S. 47-48.

[4] GENZE, N., GRIMM, D. (24.06.2021): Maschinelles Lernen zur automatischen Erkennung von Beikräutern in Sorghum mit Hilfe von Drohnen. https://www.youtube.com/watch?v=7y6MCoQkXzQ (Stand: 12.05.2022).

[5] GENZE, N., AJEKWE, R., GÜRELI, Z., HASELBECK, F., GRIEB, M., GRIMM, D. G. (2022): Deep learning-based early weed segmentation using motion blurred UAV images of sorghum fields. Computers and Electronics in Agriculture, Volume 202, P. 107388, ISSN 0168-1699, https://doi.org/10.1016/j.compag.2022.107388.

https://www.sciencedirect.com/science/article/pii/S0168169922006962?via%3Dihub Externer Link

[6] GENZE, N., WIRTH, M., SCHREINER, C., AJEKWE, R., GRIEB, M. & GRIMM, D. G. (2023): Improved weed segmentation in UAV imagery of sorghum fields with a combined deblurring segmentation model. Plant Methods 19, 87. https://doi.org/10.1186/s13007-023-01060-8

https://plantmethods.biomedcentral.com/articles/10.1186/s13007-023-01060-8 Externer Link

Projektinformationen:
Projekttitel: Evaluierung und Weiterentwicklung moderner Verfahren der künstlichen Intelligenz zur automatischen Erkennung von Unkraut in Sorghum mit Hilfe von Drohnen
Projektleitung: Michael Grieb
Projektbearbeitung: Raymond Ajekwe
Projektlaufzeit: 01.05.2020–30.04.2023
Geldgeber: Bayerisches Staatsministerium für Ernährung, Landwirtschaft und Forsten
Projektpartner: Prof. Dr. Dominik Grimm, Nikita Grenze, Hochschule Weihenstephan-Triesdorf (HSWT), TUM Campus Straubing; Dr. Wouter Vahl‚ Dr. Jennifer Groth, Institut für Pflanzenbau und Pflanzenzüchtung (IPZ) der Bayerischen Landesanstalt für Landwirtschaft (LfL)
Förderkennzeichen: G2/N/19/13

Logo Bayerisches Staatsministerium für Ernährung, Landwirtschaft und Forsten