Forschungs- und Innovationsprojekt EWIS
Erkennung von Unkraut in Sorghum durch künstliche Intelligenz

Nahaufnahme einer schwarzen Drohne, die mit einer RGB- und einer Multispektralkamera ausgestattet ist.

Bild: Tobias Hase/StMELF

Sorghum wird in Bayern als Energiepflanze vor allem für die Biogasproduktion angebaut. Die hohe Biomasseleistung und die große Sortenvarietät in Verbindung mit seiner Trockenheitstoleranz und Nährstoffeffizienz machen Sorghum zu einer vielversprechenden Rohstoffpflanze.
Neuartige Technologien, verknüpft mit intelligenter Software, eröffnen große Potentiale im Bereich der Effizienzsteigerung in der Landwirtschaft. Mit Hilfe von modernsten Verfahren des maschinellen Lernens (z. B. künstliche neuronale Netze/Deep Learning) sollen drohnenbasierte Bildaufnahmen der Anbauflächen analysiert und Beikraut erkannt werden.

Ziel

In diesem Projekt sollen innovative Ansätze der smarten Digitalisierung zur automatischen Beikrauterkennung mittels Fernerkundung auf landwirtschaftlichen Nutzflächen untersucht und entwickelt werden. Dabei soll Sorghum als Nachwachsender Rohstoff zur Untersuchung der Forschungsfragen verwendet werden.
Mit Hilfe von modernsten Verfahren der künstlichen Intelligenz (KI) und des maschinellen Lernens sollen drohnenbasierte Bildaufnahmen der Anbauflächen analysiert werden. Ziel dieses Projekts ist es, nicht nur etablierte KI-Verfahren zu untersuchen und deren Anwendbarkeit zu evaluieren, sondern auch neuartige Methoden zu entwickeln, welche mit möglichst hoher Genauigkeit Unkrautflächen im Bestand erkennen und lokalisieren können. Die entwickelten KI-Verfahren könnten in Zukunft dabei helfen, effizientere und zielorientiertere Beikrautbekämpfung durchzuführen und somit den Einsatz von Pflanzenschutzmitteln zu reduzieren.

Methode/Arbeitsschwerpunkte

Zur automatischen Klassifikation und Erkennung von Beikrautherden beim Anbau von Sorghum und Mais werden höchstmoderne Verfahren der künstlichen Intelligenz, insbesondere des maschinellen Lernens, untersucht und weiterentwickelt. Zum einen sind hoch-qualitative Bilddaten von Einzelpflanzen nötig. Zum anderen soll eine Vielzahl an Befliegungen von unterschiedlichsten Anbauflächen mit unterschiedlichsten Sensoren und Drohnentypen (professionelle Geräte vs. Hobbygeräte) durchgeführt werden, um einen genügend großen sowie variablen Stamm an hochwertigen Trainings- und Testdaten zu generieren.
Dabei werden zahlreiche moderne Verfahren des maschinellen Lernens untersucht und auf deren Anwendbarkeit zur automatischen Beikrauterkennung evaluiert. Diese Verfahren sollen dann gezielt weiterentwickelt und optimiert werden, um akkuratere Bildanalysen und Vorhersagen über Beikrautherde treffen zu können.

Zwischenergebnis

Datenerhebung und Datenverarbeitung

  • Um Trainingsdatensätze mit hoher Variabilität zu generieren, wurden Drohnenflüge unter verschiedenen Umweltbedingungen (bewölkt, sonnig, windig und nicht windig) und mit unterschiedlicher Drohnenhardware, Mappingsoftware und Einstellungen durchgeführt.
  • Durch die Reduzierung der Flughöhe von 5 m auf 3 m und die Verwendung eines speziellen Aufnahmemodus (Hover and capture mode) wurde die bislang aufgetretene Bewegungsunschärfe deutlich reduziert. Bei dieser Methode nimmt die Drohne keine Bilder in Bewegung auf, sondern schwebt in 3 m Höhe über jedem Aufnahmepunkt (Waypoint) und löst erst dann aus. Dies verbessert die Qualität der Annotation und der späteren Erkennung von Bildobjekten.
  • Um eine hohe Auflösung und Homogenität der Bilder unter den stark schwankenden Wetterbedingungen zu erreichen, werden während des Drohnenflugs spezielle Weißabgleichstafeln verwendet, um Über- und Unterbelichtungen zu reduzieren und die Farbtemperatur anzugleichen.
  • Mithilfe neuartiger KI-Modelle werden Pflanzen (Beikraut und Sorghum) in Bildern vormaskiert, was zu einem halbautomatischen Annotationsprozess führt, der den Zeitaufwand erheblich reduziert.
  • Um einen Trainingsdatensatz von Sorghum und Beikräutern mit sehr hoher Bildauflösung zu erhalten, insbesondere von Beikräutern, die auf dem Feld nur selten zu finden sind, wurde die Moving-Fields-Anlage der Bayerischen Landesanstalt für Landwirtschaft (LfL) eingesetzt. Dort wurden durch die automatische tägliche Datenerfassung und die Erstellung von Wachstumszeitreihen von Sorghum und Beikraut Daten erzeugt. Diese hochaufgelösten Beikrautbilder werden mittels neuartiger Machine-Learning Verfahren mit Bildern aus den Drohnenflügen kombiniert.

KI-Entwicklung

  • Moderne Modelle zur semantischen Segmentierung und Erkennung von Bildern wurden evaluiert und für das Projekt weiterentwickelt. Zu den bisher verwendeten KI-Modellen gehören U-Net, ResNet-50 und ResNet-101 von Fully Convolutional Network, RestNet-50 und RestNet-101 von DeepLabv3.
  • Das trainierte U-Net-Modell wurde an 20 % unbekannten Testdaten bewertet. Die Klassifizierungsqualität, in diesem Fall die pixelgenaue Übereinstimmung, lag im Durchschnitt bei 78 %. Es zeigt, dass 59 % der Beikräuter auch als Beikraut erkannt wurden. Darüber hinaus wurden mehr als 99 % des Ackers und etwa 76 % der Sorghumpflanzen korrekt klassifiziert. Weitere Analysen ergaben, dass der Acker (Hintergrund) über alle Bilder hinweg 97,2 % der Fläche einnimmt und damit die häufigste Klasse ist. Nur 2,1 % der Fläche kann Sorghum und 0,7 % Beikraut zugeordnet werden.
  • Die entwickelten KI-Modelle (ResNet-50 und ResNet-101 aus Fully Convolutional Network, RestNet-50 und RestNet-101 aus DeepLabv3) zeigen mit einem Fehler von weniger als 5 % eine hohe allgemeine Erkennungsrate von Beikraut, Sorghum und Feld/Boden. Betrachtet man die einzelnen Klassen im Detail, so fällt auf, dass Fehler vor allem an den Blatträndern einzelner Pflanzen auftreten und komplette Fehlklassifikationen nur in geringem Umfang vorkommen.
  • Das entwickelte KI-Modell kann auch Beikräuter in der Saatreihe mit hoher Genauigkeit erkennen, eine Fähigkeit, die mit anderen Methoden derzeit nicht möglich ist. Darüber hinaus wurde gezeigt, dass das KI-Modell, das anhand von Daten von Sorghum-Pflanzen im Wachstumsstadium BBCH 17 entwickelt wurde, gut auf ein früheres Wachstumsstadium von Sorghum (BBCH 15) angewendet werden kann, ohne dass das Modell zusätzlich oder neu trainiert werden muss.
  • Bei größeren Wachstumsstadien von Sorghum kommt es zu einer verstärkten Fehlklassifizierung von Sorghum-Pflanzen, nicht jedoch bei Beikraut. Diese Ergebnisse deuten darauf hin, dass für höhere Wachstumsstadien zusätzliche Trainingsdaten benötigt werden, zumal sich die Pflanzenmorphologie in höheren Wachstumsstadien deutlich verändert.

Einblicke in das Projekt

Eine schwarze Drohne schwebt vor der TFZ Versuchsfläche mit zwei Wissenschaftlern, die die Drohne fliegen, im Hintergrund.

Drohnenbefliegung

Nahaufnahme einer schwarzen Drohne, die mit einer RGB- und einer Multispektralkamera ausgestattet ist.

Drohne

Schwarze Drohne fliegt über einen jungen Sorghumbestand

Drohnenbefliegung

Das Foto zeigt ein Beispiel aus dem Testset des Modells zum Herausrechnen der Bewegungsunschärfe in Drohnenflügen

Beispiel zum Herausrechnen der Bewegungsunschärfe

In einer Software werden mit Hilfe von Bilderkennungstools die Sorghum- von Unkrautpflanzen unterschieden.

Auswahl von hoch auflösenden Aufnahmen

Das Foto zeigt die Wachstumszeitreihen von Matricaria recutita.

Wachstumszeitreihen

In einer Software werden mit Hilfe von Bilderkennungstools Sorghum und Beikräuter unterschieden und farblich maskiert.

Annotationsvorgang

Das Foto zeigt einen Bildausschnitt einer Drohnenaufnahme einer Annotation im zweiten Versuchsjahr.

Annotation

Das Foto zeigt eine Vormaske des binären Klassifikators, in Blau die Pflanzen und in Weiß der Boden.

Vormaske des binären Klassifikators

Das Foto zeigt farbige Labels und feine Maskierung der nicht maskierten und nicht korrekt maskierten Pflanzen.

Farbige Labels

Das Foto zeigt ausgewählte Ergebnisse am Test-Datensatz der Größe 400x400 Pixel.

Test-Datensatz

Das Foto zeigt den Vergleich der Konfusions-Matrizen einzelner Wachstumsstadien in Prozent.

Konfusions-Matritzen

Bildausschnitt mit Unkraut, das in der Reihe wächst

Bildausschnitt von Sorghum mit Beikraut

Vergleich zwischen Objekterkennung und Segmentierung unterteilt nach Annotationsart und Evaluationsmetrik

Vergleich Objekterkennung

Übersicht über verschiedene Annotationsarten und deren Eigenschaften

Verschiedene Annotationsarten

Veröffentlichungen im Projekt EWIS

[1] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Beikrauterkennung mit Drohnen und künstlicher Intelligenz-Ein Einblick in das Projekt "EWIS". Schule und Beratung. München: Bayerisches Staatsministerium für Ernährung, Landwirtschaft und Forsten. Bd. 8-10, S. 12-15

[2] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Intelligente Augen in der Luft. Land und Forst. Hannover: Deutscher Landwirtschaftsverlag GmbH. Bd. 40/2021, S. 12-13

[3] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Drohnen schauen und die KI erkennt. Bayerisches Landwirtschaftliches Wochenblatt. Hannover: Deutscher Landwirtschafts-verlag GmbH. Bd. 36/2021, S. 47-48

[4] GENZE, N., GRIMM, D. (24.06.2021): Maschinelles Lernen zur automatischen Erkennung von Beikräutern in Sorghum mit Hilfe von Drohnen. https://www.youtube.com/watch?v=7y6MCoQkXzQ (Stand: 12.05.2022)

[5] GENZE N., AJEKWE R., GÜRELI Z., HASELBECK F., GRIEB M., GRIMM D. (2022): Deep learning-based early weed segmentation using UAV images of Sorghum fields. Under Review in Computers and Electronics in Agriculture

Projektinformationen:
Projekttitel: Evaluierung und Weiterentwicklung moderner Verfahren der künstlichen Intelligenz zur automatischen Erkennung von Unkraut in Sorghum mit Hilfe von Drohnen
Projektleitung: Michael Grieb
Projektbearbeitung: Raymond Ajekwe
Projektlaufzeit: 01.05.2020–30.04.2023
Geldgeber: Bayerisches Staatsministerium für Ernährung, Landwirtschaft und Forsten
Projektpartner: Prof. Dr. Dominik Grimm, Nikita Grenze, Hochschule Weihenstephan-Triesdorf (HSWT), TUM Campus Straubing; Dr. Wouter Vahl‚ Dr. Jennifer Groth, Institut für Pflanzenbau und Pflanzenzüchtung (IPZ) der Bayerischen Landesanstalt für Landwirtschaft (LfL)
Förderkennzeichen: G2/N/19/13

Logo Bayerisches Staatsministerium für Ernährung, Landwirtschaft und Forsten