Forschungs- und Innovationsprojekt EWIS
Erkennung von Unkraut in Sorghum durch künstliche Intelligenz

Bild: Tobias Hase/StMELF

Sorghum wird in Bayern als Energiepflanze vor allem für die Biogasproduktion angebaut. Die hohe Biomasseleistung und die große Sortenvarietät in Verbindung mit seiner Trockenheitstoleranz und Nährstoffeffizienz machen Sorghum zu einer vielversprechenden Rohstoffpflanze.
Neuartige Technologien, verknüpft mit intelligenter Software, eröffnen große Potentiale im Bereich der Effizienzsteigerung in der Landwirtschaft. Mit Hilfe von modernsten Verfahren des maschinellen Lernens (z. B. künstliche neuronale Netze/Deep Learning) sollen drohnenbasierte Bildaufnahmen der Anbauflächen analysiert und Beikraut erkannt werden.

Datenerhebung und Datenverarbeitung

• Um Trainingsdatensätze mit hoher Variabilität zu generieren, wurden Drohnenflüge unter verschiedenen Umweltbedingungen (bewölkt, sonnig, windig und nicht windig) und mit unterschiedlicher Drohnenhardware, Mappingsoftware und Einstellungen durchgeführt.
• Durch die Reduzierung der Flughöhe von 5 m auf 3 m und die Verwendung eines speziellen Aufnahmemodus (Hover and capture mode) wurde die bislang aufgetretene Bewegungsunschärfe deutlich reduziert. Bei dieser Methode nimmt die Drohne keine Bilder in Bewegung auf, sondern schwebt in 3 m Höhe über jedem Aufnahmepunkt (Waypoint) und löst erst dann aus. Dies verbessert die Qualität der Annotation und der späteren Erkennung von Bildobjekten.
• Um eine hohe Auflösung und Homogenität der Bilder unter den stark schwankenden Wetterbedingungen zu erreichen, werden während des Drohnenflugs spezielle Weißabgleichstafeln verwendet, um Über- und Unterbelichtungen zu reduzieren und die Farbtemperatur anzugleichen.
• Mithilfe neuartiger KI-Modelle werden Pflanzen (Beikraut und Sorghum) in Bildern vormaskiert, was zu einem halbautomatischen Annotationsprozess führt, der den Zeitaufwand erheblich reduziert.
• Um einen Trainingsdatensatz von Sorghum und Beikräutern mit sehr hoher Bildauflösung zu erhalten, insbesondere von Beikräutern, die auf dem Feld nur selten zu finden sind, wurde die Moving-Fields-Anlage der Bayerischen Landesanstalt für Landwirtschaft (LfL) eingesetzt. Dort wurden durch die automatische tägliche Datenerfassung und die Erstellung von Wachstumszeitreihen von Sorghum und Beikraut Daten erzeugt. Diese hochaufgelösten Beikrautbilder werden mittels neuartiger Machine-Learning Verfahren mit Bildern aus den Drohnenflügen kombiniert.

KI-Entwicklung

• Moderne Modelle zur semantischen Segmentierung und Erkennung von Bildern wurden evaluiert und für das Projekt weiterentwickelt. Zu den bisher verwendeten KI-Modellen gehören U-Net, ResNet-50 und ResNet-101 von Fully Convolutional Network, RestNet-50 und RestNet-101 von DeepLabv3.
• Das trainierte U-Net-Modell wurde an 20 % unbekannten Testdaten bewertet. Die Klassifizierungsqualität, in diesem Fall die pixelgenaue Übereinstimmung, lag im Durchschnitt bei 78 %. Es zeigt, dass 59 % der Beikräuter auch als Beikraut erkannt wurden. Darüber hinaus wurden mehr als 99 % des Ackers und etwa 76 % der Sorghumpflanzen korrekt klassifiziert. Weitere Analysen ergaben, dass der Acker (Hintergrund) über alle Bilder hinweg 97,2 % der Fläche einnimmt und damit die häufigste Klasse ist. Nur 2,1 % der Fläche kann Sorghum und 0,7 % Beikraut zugeordnet werden.
• Die entwickelten KI-Modelle (ResNet-50 und ResNet-101 aus Fully Convolutional Network, RestNet-50 und RestNet-101 aus DeepLabv3) zeigen mit einem Fehler von weniger als 5 % eine hohe allgemeine Erkennungsrate von Beikraut, Sorghum und Feld/Boden.

Drohnenbefliegung

Drohne

Drohnenbefliegung

Beispiel zum Herausrechnen der Bewegungsunschärfe

Auswahl von hoch auflösenden Aufnahmen

Wachstumszeitreihen

Annotationsvorgang

Annotation

Vormaske des binären Klassifikators

Farbige Labels

Vergleich Objekterkennung

Verschiedene Annotationsarten