BEWEGTE BEGEGNUNG

Schweizerischer Nationalpark, Schweiz

Markus Marks, Universität Zürich / ETH Zürich / Caltech
Luke Franzke, Zürcher Hochschule der Künste (ZHdK)
Laurens Bohlen, Universität Zürich

Ökologinnen und Ökologen, die das Verhalten von Tieren erforschen, verbringen oft Wochen oder Monate damit, sich Kamerafallenaufnahmen anzuschauen und sie zu sortieren. Deshalb haben der Neurotechnologe Markus Marks und ein Forschungsteam am Institut für Neuroinformatik (INI) der Universität Zürich und der ETH Zürich eine Machine Learning-Anwendung entwickelt, das ihnen diese Arbeit abnehmen soll (→Marks et al., 2022).

EINE LANGE GESCHICHTE
Die Frage, ob Computer sehen und denken können wie Menschen, beschäftigt Forscher:innen schon lange. In den 1960er-Jahren starteten erste Experimente im Feld der «computer vision», also des maschinellen Sehens. Bis in die 1980er-Jahre konnten Computer grobe Strukturen wie Ecken und Kanten erkennen. Im Lauf der 1990er-Jahre, als Digitalkameras immer günstiger und Computer immer leistungsfähiger wurden, startete das maschinelle Sehen als Forschungsfeld richtig durch.

Seither hat sich in diesem Bereich viel getan. Heute erkennen Smartphones Gesichter, selbstfahrende Autos lesen Verkehrsschilder und KI-Programme helfen Mediziner:innen dabei, Hautkrebs zu diagnostizieren. Auch in der Ökologie sind solche Anwendungen gefragt. Sie ermöglichen umfangreiche, komplexe Forschungsprojekte, die ohne technologische Hilfe unmöglich umsetzbar wären.

Deshalb haben Markus Marks und sein Team eine Anwendung entwickelt, die in Rohvideodaten einzelne Tiere identifizieren, ihr Verhalten erkennen und die Videodaten entsprechend sortieren kann. Die Anwendung erkennt nicht nur Handlungen – zum Beispiel, ob ein Schimpanse den anderen laust – sondern sogar Gefühle und Stimmungslagen wie Angst, Aggression oder Freude.

EINE SCHNELLE LÖSUNG
Herkömmliche Anwendungen, die Tierverhalten erkennen können, schauen auf bestimmte Merkmale im Videobild. Verbreitet ist die sogenannte pose estimation, bei der die Körperhaltung des Tiers erkannt wird. Dafür muss die Anwendung in jedem Bild dieselben Punkte (sogenannte landmarks) finden – zum Beispiel Augen oder Pfoten. Das funktioniert zwar gut, ist aber sehr aufwändig – denn für jede neue Tierart muss die Anwendung von neuem lernen, auf welche landmarks sie achten muss.

Im Gegensatz dazu kann die Anwendung von Markus direkt mit Rohvideodaten arbeiten. Das hat zwei grosse Vorteile. Erstens funktioniert die Methode besser als Anwendungen, die auf pose estimation basieren. Und zweitens müssen Forscherinnen und Forscher die Anwendung nicht für jede Tierart neu trainieren. Stattdessen können sie ihr Material damit quasi auf Knopfdruck auswerten.

In Zukunft wird die Anwendung langfristige und vertiefte Studien im Bereich der Verhaltensforschung ermöglichen. Gerade für Zoos, in denen viele verschiedene Tiere leben, ist sie sehr interessant. Auf diese Weise wird sie helfen, den Tierschutz zu verbessern.

Die Anwendung in Entwicklung (2023).

EINE INTERAKTIVE INSTALLATION
Der Interaktionsdesigner Luke Franzke und der Biologe Laurens Bohlen haben gemeinsam mit Markus Marks eine Installation entwickelt, die intuitiv vermitteln soll, wie diese Anwendung funktioniert.

In Bewegte Begegnung treten die Besucherinnen und Besucher vor eine Kamera, die zunächst sie erkennt. Auf einem Screen können sie beobachten, wie der Computer sie klassifiziert. Je nachdem, wie sie sich verhalten, tauchen auf kachelförmig um sie verteilten Fenstern verschiedene Tiere auf.

Für die Installation haben Luke und Laurens mit Kamerafallendaten aus dem Schweizerischen Nationalpark gearbeitet. So lässt Bewegte Begegnung einen in die Wildnis eintauchen. Und auch für die Forschung im Schweizerischen Nationalpark könnte Markus’ Anwendung nützlich sein – beispielsweise, um das Verhalten von Wölfen besser zu verstehen.

Markus Marks war bis 2022 Doktorand am Institut für Neuroinformatik (INI) der Universität Zürich und der ETH und ist jetzt als Postdoc am renommierten California Institute of Technology (Caltech) in Pasadena, Kalifornien tätig. Er ist Erstautor der Studie Deep-learning-based identification, tracking, pose estimation and behaviour classification of interacting primates and mice in complex environments, die im April 2022 in nature machine intelligence erschien und auf der die Installation Bewegte Begegnung basiert.

Luke Franzke ist Wissenschaftlicher Mitarbeiter an der ZHdK. 2006 hat er seinen Bachelor in Multimedia an der Victoria Universität in Melbourne und danach mehrere Jahre Erfahrung im UI Design und Entwicklung gesammelt. Nach seinem Masterabschluss in Interaction Design an der ZHdK ist er der Forschungsgruppe Enactive Environments beigetreten, wo er neue digitale Geräte aus vergänglichem Material entwickelt hat. Luke unterrichtet Product Design und Basiskenntnisse der Programmierung und erforscht neue Materialtechnologien im Interaction Design.

Laurens Bohlen ist Projektleiter bei der Abteilung für Kunst & Wissenschaft an der Universität Zürich (UZH). Er studierte Biologie an der UZH mit besonderem Interesse am Bereich Computational Biologie. Im Masterstudiengang Quantitative Biologie und Systembiologie an der UZH entwickelte er ein System zur Identifizierung einzelner Steinböcke anhand ihrer Hörner basierend auf Maschinellem Lernen.