AI helps speed up ecological surveys

~~ for Dutch scroll down~~

Ecologists have been monitoring seal populations for decades, building up vast libraries of aerial photos in the process. Counting the number of seals in these photos require hours of meticulous work to manually identify the animals in each image.

Today, a cross-disciplinary team of researchers including Jeroen Hoekendijk, a PhD student at Wageningen University & Research and employed by NIOZ and Devis Tuia, an associate professor and head of the Environmental Computational Science and Earth Observation Laboratory at EPFL Valais, have come up with a more efficient approach to count objects in ecological surveys. In their study, published in Scientific Reports, they use a deep-learning model to count the number of seals in archived photos. Their method could run through 100 images in less than one minute – versus one hour for a human expert.

No labeling needed
“In ecology, the most commonly employed deep-learning models are first trained to detect individual objects, after which the detected objects are counted. This type of model requires extensive annotations of individual objects during training,” says Hoekendijk. However, the method applied by the research team eliminates the need to label individual seals beforehand, dramatically speeding up the procedure since only the total number of animals in the picture is needed. What’s more, their method can be used to count any items or individual animals, and thus potentially help to process not only the new photos, but also those that could not be analyzed for lack of time. This represents decades of photos that could provide important insight into how population size has evolved over time.

From the macroscopic to the microscopic
The way seals appear in aerial photos can vary significantly from one batch to the next, depending on the altitude and angle at which the photo was taken. The research team therefore evaluated robustness to such variation. In addition, to demonstrate the potential of their deep-learning model, the scientists tested their approach on a fundamentally different dataset, of a much smaller scale: images of microscopic growth rings in fishbones called otoliths. These otoliths, or hearing stones, are hard, calcium carbonate structures located directly behind a fish’s brain. The scientists trained their model to count the daily growth rings visible in the images, which are used to estimate the age of the fish. These growth rings are known for being extremely challenging to annotate individually. The research team found that their model had roughly the same margin of error as manual methods, but could work through 100 images in under a minute, whereas it would take three hours for an expert.

Next step
The next step will be to apply similar approaches to satellite images of inaccessible Arctic regions where several seal populations live that are on the Red List of Threatened Species compiled by the International Union for Conservation of Nature. In the future scientists plan to use this approach to study endangered species in this remote part of the world, where temperatures are rising twice as fast as elsewhere on the planet. Knowing where the animals concentrate is essential to protect these often-endangered species.

Kunstmatige intelligentie helpt ecologen sneller tellen

Wetenschappers van het NIOZ (Koninklijk Nederlands Instituut voor Onderzoek der Zee), WUR (Wageningen University & Research) en EPFL (Swiss Federal Institute of Technology Lausanne) hebben een nieuw deep-learning model ontwikkeld voor het tellen van het aantal zeehonden op luchtfoto's. Door deze taak te automatiseren kan kostbare tijd bespaard worden.

Ecologen houden al tientallen jaren zeehondenpopulaties in de gaten en hebben daarbij enorme archieven van digitale luchtfoto's verzameld. Het handmatig tellen van de zeehonden op deze foto’s is een tijdrovende klus die vele uren van nauwgezet werk vergt.

Een interdisciplinair team van onderzoekers, waaronder Jeroen Hoekendijk (promovendus bij het NIOZ en WUR) en Devis Tuia (universitair hoofddocent en hoofd van het Environmental Computational Science and Earth Observation Laboratory aan de EPFL), heeft nu een efficiëntere aanpak bedacht om objecten in dergelijke ecologische onderzoeken te tellen. In hun studie, vandaag gepubliceerd in Scientific Reports, gebruiken ze hiervoor een zogenaamd deep-learning model. Met deze methode, een vorm van kunstmatige intelligentie, kan veel tijdwinst geboekt worden. Voor de zeehonden foto’s bijvoorbeeld, kan het model 100 beelden in minder dan een minuut verwerken - tegenover een uur voor een menselijke expert.

Geen labels nodig
Deep-learning modellen worden ‘getraind’ om aan de hand van gelabelde foto’s patronen leren te herkennen. "In de ecologie worden de meest gebruikte deep-learning modellen eerst getraind om individuele objecten te detecteren, waarna de gedetecteerde objecten worden geteld. Voor dit type model is het nodig dat elk object individueel gelabeld is tijdens de training," zegt Hoekendijk. De methode die het onderzoeksteam toepast, maakt het echter overbodig om vooraf individuele zeehonden te labelen. In plaats daarvan maakt het model gebruik van het totaalaantal zeehonden dat zichtbaar is op de foto. Vervolgens kan het getrainde model gebruikt worden om zeehonden te tellen in nieuwe beelden, maar bijvoorbeeld ook in beelden die wegens tijdgebrek niet eerder konden worden geanalyseerd. De manier waarop zeehonden op luchtfoto's te zien zijn, kan per foto aanzienlijk verschillen, afhankelijk van de hoogte en de hoek waaronder de foto genomen is. Het onderzoeksteam testte daarom ook de nauwkeurigheid van het model voor dergelijke variaties.

Van macro naar micro
Om de potentie van hun deep-learning model aan te tonen, pasten de wetenschappers hun methode daarnaast toe op een fundamenteel andere dataset, van een veel kleinere schaal: foto’s van microscopische groeiringen in gehoorstenen van vissen. Deze gehoorstenen, ook wel otolieten genoemd, zijn harde, calciumcarbonaatstructuren die zich direct achter de hersenen van een vis bevinden. De wetenschappers trainden hun model om de in de foto’s zichtbare groeiringen te tellen, welke worden gebruikt om de leeftijd van de vis te schatten. Deze groeiringen zijn uiterst moeilijk om individueel te labelen. Door net als bij de zeehonden ook hier de computer te vertellen hoeveel ringen er op de foto staan, leerde het computermodel zelf de cryptische groeiringen te herkennen en te tellen. Het onderzoeksteam stelde vast dat hun model ongeveer dezelfde foutmarge had als menselijke experts, maar dat het 100 beelden in minder dan een minuut kon verwerken, terwijl een expert daar drie uur over zou doen.

Volgende stap
De volgende stap is het toepassen van een soortgelijke aanpak op satellietbeelden van ontoegankelijke Arctische gebieden, waar verschillende zeehondenpopulaties leven die op de Rode Lijst van bedreigde diersoorten staan, samengesteld door de IUCN (International Union for Conservation of Nature). In de toekomst willen de onderzoekers een soortgelijke aanpak te gebruiken om bedreigde soorten te bestuderen in dit afgelegen deel van de wereld, waar de temperaturen twee keer zo snel stijgen als elders op de planeet. Weten waar de dieren zich ophouden is essentieel om deze vaak bedreigde soorten beter te beschermen.