Computers are quick and reliable in counting seals

Training AI with aerial photo’s

Harbor and grey seals in the Wadden Sea have long been counted using aerial photographs taken annually from a small aircraft. As a result, a large amount of aerial imagery is available with verified numbers of seals of both species. "We showed stacks of those old photos to a computer program and asked the computer, for example: 'find the fifty grey seals we saw in this photo'. This allowed us to train the computer program in recognizing and counting seals," Hoekendijk said.

Previously, computers were trained to count any objects by first manually marking each individual object on the images, which is a time-consuming task.

Spatial distribution

Grey and harbor seals also behave differently when lying on the sandbanks in the Wadden Sea. Harbor seals are clearly more dispersed than grey seals. "Based on that specific distribution pattern, we can now recognize and count species on images in which the resolution is too low to distinguish the species based on their external characteristics," Hoekendijk said.

Wadden Sea field lab for big Arctic

The Wadden Sea has proven to be a perfect ‘field lab’ to develop these new methodologies, according to Hoekendijk. “We can now search for and count seals on a much larger scale in, for example, the Arctic. If you don't know exactly where to look, then even looking for 7 million harp seals in the entire Arctic is like looking for needles in a haystack."

Those counts of marine mammals like harp seals in the Arctic are essential, however, Hoekendijk argues. "With the disappearance of sea ice, it is expected that seals that rest, molt and give birth to their young on that ice, will have an increasingly hard time. To know the exact consequences, we will have to find and count the animals year by year", Hoekendijk knows. The Arctic Ocean is expected to be completely ice-free possibly by the summer of 2035. 

Satellite imagery

Hoekendijk expects that satellite imagery will play an increasingly important role in this work. "The resolution of satellite images is getting higher and higher. One pixel on a satellite photo measures only 31 by 31 cm nowadays. That means you can already see an individual seal from space. Added to that, 'deep learning' makes computers better and better at recognizing details. I expect that they are becoming indispensable in researching the consequences of climate change for marine mammals."

Computer telt zeehonden snel en goed

Een computer kan razendsnel en betrouwbaar zeehonden tellen op luchtfoto’s. En op basis van verspreidingspatronen in de zeehonden kolonies kunnen de minuscule stipjes op die foto’s ook per soort herkend worden. Dat blijkt uit het proefschrift waar marien bioloog Jeroen Hoekendijk 26 januari op promoveert in Wageningen. “Om beter te begrijpen of en hoe zeehonden last hebben van de klimaatverandering en het verdwijnen van zee-ijs, is deze hulp van kunstmatige intelligentie (AI) bij waarnemingen cruciaal”, zegt Hoekendijk. Hoekendijk voerde zijn promotieonderzoek uit bij het Koninklijk Nederlands Instituut voor Onderzoek der Zee (NIOZ) en Wageningen University & Research.

AI trainen met luchtfoto’s

De gewone en grijze zeehonden in de Waddenzee worden sinds de jaren 70 geteld met behulp van luchtfoto’s die jaarlijks vanuit een klein vliegtuigje worden gemaakt. Daardoor is er een grote hoeveelheid luchtbeelden beschikbaar met geverifieerde aantallen zeehonden van beide soorten. “We hebben stapels van die oude foto’s aan een computerprogramma laten zien en als het ware tegen die computer gezegd: ‘zoek de vijftig grijze zeehonden die wij op deze foto hebben gezien’. Daardoor hebben we het computerprogramma extra snel kunnen trainen in het herkennen en tellen van zeehonden”, aldus Hoekendijk. In eerdere gevallen werden computers getraind in het tellen van om het even welke objecten, door eerst elk individueel object handmatig te markeren op de beelden, wat een tijdrovende klus is.

Verspreidingspatronen

Grijze en gewone zeehonden gedragen zich ook anders, wanneer ze op de droogvallende zandplaten in de Waddenzee liggen. Gewone zeehonden liggen duidelijk meer verspreid dan grijze. “Op basis van dat specifieke verspreidingspatroon kunnen we nu dus tóch de soorten herkennen op beelden waarvan de resolutie te laag is om de soorten te onderscheiden op basis van hun uiterlijke kenmerken. Vervolgens kunnen we ze alsnog per soort tellen”, aldus Hoekendijk.

Waddenzee veldlab voor enorm Noordpoolgebied

De Waddenzee is volgens de promovendus een perfect ‘veldlaboratorium’ gebleken om deze nieuwe methodes te ontwikkelen, om vervolgens later op veel grotere schaal naar zeehonden te zoeken en ze te tellen in bijvoorbeeld het Arctisch gebied. “Als je niet weet waar je precies moet zoeken, dan is zelfs het zoeken naar 7 miljoen zadelrobben in het complete Noordpoolgebied als zoeken naar spelden in een hooiberg.” Die tellingen van zeezoogdieren als zadelrobben in het Noordpoolgebied zijn wel essentieel, stelt Hoekendijk. “Door het verdwijnen van zee-ijs is het de verwachting dat zeehonden die op dat ijs rusten, vervellen en hun jongen baren het steeds moeilijker krijgen. Om te weten wat de precieze consequenties zijn, zullen we de dieren jaar op jaar moeten vinden en tellen.” Het is de verwachting dat Arctische Oceaan mogelijk in de zomer van 2035 al helemaal ijsvrij zal zijn. 

Satellietbeelden

In de toekomst verwacht Hoekendijk dat ook satellietopnames een steeds grotere rol gaan spelen bij dit werk. “De resolutie van satellietbeelden wordt steeds fijner. Eén pixel op een satellietfoto is tegenwoordig nog maar 31 bij 31 cm groot   Dat betekent dat je een individuele zeehond al vanuit de ruimte kan zien liggen. Tel daarbij op dat computers met zogeheten ‘deep learning’ steeds beter worden in het herkennen van details en je begrijpt dat ze onmisbaar worden in het onderzoek naar de consequenties van klimaatverandering voor zeezoogdieren.”​​​​​​​