Un nouvel effort de collaboration entre MBARI et d’autres institutions de recherche tire parti de la puissance de l’intelligence artificielle et de l’apprentissage automatique pour accélérer les efforts d’étude de l’océan.
Afin de gérer les impacts du changement climatique et d’autres menaces, les chercheurs ont un besoin urgent d’en savoir plus sur les habitants, les écosystèmes et les processus de l’océan. Alors que les scientifiques et les ingénieurs développent une robotique avancée capable de visualiser la vie et les environnements marins pour surveiller les changements dans la santé de l’océan, ils sont confrontés à un problème fondamental : la collecte d’images, de vidéos et d’autres données visuelles dépasse largement la capacité d’analyse des chercheurs.
FathomNet est une base de données d’images open source qui utilise des algorithmes de traitement de données de pointe pour aider à traiter l’arriéré de données visuelles. L’utilisation de l’intelligence artificielle et de l’apprentissage automatique réduira le goulot d’étranglement pour l’analyse des images sous-marines et accélérera d’importantes recherches sur la santé des océans.
« Un grand océan a besoin de données volumineuses. Les chercheurs collectent de grandes quantités de données visuelles pour observer la vie dans l’océan. Comment pouvons-nous traiter toutes ces informations sans automatisation ? L’apprentissage automatique ouvre la voie à suivre, mais ces approches reposent sur des ensembles de données massifs pour la formation. . FathomNet a été conçu pour combler cette lacune », a déclaré Kakani Katija, ingénieur principal du MBARI.
Les co-fondateurs du projet Katija, Katy Croff Bell (Ocean Discovery League) et Ben Woodward (CVision AI), ainsi que des membres de l’équipe élargie de FathomNet, ont détaillé le développement de cette nouvelle base de données d’images dans une récente publication de recherche dans Rapports scientifiques.
Les progrès récents de l’apprentissage automatique permettent une analyse rapide et sophistiquée des données visuelles, mais l’utilisation de l’intelligence artificielle dans la recherche océanique a été limitée par l’absence d’un ensemble standard d’images existantes qui pourraient être utilisées pour entraîner les machines à reconnaître et à cataloguer les objets sous-marins. et la vie. FathomNet répond à ce besoin en agrégeant des images provenant de plusieurs sources pour créer une base de données de formation sur les images sous-marines accessible au public et organisée par des experts.
« Au cours des cinq dernières années, l’apprentissage automatique a révolutionné le paysage de l’analyse visuelle automatisée, en grande partie grâce à des collections massives de données étiquetées. ImageNet et Microsoft COCO sont des ensembles de données de référence pour les applications terrestres vers lesquels les chercheurs en apprentissage automatique et en vision par ordinateur affluent, mais nous n’avons même pas commencé à effleurer la surface des capacités d’apprentissage automatique pour l’analyse visuelle sous-marine », a déclaré Ben Woodward, co-fondateur et PDG de CVision AI et co-fondateur de FathomNet. « Avec FathomNet, nous visons à fournir une référence riche et intéressante pour engager la communauté de l’apprentissage automatique dans un nouveau domaine. »
Au cours des 35 dernières années, MBARI a enregistré près de 28 000 heures de vidéo en haute mer et collecté plus d’un million d’images en haute mer. Cette mine de données visuelles a été annotée en détail par des techniciens de recherche du laboratoire vidéo de MBARI. Les archives vidéo de MBARI comprennent environ 8,2 millions d’annotations qui enregistrent des observations d’animaux, d’habitats et d’objets. Ce riche ensemble de données est une ressource inestimable pour les chercheurs de l’institut et les collaborateurs du monde entier.
FathomNet intègre un sous-ensemble de l’ensemble de données de MBARI, ainsi que des actifs de National Geographic et de la NOAA.
Le laboratoire de technologie d’exploration de la National Geographic Society déploie depuis 2010 des versions de sa plate-forme autonome d’atterrisseur benthique, le Deep Sea Camera System, collectant plus de 1 000 heures de données vidéo à partir d’emplacements dans tous les bassins océaniques et dans une variété d’habitats marins. Ces vidéos ont ensuite été ingérées dans la plate-forme d’analyse collaborative basée sur le cloud de CVision AI et annotées par des spécialistes en la matière de l’Université d’Hawaï et d’OceansTurn.
La National Oceanic and Atmospheric Administration (NOAA) Ocean Exploration a commencé à collecter des données vidéo avec un double système de véhicule télécommandé à bord du navire NOAA Explorateur d’Okeanos en 2010. Plus de 271 téraoctets sont archivés et accessibles au public depuis les National Centers for Environmental Information (NCEI) de la NOAA. La NOAA Ocean Exploration a initialement collecté des annotations par le biais de scientifiques volontaires participants et a commencé à soutenir des taxonomistes experts en 2015 pour annoter plus en profondeur les vidéos collectées.
« FathomNet est un excellent exemple de la façon dont la collaboration et la science communautaire peuvent favoriser des percées dans la façon dont nous apprenons sur l’océan. Avec les données de MBARI et des autres collaborateurs comme colonne vertébrale, nous espérons que FathomNet pourra aider à accélérer la recherche océanique à un moment où comprendre l’océan est plus important que jamais », a déclaré Lonny Lundsten, technicien de recherche senior au Video Lab de MBARI, co-auteur et membre de l’équipe FathomNet.
En tant que ressource Web open source, d’autres institutions peuvent contribuer et utiliser FathomNet au lieu des efforts traditionnels, gourmands en ressources, pour traiter et analyser les données visuelles. MBARI a lancé un programme pilote pour utiliser des modèles d’apprentissage automatique formés par FathomNet pour annoter les vidéos capturées par des véhicules sous-marins télécommandés (ROV). L’utilisation d’algorithmes d’IA a réduit l’effort humain de 81 % et a décuplé le taux d’étiquetage.
Les modèles d’apprentissage automatique formés avec les données FathomNet ont également le potentiel de révolutionner l’exploration et la surveillance des océans. Par exemple, équiper des véhicules robotiques de caméras et d’algorithmes d’apprentissage automatique améliorés peut éventuellement permettre la recherche et le suivi automatisés d’animaux marins et d’autres objets sous-marins.
« Il y a quatre ans, nous envisagions d’utiliser l’apprentissage automatique pour analyser des milliers d’heures de vidéo océanique, mais à l’époque, cela n’était pas possible principalement en raison d’un manque d’images annotées. FathomNet va maintenant faire de cette vision une réalité, débloquant des découvertes et permettant aux explorateurs, aux scientifiques et au public d’utiliser des outils pour accélérer le rythme de la découverte des océans », a déclaré Katy Croff Bell, fondatrice et présidente de l’Ocean Discovery League et cofondatrice de FathomNet.
En septembre 2022, FathomNet contenait 84 454 images, représentant 175 875 localisations de 81 collections distinctes pour 2 243 concepts, avec des contributions supplémentaires en cours. FathomNet vise à obtenir 1 000 observations indépendantes pour plus de 200 000 espèces animales dans diverses poses et conditions d’imagerie – éventuellement plus de 200 millions d’observations au total. Pour que FathomNet atteigne ses objectifs, un engagement communautaire important – y compris des contributions de haute qualité à travers un large éventail de groupes et d’individus – et une large utilisation de la base de données seront nécessaires.
« Alors que FathomNet est une plate-forme Web basée sur une API où les gens peuvent télécharger des données étiquetées pour former de nouveaux algorithmes, nous voulons également qu’elle serve de communauté où les explorateurs et les passionnés de l’océan de tous horizons peuvent apporter leurs connaissances et leur expertise et aider à résoudre défis liés aux données visuelles océaniques qui sont impossibles sans un engagement généralisé », a déclaré Katija.
Fathom Net : fathomnet.org
Le financement de démarrage de FathomNet a été fourni par la National Geographic Society (#518018), la National Oceanic and Atmospheric Administration (NA18OAR4170105) et MBARI grâce au généreux soutien de la Fondation David et Lucile Packard. Un soutien financier supplémentaire a été fourni par la National Geographic Society (NGS-86951T-21) et la National Science Foundation (OTIC #1812535 & Convergence Accelerator #2137977).
.
