Определение видов птиц Беларуси с помощью нейросетевого анализа вокализаций: особенности подготовки данных и обучения модели

Проблема значительных трудовых и временных затрат для осуществления эффективного мониторинга диких популяций птиц требует современных технологических решений. Актуальные достижения в области машинного обучения обеспечили прорыв в возможностях анализа больших объемов данных с использованием нейросетей, и одним из перспективных методов применения этой технологии является ее использование в рамках пассивного акустического мониторинга (ПАМ) – перспективного подхода для наблюдения за птицами, основанного на автоматическом определении видов животных по их вокализациям на звукозаписях. В настоящей публикации описываются промежуточные результаты и достижения, полученные в ходе разработки средства для автоматического определения видов птиц в рамках ПАМ в Беларуси на основе нейросетевой модели EfficientNetB3. Применение упомянутой модели, обученной на новом наборе акустических данных птичьих вокализаций (29,6 ч), подготовленном по специализированному алгоритму, позволило нам достичь высоких показателей достоверности определения видов птиц по записям их вокализаций (точность, f1 > 0,9) для большинства видов, как, например, для козодоя и кедровки. Средний результат получен по полному перечню из 116 видов птиц. Углубленное тестирование позволило нам установить комплексную связь между видовыми особенностями вокализаций и точностью определения видов моделью на основе акустических данных. Мы предполагаем, что ключевыми факторами, снижающими показатели автоматизированного видового определения, являются оверфиттинг на конкретных акустических сигналах, а также неполное покрытие разнообразия вокализаций использованным в обучении набором данных.

1. Priyadarshani N., Marsland S., Castro I. Automated birdsong recognition in complex acoustic environments: a review. Journal of Avian Biology, 2018, vol. 49, no. 5, p. jav-01447. https://doi.org/10.1111/jav.01447

2. Klein D. J., Mckown M. W., Tershy B. R. Deep Learning for Large Scale Biodiversity Monitoring. Bloomberg Data for Good Exchange. New York, 2015. https://doi.org/10.13140/RG.2.1.1051.7201

3. Miao Z., Gaynor K. M., Wang J., Liu Z., Muellerklein O., Norouzzadeh M. S., McInturff A., Bowie R. C. K., Nathan R., Yu S. X., Getz W. M. Insights and approaches using deep learning to classify wildlife. Scientific Reports, 2019, vol. 9, no. 1, art. 8137. https://doi.org/10.1038/s41598-019-44565-w

4. Sharma S., Sato K., Gautam B. P. A Methodological Literature Review of Acoustic Wildlife Monitoring Using Artificial Intelligence Tools and Techniques. Sustainability, 2023, vol. 15, no. 9, art. 7128. https://doi.org/10.3390/su15097128

5. Wood C. M., Kahl S., Rahaman A., Klinck H. The machine learning–powered BirdNET App reduces barriers to global bird research by enabling citizen science participation. PLOS Biology, 2022, vol. 20, no 6, p. e3001670. https://doi.org/10.1371/journal.pbio.3001670

6. Bota G., Manzano-Rubio R., Catalán L., Gómez-Catasús J., Pérez-Granados C. Hearing to the Unseen: AudioMoth and BirdNET as a Cheap and Easy Method for Monitoring Cryptic Bird Species. Sensors, 2023, vol. 23, no. 16, art. 7176. https://doi.org/10.3390/s23167176

7. Ware L., Mahon C. L., McLeod L., Jetté J.-F. Artificial intelligence (BirdNET) supplements manual methods to maximize bird species richness from acoustic data sets generated from regional monitoring. Canadian Journal of Zoology, 2023, vol. 101, no. 12, pp. 1031–1051. https://doi.org/10.1139/cjz-2023-0044

8. Karlionova N. V., Borodin A. V., Samusenko I. E., Nikiforov M. E. Records of rare birds approved by the Belarusian Ornithofaunistic Commission in 2021 and 2022. Zoologicheskie chteniya: sbornik nauchnykh statei, posvyashchennyi 125-letiyu doktora biologicheskikh nauk Ivana Nikolaevicha Serzhanina, 22–24 marta 2023 goda, Grodno [Zoological readings: a collection of scientific articles dedicated to the 125th anniversary of Doctor of Biological Sciences Ivan Nikolaevich Serzhanin, March 22–24, 2023, Grodno]. Grodno, 2023, рр. 113–125 (in Russian).

9. Vellinga W.-P. Xeno-canto – Bird sounds from around the world. Available at: https://www.gbif.org/dataset/b1047888-ae524179-9dd5-5448ea342a24 (accessed 01.11.2024).

10. Fonseca E., Favory X., Pons J., Font F., Serra X. FSD50K: An Open Dataset of Human-Labeled Sound Events. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2022, vol. 30, pp. 829–852. https://doi.org/10.1109/TASLP.2021.3133208

11. Zianouka Y., Bialiauski D., Kajharodava L., Trafimau A., Chachlou V., Hetsevich J., Zahariev V., Zhaksylyk K. Developing Birds Sound Recognition System Using an Ontological Approach. Open Semantic Technologies for Intelligent Systems: Research Papers Collection. Minsk, 2023, iss. 7, pp. 165–170. Available at: https://libeldoc.bsuir.by/bitstream/123456789/51271/1/Zianouka_Developing.pdf (accessed 01.11.2024).

12. Koh C.-Y., Chang J.-Y., Tai C.-L., Huang D.-Y., Hsieh H.-H., Liu Y.-W. Bird Sound Classification Using Convolutional Neural Networks. Working Notes of CLEF 2019 – Conference and Labs of the Evaluation Forum (CLEF 2019), Lugano, Switzerland, September 9–12, 2019. Available at: https://ceur-ws.org/Vol-2380/paper_68.pdf (accessed 01.11.2024).

13. Sevilla A., Glotin H. Audio Bird Classification with Inception-v4 extended with Time and Time-Frequency Attention Mechanisms. Working Notes of CLEF 2017 – Conference and Labs of the Evaluation Forum, Dublin, Ireland, September 11–14, 2017. Available at: https://ceur-ws.org/Vol-1866/paper_177.pdf (accessed 01.11.2024).

14. Chollet F. Keras 3 API Documentation. Available at: https://keras.io/applications (accessed 01.11.2024).

15. Tan M., Le Q. V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. International confe rence on machine learning. Long Beach, 2019. Available at: https://proceedings.mlr.press/v97/tan19a/tan19a.pdf (accessed 01.11.2024).

16. Kahl S., Denton T., Klinck H., Reers H., Cherutich F., Glotin H., Goëau H., Vellinga W.-P., Planqué R., Joly A. Overview of BirdCLEF 2023: Automated Bird Species Identification in Eastern Africa. Working Notes of the Conference and Labs of the Evaluation Forum (CLEF 2023), Thessaloniki, Greece, September 18th to 21st, 2023. Available at: https://ceur-ws.org/Vol-3497/paper-164.pdf (accessed 01.11.2024).