vestibИзвестия Национальной академии наук Беларуси. Серия биологических наукProceedings of the National Academy of Sciences of Belarus, Biological Series1029-89402524-230XThe Republican Unitary Enterprise Publishing House "Belaruskaya Navuka"10.29235/1029-8940-2025-70-2-118-124vestib-967Research ArticleСтатьиОпределение видов птиц Беларуси с помощью нейросетевого анализа вокализаций: особенности подготовки данных и обучения моделиBelarusian bird acoustic recognition: data preparation and model training processhttps://orcid.org/0000-0003-1773-1128НикифоровМ. Е.NikiforovM. E.

Никифоров Михаил Ефимович ‒ академик, д-р биол. наук, профессор, заведующий лабораторией

ул. Академическая, 27, 220072, г. Минск

Michail E. Nikiforov ‒ Academician, D. Sc. (Biol.), Professor, Head of the Laboratory

27, Akademicheskaya Str., 220072, Minsk

mnikif1956@gmail.comДашевскаяЛ. О.DashevskayaL. O.

Дашевская Лидия Олеговна ‒ мл. науч. сотрудник

ул. Академическая, 27, 220072, г. Минск

Lidiya O. Dashevskaya ‒ Junior Researcher

27, Akademicheskaya Str., 220072, Minsk

lidiyadashevskaya@gmail.comhttps://orcid.org/0000-0002-2396-1387ГомельК. В.HomelK. V.

Гомель Константин Вячеславович ‒ канд. биол. наук, доцент, вед. науч. сотрудник

ул. Академическая, 27, 220072, г. Минск

Kanstantsin V. Homel ‒ Ph. D. (Biol.), Associate Profes sor, Leading Researcher

27, Akademicheskaya Str., 220072, Minsk

homelkv@gmail.comhttps://orcid.org/0000-0002-3612-1467ВолнистыйА. А.ValnistyA. A.

Волнистый Арсений Андреевич ‒ науч. сотрудник

ул. Академическая, 27, 220072, г. Минск

Arseniy A. Valnisty ‒ Researcher

27, Akademicheskaya Str., 220072, Minsk

volnisty.aa@yandex.ruШаговаТ. Г.ShagovaT. G.

Шагова Татьяна Григорьевна ‒ канд. мат. наук, науч. сотрудник

ул. Сурганова, 6, 220012, г. Минск

Tatyana G. Shagova ‒ Ph. D. (Math.), Researcher

6, Surganov Str., 220012, Minsk

tanya.shagova@gmail.comКайгородоваЛ. И.KaigorodovaL. I.

Кайгородова Леся Иосифовна – науч. сотрудник

ул. Сурганова, 6, 220012, г. Минск

Lesya I. Kaigorodova – Researcher

6, Surganov Str., 220012, Minsk

lesia.piatrouskaya@gmail.comБелявскийД. А.BelyavskyD. A.

Белявский Денис Александрович – науч. сотрудник

ул. Сурганова, 6, 220012, г. Минск

Denis A. Belyavsky – Researcher

6, Surganov Str., 220012, Minsk

dzianis.bialiauski@gmail.comЖаловаД. А.ZhalovaD. A.

Жалова Дарья Александровна – мл. науч. сотрудник

ул. Сурганова, 6, 220012, г. Минск

Daria A. Zhalova – Junior Researcher

6, Surganov Str., 220012, Minsk

daryazhalova@gmail.comГецевичЮ. С.GetsevichYu. S.

Гецевич Юрась Станиславович – канд. тех. наук, заведующий лабораторией

ул. Сурганова, 6, 220012, г. Минск

Yuras. S. Getsevich – Ph. D. (Techn.), Head of the Laboratory

6, Surganov Str., 220012, Minsk

yuras.hetsevich@gmail.comНаучно-практический центр Национальной академии наук Беларуси по биоресурсамScientific and Practical Center of the National Academy of Sciences of Belarus for BioresourcesОбъединенный институт проблем информатики Национальной академии наук БеларусиUnited Institute of Informatics Problems of the National Academy of Sciences of Belarus202508052025702118124Copyright © Никифоров М.Е., Дашевская Л.О., Гомель К.В., Волнистый А.А., Шагова Т.Г., Кайгородова Л.И., Белявский Д.А., Жалова Д.А., Гецевич Ю.С., 20252025Никифоров М.Е., Дашевская Л.О., Гомель К.В., Волнистый А.А., Шагова Т.Г., Кайгородова Л.И., Белявский Д.А., Жалова Д.А., Гецевич Ю.С.Nikiforov M.E., Dashevskaya L.O., Homel K.V., Valnisty A.A., Shagova T.G., Kaigorodova L.I., Belyavsky D.A., Zhalova D.A., Getsevich Y.S.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestibio.belnauka.by/jour/article/view/967

Проблема значительных трудовых и временных затрат для осуществления эффективного мониторинга диких популяций птиц требует современных технологических решений. Актуальные достижения в области машинного обучения обеспечили прорыв в возможностях анализа больших объемов данных с использованием нейросетей, и одним из перспективных методов применения этой технологии является ее использование в рамках пассивного акустического мониторинга (ПАМ) – перспективного подхода для наблюдения за птицами, основанного на автоматическом определении видов животных по их вокализациям на звукозаписях. В настоящей публикации описываются промежуточные результаты и достижения, полученные в ходе разработки средства для автоматического определения видов птиц в рамках ПАМ в Беларуси на основе нейросетевой модели EfficientNetB3. Применение упомянутой модели, обученной на новом наборе акустических данных птичьих вокализаций (29,6 ч), подготовленном по специализированному алгоритму, позволило нам достичь высоких показателей достоверности определения видов птиц по записям их вокализаций (точность, f1 > 0,9) для большинства видов, как, например, для козодоя и кедровки. Средний результат получен по полному перечню из 116 видов птиц. Углубленное тестирование позволило нам установить комплексную связь между видовыми особенностями вокализаций и точностью определения видов моделью на основе акустических данных. Мы предполагаем, что ключевыми факторами, снижающими показатели автоматизированного видового определения, являются оверфиттинг на конкретных акустических сигналах, а также неполное покрытие разнообразия вокализаций использованным в обучении набором данных.

The issue of substantial labor and time demands for monitoring bird species diversity and range changes, especially in developing countries, invites novel technological solutions. The recent advancements in machine learning (ML) have led to breakthroughs in AI-based data processing, including tools for automated passive acoustic monitoring (PAM) that utilize on-site bird vocalizations. Here we describe our preliminary results and difficulties encountered when developing an EfficientNetB3-based model for a PAM system to monitor bird diversity in the forested areas of interest in Belarus. A novel dataset of bird vocalizations from Eastern Europe, processed and converted into mel-spectrograms allowed us to achieve a respectable f1-scores (>0.9) in tests for certain species such as nightjar and nutcracker. However, the overall score (0.52) for the 116 species of interest was unacceptably low. Further testing with a more specialized dataset allowed us to determine that the problem lies with the peculiarities of species, and is not limited to species with complex vocalizations. We hypothesize that model overfitting to specific vocalization signals may be one of the main causes. Additionally, certain species require a thorough coverage of their vocalization diversity in the dataset.

пассивный акустический мониторингптичьи вокализациимашинное обучениеpassive acoustic monitoringavian vocalizationsmachine learningReferencesPriyadarshani N., Marsland S., Castro I. Automated birdsong recognition in complex acoustic environments: a review. Journal of Avian Biology, 2018, vol. 49, no. 5, p. jav-01447. https://doi.org/10.1111/jav.01447Priyadarshani N., Marsland S., Castro I. Automated birdsong recognition in complex acoustic environments: a review. Journal of Avian Biology, 2018, vol. 49, no. 5, p. jav-01447. https://doi.org/10.1111/jav.01447Klein D. J., Mckown M. W., Tershy B. R. Deep Learning for Large Scale Biodiversity Monitoring. Bloomberg Data for Good Exchange. New York, 2015. https://doi.org/10.13140/RG.2.1.1051.7201Klein D. J., Mckown M. W., Tershy B. R. Deep Learning for Large Scale Biodiversity Monitoring. Bloomberg Data for Good Exchange. New York, 2015. https://doi.org/10.13140/RG.2.1.1051.7201Miao Z., Gaynor K. M., Wang J., Liu Z., Muellerklein O., Norouzzadeh M. S., McInturff A., Bowie R. C. K., Nathan R., Yu S. X., Getz W. M. Insights and approaches using deep learning to classify wildlife. Scientific Reports, 2019, vol. 9, no. 1, art. 8137. https://doi.org/10.1038/s41598-019-44565-wMiao Z., Gaynor K. M., Wang J., Liu Z., Muellerklein O., Norouzzadeh M. S., McInturff A., Bowie R. C. K., Nathan R., Yu S. X., Getz W. M. Insights and approaches using deep learning to classify wildlife. Scientific Reports, 2019, vol. 9, no. 1, art. 8137. https://doi.org/10.1038/s41598-019-44565-wSharma S., Sato K., Gautam B. P. A Methodological Literature Review of Acoustic Wildlife Monitoring Using Artificial Intelligence Tools and Techniques. Sustainability, 2023, vol. 15, no. 9, art. 7128. https://doi.org/10.3390/su15097128Sharma S., Sato K., Gautam B. P. A Methodological Literature Review of Acoustic Wildlife Monitoring Using Artificial Intelligence Tools and Techniques. Sustainability, 2023, vol. 15, no. 9, art. 7128. https://doi.org/10.3390/su15097128Wood C. M., Kahl S., Rahaman A., Klinck H. The machine learning–powered BirdNET App reduces barriers to global bird research by enabling citizen science participation. PLOS Biology, 2022, vol. 20, no 6, p. e3001670. https://doi.org/10.1371/journal.pbio.3001670Wood C. M., Kahl S., Rahaman A., Klinck H. The machine learning–powered BirdNET App reduces barriers to global bird research by enabling citizen science participation. PLOS Biology, 2022, vol. 20, no 6, p. e3001670. https://doi.org/10.1371/journal.pbio.3001670Bota G., Manzano-Rubio R., Catalán L., Gómez-Catasús J., Pérez-Granados C. Hearing to the Unseen: AudioMoth and BirdNET as a Cheap and Easy Method for Monitoring Cryptic Bird Species. Sensors, 2023, vol. 23, no. 16, art. 7176. https://doi.org/10.3390/s23167176Bota G., Manzano-Rubio R., Catalán L., Gómez-Catasús J., Pérez-Granados C. Hearing to the Unseen: AudioMoth and BirdNET as a Cheap and Easy Method for Monitoring Cryptic Bird Species. Sensors, 2023, vol. 23, no. 16, art. 7176. https://doi.org/10.3390/s23167176Ware L., Mahon C. L., McLeod L., Jetté J.-F. Artificial intelligence (BirdNET) supplements manual methods to maximize bird species richness from acoustic data sets generated from regional monitoring. Canadian Journal of Zoology, 2023, vol. 101, no. 12, pp. 1031–1051. https://doi.org/10.1139/cjz-2023-0044Ware L., Mahon C. L., McLeod L., Jetté J.-F. Artificial intelligence (BirdNET) supplements manual methods to maximize bird species richness from acoustic data sets generated from regional monitoring. Canadian Journal of Zoology, 2023, vol. 101, no. 12, pp. 1031–1051. https://doi.org/10.1139/cjz-2023-0044Karlionova N. V., Borodin A. V., Samusenko I. E., Nikiforov M. E. Records of rare birds approved by the Belarusian Ornithofaunistic Commission in 2021 and 2022. Zoologicheskie chteniya: sbornik nauchnykh statei, posvyashchennyi 125-letiyu doktora biologicheskikh nauk Ivana Nikolaevicha Serzhanina, 22–24 marta 2023 goda, Grodno [Zoological readings: a collection of scientific articles dedicated to the 125th anniversary of Doctor of Biological Sciences Ivan Nikolaevich Serzhanin, March 22–24, 2023, Grodno]. Grodno, 2023, рр. 113–125 (in Russian).Karlionova N. V., Borodin A. V., Samusenko I. E., Nikiforov M. E. Records of rare birds approved by the Belarusian Ornithofaunistic Commission in 2021 and 2022. Zoologicheskie chteniya: sbornik nauchnykh statei, posvyashchennyi 125-letiyu doktora biologicheskikh nauk Ivana Nikolaevicha Serzhanina, 22–24 marta 2023 goda, Grodno [Zoological readings: a collection of scientific articles dedicated to the 125th anniversary of Doctor of Biological Sciences Ivan Nikolaevich Serzhanin, March 22–24, 2023, Grodno]. Grodno, 2023, рр. 113–125 (in Russian).Vellinga W.-P. Xeno-canto – Bird sounds from around the world. Available at: https://www.gbif.org/dataset/b1047888-ae524179-9dd5-5448ea342a24 (accessed 01.11.2024).Vellinga W.-P. Xeno-canto – Bird sounds from around the world. Available at: https://www.gbif.org/dataset/b1047888-ae524179-9dd5-5448ea342a24 (accessed 01.11.2024).Fonseca E., Favory X., Pons J., Font F., Serra X. FSD50K: An Open Dataset of Human-Labeled Sound Events. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2022, vol. 30, pp. 829–852. https://doi.org/10.1109/TASLP.2021.3133208Fonseca E., Favory X., Pons J., Font F., Serra X. FSD50K: An Open Dataset of Human-Labeled Sound Events. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2022, vol. 30, pp. 829–852. https://doi.org/10.1109/TASLP.2021.3133208Zianouka Y., Bialiauski D., Kajharodava L., Trafimau A., Chachlou V., Hetsevich J., Zahariev V., Zhaksylyk K. Developing Birds Sound Recognition System Using an Ontological Approach. Open Semantic Technologies for Intelligent Systems: Research Papers Collection. Minsk, 2023, iss. 7, pp. 165–170. Available at: https://libeldoc.bsuir.by/bitstream/123456789/51271/1/Zianouka_Developing.pdf (accessed 01.11.2024).Zianouka Y., Bialiauski D., Kajharodava L., Trafimau A., Chachlou V., Hetsevich J., Zahariev V., Zhaksylyk K. Developing Birds Sound Recognition System Using an Ontological Approach. Open Semantic Technologies for Intelligent Systems: Research Papers Collection. Minsk, 2023, iss. 7, pp. 165–170. Available at: https://libeldoc.bsuir.by/bitstream/123456789/51271/1/Zianouka_Developing.pdf (accessed 01.11.2024).Koh C.-Y., Chang J.-Y., Tai C.-L., Huang D.-Y., Hsieh H.-H., Liu Y.-W. Bird Sound Classification Using Convolutional Neural Networks. Working Notes of CLEF 2019 – Conference and Labs of the Evaluation Forum (CLEF 2019), Lugano, Switzerland, September 9–12, 2019. Available at: https://ceur-ws.org/Vol-2380/paper_68.pdf (accessed 01.11.2024).Koh C.-Y., Chang J.-Y., Tai C.-L., Huang D.-Y., Hsieh H.-H., Liu Y.-W. Bird Sound Classification Using Convolutional Neural Networks. Working Notes of CLEF 2019 – Conference and Labs of the Evaluation Forum (CLEF 2019), Lugano, Switzerland, September 9–12, 2019. Available at: https://ceur-ws.org/Vol-2380/paper_68.pdf (accessed 01.11.2024).Sevilla A., Glotin H. Audio Bird Classification with Inception-v4 extended with Time and Time-Frequency Attention Mechanisms. Working Notes of CLEF 2017 – Conference and Labs of the Evaluation Forum, Dublin, Ireland, September 11–14, 2017. Available at: https://ceur-ws.org/Vol-1866/paper_177.pdf (accessed 01.11.2024).Sevilla A., Glotin H. Audio Bird Classification with Inception-v4 extended with Time and Time-Frequency Attention Mechanisms. Working Notes of CLEF 2017 – Conference and Labs of the Evaluation Forum, Dublin, Ireland, September 11–14, 2017. Available at: https://ceur-ws.org/Vol-1866/paper_177.pdf (accessed 01.11.2024).Chollet F. Keras 3 API Documentation. Available at: https://keras.io/applications (accessed 01.11.2024).Chollet F. Keras 3 API Documentation. Available at: https://keras.io/applications (accessed 01.11.2024).Tan M., Le Q. V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. International confe rence on machine learning. Long Beach, 2019. Available at: https://proceedings.mlr.press/v97/tan19a/tan19a.pdf (accessed 01.11.2024).Tan M., Le Q. V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. International confe rence on machine learning. Long Beach, 2019. Available at: https://proceedings.mlr.press/v97/tan19a/tan19a.pdf (accessed 01.11.2024).Kahl S., Denton T., Klinck H., Reers H., Cherutich F., Glotin H., Goëau H., Vellinga W.-P., Planqué R., Joly A. Overview of BirdCLEF 2023: Automated Bird Species Identification in Eastern Africa. Working Notes of the Conference and Labs of the Evaluation Forum (CLEF 2023), Thessaloniki, Greece, September 18th to 21st, 2023. Available at: https://ceur-ws.org/Vol-3497/paper-164.pdf (accessed 01.11.2024).Kahl S., Denton T., Klinck H., Reers H., Cherutich F., Glotin H., Goëau H., Vellinga W.-P., Planqué R., Joly A. Overview of BirdCLEF 2023: Automated Bird Species Identification in Eastern Africa. Working Notes of the Conference and Labs of the Evaluation Forum (CLEF 2023), Thessaloniki, Greece, September 18th to 21st, 2023. Available at: https://ceur-ws.org/Vol-3497/paper-164.pdf (accessed 01.11.2024).

The authors declare that there are no conflicts of interest present.