Использование модуля сверточного внимания для интерпретации результатов работы сиамской нейронной сети при идентификации рукописных подписей

В настоящей работе рассматривается возможность применения сиамской сверточной нейронной сети (SNN) с интегрированным модулем сверточного внимания (CBAM) в идентификационных исследованиях рукописных подписей. Одним из факторов, тормозящих процесс внедрения искусственных нейронных сетей в процесс производства судебно-экспертных исследований, является их низкая степень интерпретируемости. Из-за этого исследователю сложно определить, какие именно закономерности были выявлены нейросетевым алгоритмом и какие из них легли в основу полученного прогноза. Кроме того, в большинстве современных работ, посвященных анализу почерка, специалисты используют «классический» подход к определению авторства рукописи, при котором эта задача рассматривается как частный случай классификации. Однако данный способ часто приводит к ошибкам II рода, из-за чего, на взгляд авторов, использование классификационных алгоритмов для решения идентификационных задач неприемлемо. Вместо этого авторы предлагают обратить внимание на архитектуру SNN. Для подтверждения этих тезисов в рамках настоящей работы были проведены эксперименты, в ходе которых удалось установить, что современные механизмы внимания, в частности модуль CBAM, способны частично интерпретировать полученные нейросетью результаты. Применение SNN, в свою очередь, позволяет минимизировать число ошибок II рода по сравнению с «классической» классификационной системой.

1. Федоренко В.А., Сорокина К.О., Гиверц П.В. Многогрупповая классификация следов бойков с помощью полносвязной нейронной сети // Информационные технологии и вычислительные системы. 2022. № 3. С. 43–57. https://doi.org/10.14357/20718632220305

2. Федоренко В.А., Сорокина К.О., Гиверц П.В. Классификация следов бойков по экземплярам оружия сверточной нейронной сетью // Информационные технологии и вычислительные системы. 2024. № 1. С. 87–96. https://doi.org/10.14357/20718632240109

3. Россинская Е.Р. Нейросети в судебной экспертологии и экспертной практике: проблемы и перспективы // Вестник Университета имени О.Е. Кутафина (МГЮА). 2024. № 3(115). С. 21–33. https://doi.org/10.17803/2311–5998.2024.115.3.021–033

4. Кокин А.В., Денисов Ю.Д. Искусственный интеллект в криминалистике и судебной экспертизе: вопросы правосубъектности и алгоритмической предвзятости // Теория и практика судебной экспертизы. 2023. Т. 18. № 2. С. 30–37. https://doi.org/10.30764/1819-2785-2023-2-30-37

5. Андреева О.И., Иванов В.В., Нестеров А.Ю., Трубникова Т.В. Технологии распознавания лиц в уголовном судопроизводстве: проблема оснований правового регулирования использования искусственного интеллекта // Вестник Томского государственного университета. 2019. № 449. С. 201–212. https://doi.org/10.17223/15617793/449/25

6. Основы судебной экспертологии: учебно-методическое пособие. М.: ФБУ РФЦСЭ при Минюсте России, 2023. 383 с. https://doi.org/10.30764/978-5-91133-267-9-2023

7. Ghorbani A., Abid A., Zou J. Interpretation of Neural Networks Is Fragile // Proceedings of the AAAI Conference on Artificial Intelligence. 2019. Т. 33. No. 1. С. 3681–3688.

8. Das A., Agrawal H., Zitnick L., Parikh D., Batra D. Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions? // Computer Vision and Image Understanding. 2017. Vol. 163. P. 90–100.

9. Устинов В.В. О возможности объективизации почерковедческого исследования рукописных реквизитов // Вопросы экспертной практики. 2019. № S1. С. 663–668.

10. Мещеряков В.А., Бутов В.В. Оценка возможностей почерковедческой экспертизы сквозь призму современных информационных технологий // Вестник Воронежского института МВД России. 2017. № 2. С. 40–46.

11. Журавель А.А., Трошко Н.В., Эджубов Л.Г. Использование алгоритма обобщенного портрета для опознания образов в судебном почерковедении // Правовая кибернетика. 1970. С. 212–227.

12. Woo S., J. Park, Lee J.Y., Kweon I.S. CBAM: Convolutional Block Attention Module // Proceedings of the European Conference on Computer Vision (ECCV). 2018. P. 3–19.

13. Xue G., Liu S., Gong D., Ma Y. ATP-DenseNet: A Hybrid Deep Learning-based Gender Identification of Handwriting // Neural Computing and Applications. 2021. Vol. 33. P. 4611–4622.

14. Бобовкин М.В., Диденко О.А., Нестеров А.Е. Компьютерное моделирование раздельного и сравнительного исследования частных признаков почерка на основе программного комплекса «Фрося» // Судебная экспертиза. 2021. № 3 (67). С. 62–71. https://doi.org/10.25724/VAMVD.UXYZ

15. Zhang X.Y., Xie G.S., Liu C.L., Bengio Y. End-to-End Online Writer Identification with Recurrent Neural Network // IEEE Transactions on Human-Machine Systems. 2016. Vol. 47. No. 2. P. 285– 292.

16. Kao H.H., Wen C.Y. An Offline Signature Verification and Forgery Detection Method Based on a Single Known Sample and an Explainable Deep Learning Approach // Applied Sciences. 2020. Vol. 10. No. 11. 3716. https://doi.org/10.3390/app10113716

17. Simonyan K., Vedaldi A., Zisserman A. Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps // arXiv. 2013. https://doi.org/10.48550/arXiv.1312.6034

18. Selvaraju R.R., Cogswell M., Das A., Vedantam R., Parikh D., Batra D. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization // Proceedings of the IEEE International Conference on Computer Vision. 2017. P. 618–626.

19. Droby A., Rabaev I., Shapira D.V., Kurar Barakat B., El-Sana J. Digital Hebrew Paleography: Script Types and Modes // Journal of Imaging. 2022. Vol. 8. No. 5. P. 143.

20. Marcinowski M. Top Interpretable Neural Network for Handwriting Identification // Journal of Forensic Sciences. 2022. Vol. 67. No. 3. P. 1140–1148.

21. Harralson H.H., Miller L.S. Huber and Headrick’s Handwriting Identification: Facts and Fundamentals. CRC press, 2017. 420 p.

22. Bromley J., Guyon I., LeCun Y., Säckinger E., Shah R. Signature Verification using a “Siamese” Time Delay Neural Network // Advances in Neural Information Processing Systems. 1993. Vol. 6. P. 669–686.

23. Dey S., Dutta A., Toledo J.I., Ghosh S.K., Llados J., Pal U. SigNet: Convolutional Siamese Network for Writer Independent Offline Signature Verification // arXiv. 2017. https://doi.org/10.48550/arXiv.1707.02131

24. Bakhteev D.V. Criminalistic Conclusions on Signature Forgery Process During Building an Offline Signature Veriécation Intellectual System // Nowa Kodyfikacja Prawa Karnego. 2021. No. 60. P. 9–15.

25. Chopra P. Making Your Neural Network Say “I Don’t Know” – Bayesian NNs using Pyro and PyTorch // Medium. https://towardsdatascience.com/making-your-neural-network-say-i-dont-know-bayesian-nns-using-pyro-and-pytorch-b1c24e6ab8cd

26. Bahdanau D., Cho K., Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate // arXiv. 2014. https://doi.org/10.48550/arXiv.1409.0473

27. Bakhteev D.V., Sudarikov R. NSP Dataset and Offline Signature Verification // Quality of Information and Communications Technology: 13th International Conference, QUATIC 2020 (Faro, Portugal, September 9–11, 2020). Proceedings 13. Springer International Publishing, 2020. P. 41–49.