sudexpertТеория и практика судебной экспертизыTheory and Practice of Forensic Science1819-27852587-7275The Russian Federal Centre of Forensic Science10.30764/1819-2785-2025-2-65-81sudexpert-886Research ArticleМЕТОДЫ И СРЕДСТВАMETHODS AND TOOLSИспользование модуля сверточного внимания для интерпретации результатов работы сиамской нейронной сети при идентификации рукописных подписейUsing Convolutional Block Attention Module for Interpreting the Results of Artificial Neural Networks Operation in Handwritten Signature Identificationhttps://orcid.org/0000-0002-1391-4050МищукВ. А.MishchukV. A.

Мищук Всеволод Александрович – аспирант кафедры судебно-экспертной деятельности Юридического института

Москва 117198

Mishchuk Vsevolod Aleksandrovich – PhD student of the Department of Forensic Science, Institute of Law

Moscow 117198

seva.mi.112@yandex.ruФГАОУ ВО «Российский университет дружбы народов имени Патриса Лумумбы»РоссияPeoples’ Friendship University of Russia named after Patrice LumumbaRussian Federation2025140720252026581Copyright © Мищук В.А., 20252025Мищук В.А.Mishchuk V.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.tipse.ru/jour/article/view/886

В настоящей работе рассматривается возможность применения сиамской сверточной нейронной сети (SNN) с интегрированным модулем сверточного внимания (CBAM) в идентификационных исследованиях рукописных подписей. Одним из факторов, тормозящих процесс внедрения искусственных нейронных сетей в процесс производства судебно-экспертных исследований, является их низкая степень интерпретируемости. Из-за этого исследователю сложно определить, какие именно закономерности были выявлены нейросетевым алгоритмом и какие из них легли в основу полученного прогноза. Кроме того, в большинстве современных работ, посвященных анализу почерка, специалисты используют «классический» подход к определению авторства рукописи, при котором эта задача рассматривается как частный случай классификации. Однако данный способ часто приводит к ошибкам II рода, из-за чего, на взгляд авторов, использование классификационных алгоритмов для решения идентификационных задач неприемлемо. Вместо этого авторы предлагают обратить внимание на архитектуру SNN. Для подтверждения этих тезисов в рамках настоящей работы были проведены эксперименты, в ходе которых удалось установить, что современные механизмы внимания, в частности модуль CBAM, способны частично интерпретировать полученные нейросетью результаты. Применение SNN, в свою очередь, позволяет минимизировать число ошибок II рода по сравнению с «классической» классификационной системой.

This study explores potential application of a Siamese Convolutional Neural Network (SNN) integrated with a Convolutional Block Attention Module (CBAM) in the field of handwritten signature identification. One well-known obstacle to the introduction of artificial neural networks into forensic expert practice is the low level of their interpretability.

This limitation makes it difficult for experts to determine what patterns were identified by the neural network algorithm, and which ones of them form the basis of its forecast. Furthermore, in most contemporary studies on handwriting analysis, specialists tend to use the “classical” authorship attribution approach, treating the task as a particular case of classification.

However, in authors’ view, this method often leads to Type II errors making the use of classification algorithms for identification purposes unacceptable. As an alternative, the authors propose to focus on the SNN architecture. To support these claims, a series of experiments were conducted as part of this study, demonstrating that modern mechanisms of attention – particularly CBAM – can partially interpret the neural network results. Additionally, the use of SNN helps to minimize the number of Type II errors compared to the traditional classification-based approach.

идентификация подписиинтерпретируемостьискусственные нейронные сетимеханизм вниманиясиамская нейронная сетьсудебно-почерковедческая экспертизаConvolutional Block Attention Module (CBAM)signature identificationinterpretabilityartificial neural networksattention mechanismsiamese neural networkforensic handwriting examinationConvolutional Block Attention Module (CBAM)ReferencesФедоренко В.А., Сорокина К.О., Гиверц П.В. Многогрупповая классификация следов бойков с помощью полносвязной нейронной сети // Информационные технологии и вычислительные системы. 2022. № 3. С. 43–57. https://doi.org/10.14357/20718632220305Fedorenko V.A., Sorokina K.O., Giverts P.V. Multigroup classification of Firing Pin Marks with the Use of a Fully Connected Neural Network. Information Technology and Computing Systems. 2022. No. 3. P. 43–57. (In Russ.). https://doi.org/10.14357/20718632220305Федоренко В.А., Сорокина К.О., Гиверц П.В. Классификация следов бойков по экземплярам оружия сверточной нейронной сетью // Информационные технологии и вычислительные системы. 2024. № 1. С. 87–96. https://doi.org/10.14357/20718632240109Fedorenko V.A., Sorokina K.O., Giverts P.V. The Classification of Firing Pin Impressions Using the Convolutional Neural Network (CNN). Information Technology and Computing Systems. 2024. No. 1. P. 87–96. (In Russ.). https://doi.org/10.14357/20718632240109Россинская Е.Р. Нейросети в судебной экспертологии и экспертной практике: проблемы и перспективы // Вестник Университета имени О.Е. Кутафина (МГЮА). 2024. № 3(115). С. 21–33. https://doi.org/10.17803/2311–5998.2024.115.3.021–033Rossinskaya E.R. Neural Networks in Forensic Expertology and Expert Practice: Problems and Prospects. Courier of Kutafin Moscow State Law University (MSAL). 2024. Vol. 115. No. 3. P. 21–33. (In Russ.). https://doi.org/10.17803/2311-5998.2024.115.3.021-033Кокин А.В., Денисов Ю.Д. Искусственный интеллект в криминалистике и судебной экспертизе: вопросы правосубъектности и алгоритмической предвзятости // Теория и практика судебной экспертизы. 2023. Т. 18. № 2. С. 30–37. https://doi.org/10.30764/1819-2785-2023-2-30-37Kokin A.V., Denisov Yu.D. Artificial Intelligence in Criminalistics and Forensic Examination: Issues of Legal Personality and Algorithmic Bias. Theory and Practice of Forensic Science. 2023. Vol. 18. No. 2. P. 30–37. (In Russ.). https://doi.org/10.30764/1819-2785-2023-2-30-37Андреева О.И., Иванов В.В., Нестеров А.Ю., Трубникова Т.В. Технологии распознавания лиц в уголовном судопроизводстве: проблема оснований правового регулирования использования искусственного интеллекта // Вестник Томского государственного университета. 2019. № 449. С. 201–212. https://doi.org/10.17223/15617793/449/25Andreeva O.I., Ivanov V.V., Nesterov A.Y., Trubnikova T.V. Facial Recognition Technologies in Criminal Proceedings: Problems of Grounds for the Legal Regulation of Using Artificial Intelligence. Tomsk State University Journal. 2019. No. 449. P. 201–212. (In Russ.). https://doi.org/10.17223/15617793/449/25Основы судебной экспертологии: учебно-методическое пособие. М.: ФБУ РФЦСЭ при Минюсте России, 2023. 383 с. https://doi.org/10.30764/978-5-91133-267-9-2023Fundamentals of Forensic Expertology: Educational and Methodological Guide. Moscow: RFCFS, 2023. 384 p. (In Russ.). https://doi.org/10.30764/978-5-91133-267-9-2023Ghorbani A., Abid A., Zou J. Interpretation of Neural Networks Is Fragile // Proceedings of the AAAI Conference on Artificial Intelligence. 2019. Т. 33. No. 1. С. 3681–3688.Ghorbani A., Abid A., Zou J. Interpretation of Neural Networks Is Fragile. Proceedings of the AAAI Conference on Artificial Intelligence. 2019. Vol. 33. No. 1. P. 3681–3688.Das A., Agrawal H., Zitnick L., Parikh D., Batra D. Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions? // Computer Vision and Image Understanding. 2017. Vol. 163. P. 90–100.Das A., Agrawal H., Zitnick L., Parikh D., Batra D. Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions? Computer Vision and Image Understanding. 2017. Vol. 163. P. 90–100.Устинов В.В. О возможности объективизации почерковедческого исследования рукописных реквизитов // Вопросы экспертной практики. 2019. № S1. С. 663–668.Ustinov V.V. On Possibility of Objectivization of Handwriting Expert Examination of Handwritten Requisites. Issues of Expert Practice. 2019. No. S1. P. 663–668. (In Russ.).Мещеряков В.А., Бутов В.В. Оценка возможностей почерковедческой экспертизы сквозь призму современных информационных технологий // Вестник Воронежского института МВД России. 2017. № 2. С. 40–46.Meshcheryakov V.A., Butov V.V. Evaluation of the Results of the Identifical Examination of Script/ Writing Due to Modern Information Technologies. The Bulletin of Voronezh Institute of the Ministry of Internal Affairs of Russia. 2017. No. 2. P. 40–46. (In Russ.).Журавель А.А., Трошко Н.В., Эджубов Л.Г. Использование алгоритма обобщенного портрета для опознания образов в судебном почерковедении // Правовая кибернетика. 1970. С. 212–227.Zhuravel A.A., Troshko N.V., Edzhubov L.G. Using the Generalized Portrait Algorithm for Pattern Recognition in Forensic Handwriting Examination Legal Cybernetics. 1970. P. 212–227. (In Russ.).Woo S., J. Park, Lee J.Y., Kweon I.S. CBAM: Convolutional Block Attention Module // Proceedings of the European Conference on Computer Vision (ECCV). 2018. P. 3–19.Woo S., J. Park, Lee J.Y., Kweon I.S. CBAM: Convolutional Block Attention Module. Proceedings of the European Conference on Computer Vision (ECCV). 2018. P. 3–19.Xue G., Liu S., Gong D., Ma Y. ATP-DenseNet: A Hybrid Deep Learning-based Gender Identification of Handwriting // Neural Computing and Applications. 2021. Vol. 33. P. 4611–4622.Xue G., Liu S., Gong D., Ma Y. ATP-DenseNet: A Hybrid Deep Learning-based Gender Identification of Handwriting. Neural Computing and Applications. 2021. Vol. 33. P. 4611–4622.Бобовкин М.В., Диденко О.А., Нестеров А.Е. Компьютерное моделирование раздельного и сравнительного исследования частных признаков почерка на основе программного комплекса «Фрося» // Судебная экспертиза. 2021. № 3 (67). С. 62–71. https://doi.org/10.25724/VAMVD.UXYZBobovkin M.V., Didenko O.A., Nesterov A.E. Computer Simulation of Separate and Comparative Study of Private Characteristics Based on the ‘Frosya’ Software Complex. Forensic Sciences. 2021. No. 3 (67). P. 62–71. (In Russ.). https://doi.org/10.25724/VAMVD.UXYZZhang X.Y., Xie G.S., Liu C.L., Bengio Y. End-to-End Online Writer Identification with Recurrent Neural Network // IEEE Transactions on Human-Machine Systems. 2016. Vol. 47. No. 2. P. 285– 292.Zhang X.Y., Xie G.S., Liu C.L., Bengio Y. End-to-End Online Writer Identification with Recurrent Neural Network. IEEE Transactions on Human-Machine Systems. 2016. Vol. 47. No. 2. P. 285– 292.Kao H.H., Wen C.Y. An Offline Signature Verification and Forgery Detection Method Based on a Single Known Sample and an Explainable Deep Learning Approach // Applied Sciences. 2020. Vol. 10. No. 11. 3716. https://doi.org/10.3390/app10113716Kao H.H., Wen C.Y. An Offline Signature Verification and Forgery Detection Method Based on a Single Known Sample and an Explainable Deep Learning Approach. Applied Sciences. 2020. Vol. 10. No. 11. 3716. https://doi.org/10.3390/app10113716Simonyan K., Vedaldi A., Zisserman A. Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps // arXiv. 2013. https://doi.org/10.48550/arXiv.1312.6034Simonyan K., Vedaldi A., Zisserman A. Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps. arXiv. 2013. https://doi.org/10.48550/arXiv.1312.6034Selvaraju R.R., Cogswell M., Das A., Vedantam R., Parikh D., Batra D. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization // Proceedings of the IEEE International Conference on Computer Vision. 2017. P. 618–626.Selvaraju R.R., Cogswell M., Das A., Vedantam R., Parikh D., Batra D. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. Proceedings of the IEEE International Conference on Computer Vision. 2017. P. 618–626.Droby A., Rabaev I., Shapira D.V., Kurar Barakat B., El-Sana J. Digital Hebrew Paleography: Script Types and Modes // Journal of Imaging. 2022. Vol. 8. No. 5. P. 143.Droby A., Rabaev I., Shapira D.V., Kurar Barakat B., El-Sana J. Digital Hebrew Paleography: Script Types and Modes. Journal of Imaging. 2022. Vol. 8. No. 5. P. 143.Marcinowski M. Top Interpretable Neural Network for Handwriting Identification // Journal of Forensic Sciences. 2022. Vol. 67. No. 3. P. 1140–1148.Marcinowski M. Top Interpretable Neural Network for Handwriting Identification. Journal of Forensic Sciences. 2022. Vol. 67. No. 3. P. 1140–1148.Harralson H.H., Miller L.S. Huber and Headrick’s Handwriting Identification: Facts and Fundamentals. CRC press, 2017. 420 p.Harralson H.H., Miller L.S. Huber and Headrick’s Handwriting Identification: Facts and Fundamentals. CRC press, 2017. 420 p.Bromley J., Guyon I., LeCun Y., Säckinger E., Shah R. Signature Verification using a “Siamese” Time Delay Neural Network // Advances in Neural Information Processing Systems. 1993. Vol. 6. P. 669–686.Bromley J., Guyon I., LeCun Y., Säckinger E., Shah R. Signature Verification using a «Siamese» Time Delay Neural Network. Advances in Neural Information Processing Systems. 1993. Vol. 6. P. 669–686.Dey S., Dutta A., Toledo J.I., Ghosh S.K., Llados J., Pal U. SigNet: Convolutional Siamese Network for Writer Independent Offline Signature Verification // arXiv. 2017. https://doi.org/10.48550/arXiv.1707.02131Dey S., Dutta A., Toledo J.I., Ghosh S.K., Llados J., Pal U. SigNet: Convolutional Siamese Network for Writer Independent Offline Signature Verification. arXiv. 2017. https://doi.org/10.48550/arXiv.1707.02131Bakhteev D.V. Criminalistic Conclusions on Signature Forgery Process During Building an Offline Signature Veriécation Intellectual System // Nowa Kodyfikacja Prawa Karnego. 2021. No. 60. P. 9–15.Bakhteev D.V. Criminalistic Conclusions on Signature Forgery Process During Building an Offline Signature Verification Intellectual System. Nowa Kodyfikacja Prawa Karnego. 2021. No. 60. P. 9–15.Chopra P. Making Your Neural Network Say “I Don’t Know” – Bayesian NNs using Pyro and PyTorch // Medium. https://towardsdatascience.com/making-your-neural-network-say-i-dont-know-bayesian-nns-using-pyro-and-pytorch-b1c24e6ab8cdP. Chopra Making Your Neural Network Say “I Don’t Know” – Bayesian NNs using Pyro and PyTorch. Medium. https://towardsdatascience.com/making-your-neural-network-say-i-dont-know-bayesian-nns-using-pyro-and-pytorch-b1c24e6ab8cdBahdanau D., Cho K., Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate // arXiv. 2014. https://doi.org/10.48550/arXiv.1409.0473Bahdanau D., Cho K., Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate. arXiv. 2014. https://doi.org/10.48550/arXiv.1409.0473Bakhteev D.V., Sudarikov R. NSP Dataset and Offline Signature Verification // Quality of Information and Communications Technology: 13th International Conference, QUATIC 2020 (Faro, Portugal, September 9–11, 2020). Proceedings 13. Springer International Publishing, 2020. P. 41–49.Bakhteev D.V., Sudarikov R. NSP Dataset and Offline Signature Verification. Quality of Information and Communications Technology: 13th International Conference, QUATIC 2020 (Faro, Portugal, September 9–11, 2020). Proceedings 13. Springer International Publishing, 2020. P. 41–49.

The authors declare that there are no conflicts of interest present.