Multi-target deep-learning convolutional neural network based on correlation convolution of energies spectra of multiple docking: a new method of machine learning for searching biologically active substances

Full Text

Разнообразные методы машинного обучения, в настоящее время называемые методами искусственного интеллекта, широко используются в поиске биологически активных веществ [1].

Сегодня под искусственным интеллектом, как правило, подразумевается применение для решения поставленных человеком задач искусственных нейронных сетей различной архитектуры [2].

В нейросетевом моделировании особая роль отводится нейронным сетям глубокого обучения, которые являются обязательным компонентом всех современных систем искусственного интеллекта [3]. Фундаментальной основой всех используемых в настоящее время архитектур нейронных сетей является теорема Колмогорова [4], которая определяет, что любая непрерывная функция может быть представлена в виде суперпозиции непрерывных функций одного или двух аргументов. Это означает, что любую самую сложную зависимость можно аппроксимировать с использованием двухслойной ней-ронной сети прямого распространения, если адекватно подобрать две функции активации и правильно рассчитать веса синапсов. Однако эта теорема допускает возможность использования и большего числа функций активации (например, трех), что при правильном их выборе может привести к повышению точности такой многослойной нейросети.

При распознавании изображений и текстов необходимо обрабатывать очень большое число входных нейронов (пикселов, токенов).

С целью сокращения размерности анализируемого пространства и выявления имеющихся в нем скрытых содержательных образов были разработаны различные операции свертки, преимущественно на основе использования матричных методов [5].

Химико-биологические данные, характеризующие лекарственные соединения, имеют очень специфическую структуру, что существенно отличает эти данные от данных, описывающих объекты другой природы. Кроме того, хорошо известно, что подавляющее большинство лекарственных веществ действуют одновременно на несколько биомишеней.

Таким образом, разработка новых методов построения сверточных нейронных сетей глубокого обучения, ориентированных на анализ зависимостей между биологической активностью и структурой химических соединений, учитывающих особый характер химико-биологической информации и взаимодействие веществ с несколькими биомишенями, является актуальной и научно востребованной задачей.

Разработанный нами метод множественного докинга [6] позволяет формировать высоко достоверное векторное описание аффинности химических соединений к релевантным биомишеням в виде спектров энергий докинга в 27 пространств, сформированных по всему объему каждого белка-мишени.

Полученный вектор энергий множественного докинга отражает интегральную аффинность лиганда к данной биомишени. Однако объединение в один массив спектров энергий множественного докинга, вычисленных для нескольких биомишеней, существенно увеличивает размерность предметной области.

Полносвязные нейронные сети отличаются от большинства других нейронных сетей тем, что наличие отдельного выходного слоя нейронов не является обязательным. Эта архитектура применяется для создания ассоциативной памяти [7] и позволяет формировать устойчивые эталоны объектов путем минимизации некоторого фунционала, называемого энергией сети.

Мы использовали архитектуру полносвязной нейронной сети в качестве нематричного метода свертки, для чего разработали процедуру корреляционной свертки спектров энергий множественного докинга [8].

ЦЕЛЬ РАБОТЫ

Разработка нового метода машинного обучения для поиска in silico биологически активных соединений – мультитаргетной сверточной ней-ронной сети глубокого обучения на основе корреляционной свертки спектров энергий множественного докинга в релевантные биомишени.

МЕТОДИКА ИССЛЕДОВАНИЯ

Для достижения цели исследования необходимо было решить следующие задачи: 1) выполнение ансамблевого множественного докинга известных соединений с модельными биологическими активностями в релевантные биомишени и формирование спектров энергий их множественного докинга; 2) проведение корреляционной свертки спектров энергий множественного докинга и вычисление для указанных соединений энергий полносвязных сверточных корреляционных нейронных сетей; 3) разработка компьютерной программы построения нейронных сетей глубокого обучения; 4) формирование входных наборов данных по уровням активности известных соединений с модельными биологическими активностями и значениям энергий полносвязных сверточных корреляционных нейросетей; 5) обучение для модельных видов биологической активности мультитаргетных сверточных нейронных сетей глубокого обучения на основе корреляционной свертки спектров энергий множественного докинга и оценка точности полученных нейросетей.

В проведенном исследовании в качестве модельных биологических активностей были выбраны анксиолитическая активность и антимикробная активность в отношении Staphylococcus aureus. В качестве материалов выступали: значения энергий множественного докинга в 22 релевантных белка-мишени 537 известных химических соединений, экспериментально изученных на анксиолитическую активность; значения энергий множественного докинга в 10 релевантных белков-мишеней 284 известных химических соединений, экспериментально изученных на антимикробную в отношении S.aureus активность и структурно сходных со скаффолдом хиназолинона.

Для последовательной обработки и анализа данных в настоящем исследовании использовались следующие компьютерные программы: 1) корреляционная свертка спектров энергий мно-жественного докинга и вычисление энергий полносвязной сверточной корреляционной нейросети – оригинальная программа FCCorNet; 2) написание программы построения нейронных сетей глубокого обучения – библиотека PyTorch [9]; 3) построение нейронных сетей глубокого обучения – оригинальная программа DeepNets. Расчеты выполняли с использованием суперкомпьютерной техники общей производительностью ~37 Тфлопс.

Множественный докинг соединений в релевантные биомишени и формирование спектров энергий множественного докинга

По методике, описанной в работах [6, 10], для каждой модельной биологической активности в каждой из M релевантных биомишеней с помощью оригинальной программы MSite были построены по 27 пространств для множественного докинга (пример приведен на рис. 1), с помощью программы AutoDock Vina [11] в каждое такое пространство был выполнен ансамблевый докинг N изучаемых соединений и для каждого соединения сформирован спектр из 5 × 27 = 135 значений энергий множественного докинга ΔE для каждой релевантной биомишени. В результате для каждого соединения был получен спектр из 135 × M значений ΔE, характеризующий интегральный мультитаргетный аффинитет этого соединения в отношении M релевантных биомишеней.

Корреляционная свертка спектров энергий множественного докинга и вычисление энергий полносвязных сверточных корреляционных нейросетей

Согласно методики, описанной в работе [8], в случае множественного докинга в одну биомишень рассчитанные энергии ΔE можно рассматривать как нейроны полносвязной нейронной сети с симметричной матрицей связей. Значения их весов могут быть вычислены как коэффициенты парных корреляций между значениями сигналов двух связанных нейронов. Таким образом, для соединения l и биомишени m энергия полносвязной сверточной корреляционной нейронной сети может быть представлена в виде

$W_{lm}=\frac{1}{2}·\frac{1}{27}\sum _{\begin{array}{l}i,j=1\text{}\\ i\ne j\end{array}}^{27}{R}_{mij}·\Delta E_{lmi}·\Delta E_{lmj}$, (1)

где R_mij – коэффициент корреляции Пирсона между показателями энергий ΔE_lmi и ΔE_lmj, i ≠ j; ΔE_lmi – значение энергии для пространства i в биомишени m для соединения l, l = 1...N, m = 1...M; ΔE_lmj – значение энергии для пространства j в биомишени m для соединения l, l = 1...N, m = 1...M; N – число соединений; M – число биомишеней.

Формула (1) задает алгоритм корреляционной свертки спектров энергий множественного докинга для M биомишеней, который был реализован в виде оригинальной программы FCCorNet; архитектура соответствующей полносвязной нейронной сети приведена на рис. 1.

 

Рис. 1. Корреляционная свертка спектров энергий множественного докинга:

а – построение пространств для множественного докинга на 3D-модели 6D6T ГАМК_A-рецептора;

б – архитектура полносвязной сверточной корреляционной нейронной сети для 27 энергий докинга

 

Разработка компьютерной программы построения нейронных сетей глубокого обучения

Предварительно была сформирована архитектура моделируемых нейросетей, которая включала два скрытых слоя с автоматическим перебором числа нейронов по принципу «узкого горла», когда число нейронов в скрытых слоях всегда меньше числа входных нейронов. Для скрытых слоев были определены функции активации Identity, Logistic, Tanh, Exponential, ReLU, LeakyReLu, перебор которых осуществлялся программой при обучении конкретного варианта сети. Для выходного слоя функцией активации всегда служила Softmax. В качестве функции потерь использовалась CrossEntropyLoss. Было предусмотрено применение двух оптимизаторов, Adam (обратное распространение ошибки) и BFGS (градиентный спуск), с возможностью настройки в ручном режиме скорости обучения и числа эпох.

В процессе обучения производилось автоматическое случайное разделение входного набора данных на обучающую, тестовую и валидационную подвыборки, объем которых задавался пользователем. В рамках этой архитектуры на языке Python с использованием специализированной библиотеки глубокого обучения PyTorch [9] была написана оригинальная программа DeepNets. Программа поддерживает выполнение расчетов как на CPU, так и на GPU, автоматически определяя доступные устройства.

Формирование входных наборов данных, обучение мультитаргетных корреляционных сверточных нейронных сетей глубокого обучения и оценка их точности

Структура входных наборов данных как для анксиолитической активности, так и для антимикробной S. aureus активности была одинаковой и включала для каждого из N соединений в качестве целевой переменной метки наличия/отсутствия выраженного уровня активности (hm/nhm), а в качестве входных переменных – вычисленные по формуле (1) значения корреляционных сверток спектров энергий множественного докинга W (энергий полносвязных корреляционных сетей) для M релевантных биомишеней.

В ходе обучения конкретного варианта сети входной набор данных случайным образом разделялся на три подвыборки: обучающую TrainSet, тестовую TestSet и валидационную ValidationSet, в соотношении 70, 15, 15 % соответственно. Пользователь в ручном режиме задавал для скрытых слоев числа нейронов и функции активации, выбирал вид оптимизатора и устанавливал скорость обучения и число эпох. Выбор лучшей модели осуществлялся на основе минимального значения функции потерь на ValidationSet.

Для лучшей отобранной модели на полном входном наборе данных рассчитаны общая точность классификации Acc, чувствительность Sens (точность прогноза активных соединений), специфичность Spec (точность прогноза неактивных соединений), выполнен ROC-анализ и рассчитана площадь под кривой AUC. Для всех полученных показателей точности была определена их статистическая достоверность p.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ИХ ОБСУЖДЕНИЕ

В случае анксиолитической активности рассматривались 22 релевантных биомишени, для 537 соединений было получено 135 × 22 × 537 = 1 594 890 первичных значений энергий ΔE и по формуле (1) рассчитано 22 × 537 = 11 814 значений корреляционных сверток W (энергий сети).

В случае антимикробной S. aureus активности рассматривались 10 релевантных биомишеней, для 284 соединений было получено 135 × 10 × 284 = 383 890 первичных значений ΔE и по формуле (1) рассчитано 10 × 284 = 2 840 значений корреляционных сверток W (энергий сети).

В результате обучения в программе DeepNets для выраженной анксиолитической активности химических соединений найдена лучшая мультитаргетная сверточная нейронная сеть глубокого обучения на основе корреляционной свертки спектров энергий множественного докинга в релевантные биомишени, с архитектурой MLP 22-3-4-2 (LeakyReLU, LeakyReLU, Softmax), имеющая общую точность прогноза Acc = 68,3 % при статистической достоверности p = 1,1 × 10^-9.

В результате обучения в программе DeepNets для выраженной антимикробной S. aureus активности химических соединений найдена лучшая мультитаргетная сверточная нейронная сеть глубокого обучения на основе корреляционной свертки спектров энергий множественного докинга в релевантные биомишени, с архитектурой MLP 10-4-9-2 (ReLU, ReLU, Softmax), имеющая общую точность прогноза Acc = 90,5 % при статистической достоверности p < 1 × 10^-16.

Архитектуры найденных лучших нейросетей приведены на рис. 2, а более детальные результаты оценки их точности иллюстрирует таблице.

 

Рис. 2. Архитектуры мультитаргетных сверточных нейронных сетей глубокого обучения на основе корреляционной свертки спектров энергий множественного докинга химических соединений в релевантные биомишени: а – анксиолитической активности; б – антимикробной S. aureus активности

 

Показатели точности моделей с архитектурой мультитаргетной сверточной нейронной сети на основе корреляционной свертки спектров энергий множественного докинга

Параметр	Анксиолитическая активность	Антимикробная S. aureus активность
Архитектура1	MLP 22-3-4-2 (LReLU, LReLU)	MLP 10-4-9-2 (ReLU, ReLU)
Acc, %2	68,3	90,5
Sens, %3	68,5	96,5
Spec, %4	68,2	64,2
AUCROC, %5	68,3	86,6
p6	1,1 × 10-9	<1 × 10-15

Примечание. ¹ MLP – многослойный перцептрон, указано число входных, скрытых и выходных нейронов, в скобках указаны функции активации для скрытых слоев нейронов, для выходных слоев нейронов функция активации Softmax; ² Acc – общая точность прогноза; ³ Sens – чувствительность: точность прогноза активных соединений; ⁴ Spec – специфичность: точность прогноза неактивных соединений; ⁵ AUC_ROC – площадь под кривой в ROC-анализе; ⁶ p – минимальная значимость нейросетевой модели по биномиальному критерию.

 

Полученные данные доказывают высокую статистическую достоверность применения новой архитектуры сверточной нейронной сети глубокого обучения для поиска in silico биологически активных веществ.

Следует отметить, что точность и достоверность прогноза антимикробной S. aureus активности превышает точность и достоверность прогноза анксиолитической активности. Вероятно, это связано с более сложным системным мультитаргетным механизмом реализации психотропных эффектов, в сравнении с антибактериальным действием химических соединений.

В случае анксиолитической активности точность прогноза активных и неактивных соединений примерно одинакова, в то время как в случае антимикробной S. aureus активности точность прогноза активных соединений существенно выше точности прогноза неактивных соединений. Следовательно, вторую модель более целесообразно использовать для поиска in silico именно активных соединений. Таким образом, на примере двух видов активности, анксиолитической и S. aureus антимикробной, показано, что предлагаемая мультитаргетная сверточная нейронная сеть глубокого обучения на основе корреляционной свертки спектров энергий множественного докинга в релевантные биомишени является высокоточным методом машинного обучения, который может быть рекомендован как новый метод искусственного интеллекта для поиска in silico биологически активных веществ.

ЗАКЛЮЧЕНИЕ

1. Разработана новая архитектура мультитаргетной сверточной нейронной сети глубокого обучения на основе корреляционной свертки спектров энергий множественного докинга в совокупность релевантных биомишеней.
2. На примере анксиолитической и антимикробной S. aureus активностей доказана высокая статистическая достоверность применения нового оригинального подхода для прогноза in silico биологической активности химических соединений.
3. Новый метод искусственного интеллекта может быть рекомендован для создания моделей зависимостей различных видов мультитаргетной биологической активности от показателей интегральной аффинности химических соединений к совокупности релевантных биомишеней и поиска с применением этих моделей новых соединений с высокой активностью.

About the authors

Pavel M. Vasiliev

Volgograd State Medical University

Author for correspondence.
Email: pvassiliev@mail.ru
ORCID iD: 0000-0002-8188-5052

Doctor of Biological Sciences, Senior Researcher of HAC (Associate Professor), Head of the Laboratory of Information Technologies in Pharmacology and Computer Modeling of Drugs, Scientific Center for Innovative Medicines, Professor of the Department of Pharmacology and Bioinformatics

Russian Federation, Volgograd

Maxim A. Perfiliev

Volgograd State Medical University

Email: maxim.firu@yandex.com
ORCID iD: 0000-0002-5326-3299

Candidate of Medical Sciences, Junior Researcher at the Laboratory of Information Technologies in Pharmacology and Computer Modeling of Drugs, Scientific Center for Innovative Medicines, Assistant at the Department of Pharmacology and Bioinformatics

Russian Federation, Volgograd

Arina V. Golubeva

Volgograd State Medical University

Email: arina_arina_golubeva@mail.ru
ORCID iD: 0000-0001-8268-8811

Junior Researcher at the Laboratory of Information Technologies in Pharmacology and Computer Modeling of Drugs, Scientific Center for Innovative Medicines, Assistant at the Department of Pharmacology and Bioinformatics

Russian Federation, Volgograd

Andrey N. Kochetkov

Volgograd State Medical University

Email: akocha@mail.ru
ORCID iD: 0000-0003-3077-1837

System administrator, Software Engineer at the Laboratory of Information Technologies in Pharmacology and Computer Modeling of Drugs Scientific Center for Innovative Medicines

Russian Federation, Volgograd

References

Supplementary files