Ключевые слова: время-разрешенная микроскопия, FLIM, машинное обучение, нейронные сети

Введение. Мультифотонная время-разрешенная микроскопия FLIM представляет собой метод исследования, основанный на анализе времени жизни флуоресценции эндогенных флуорофоров, в частности никотинамидадениндинуклеотида (НАД(Ф)Н). Для описания затухания флуоресценции НАД(Ф)Н обычно используется двухэкспоненциальная модель, где t1 и t2 соответствуют временам жизни свободной и связанной форм НАД(Ф)Н соответственно. Относительные амплитуды a1 и a2 в этом случае представляют собой вклады времен жизни, свободной и связанной форм кофермента соответственно. Так же используется трехэкспоненциальная модель, дополнительно включающая в себя фосфорилированную форму НАДФН, которой соответствуют параметры t3 и a3. Известно, что кривая затухания флуоресценции НАД(Ф)Н может служить индикатором метаболических изменений. Так, увеличение доли свободного НАД(Ф)Н (a1) коррелирует с усилением анаэробного гликолиза, а увеличение вклада связанной формы (а2) может быть связано с переходом к окислительному фосфорилированию. Увеличение вклада фосфорилированной формы (a3), в свою очередь, соответствует активизации синтетической функции ткани. Данный метод широко применяется для изучения клеточного метаболизма биологических тканей. Однако, к настоящему времени не существует установленного подхода к анализу данных, полученных методом FLIM. Существующие автоматизированные методы вычислительного анализа, использующие машинное обучение, способны извлекать большее количество данных из полученных изображений по сравнению с традиционными методами анализа. Один из новых подходов заключается в применении методов машинного обучения к изображениям, полученным с помощью мультифотонной микроскопии FLIM с целью объективизации полученных результатов и получении большего количества информации о структурно-функциональном состоянии биологических тканей.

Цель работы: разработать алгоритм на основе методов машинного обучения, способный автоматически определять характеристики флуоресценции (t1, t2, t3, a1, a2, a3) ткани печени на основе FLIM изображений.

Материалы и методы. Для получения FLIM изображений была выбрана модель регенерации печени. С целью запуска регенераторного процесса проводили хирургическую резекцию печени на 18 крысах линии Wistar с удалением разного объема (30 и 70% массы) печени. На 7 день после резекции, печень забирали и проводили визуализацию ex vivo образцов методом FLIM. В целом, пул изображений включал: контроль (образцы печени перед резекцией) в количестве 80 изображений; образцы печени при 30% резекции на 7 сутки после запуска регенерации в количестве 11 изображений; образцы печени при 70% резекции на 7 сутки в количестве 17 изображений. На изображениях в программе ImageJ (Fiji) размечали границы клеток для последующего обучения нейронной сети. После чего изображения были аугментированы для увеличения количества обучающего материала.

Результаты. С помощью полученного пула FLIM изображений была обучена нейронная сеть на основе Unet++ с мультикомпонентной функцией потерь, состоящей из BCA, Focal и Dice функций. Нейронную сеть обучили определять границы клеток, точность предсказаний составила 80%. Предсказанные результаты были использованы для Instance сегментации с последующим расчетом кинетик полученных ROI, соответствующих цитоплазме клеток, на основе восстановленных функций по предоставленным для SPCImage мануалам.

Заключение. Таким образом, был разработан алгоритм, способный с высокой точностью определять границы клеток, выделять их на FLIM-изображении и рассчитывать соответствующие им параметры флуоресценции: времена жизни компонент (t1, t2, t3) и их вклады (a1, a2, a3).

Благодарности. Работа выполнена при поддержке Российского научного фонда (грант № 19-15-00263).

Keywords: time-resolved microscopy, FLIM, machine learning, neural networks

Introduction. Multiphoton time-resolved microscopy FLIM is a research method based on the analysis of the fluorescence lifetime of endogenous fluorophores, in particular nicotinamide adenine dinucleotide (NAD(P)H). To describe the decay of NAD(P)H fluorescence, a two-exponential model is usually used, where t1 and t2 correspond to the lifetimes of the free and bound forms of NAD(P)H, respectively. The relative amplitudes a1 and a2 in this case are the contributions of the lifetimes of the free and bound forms of the coenzyme, respectively. A three-exponential model is also used, which additionally includes the phosphorylated form of NADPH, which corresponds to the parameters t3 and a3. It is known that the NAD(P)H fluorescence decay curve can serve as an indicator of metabolic changes. Thus, an increase in the proportion of free NAD(P)H (a1) correlates with an increase in anaerobic glycolysis, and an increase in the contribution of the bound form (a2) may be associated with a transition to oxidative phosphorylation. An increase in the contribution of the phosphorylated form (a3), in turn, corresponds to the activation of the synthetic function of the tissue. This method is widely used to study the cellular metabolism of biological tissues. However, to date, there is no established approach to the analysis of data obtained by the FLIM method. Existing automated methods of computational analysis using machine learning are able to extract more data from the received images compared to traditional analysis methods. One of the new approaches is to apply machine learning methods to images obtained using FLIM multiphoton microscopy in order to objectify the results obtained and obtain more information about the structural and functional state of biological tissues.

Purpose of the work: to develop an algorithm based on machine learning methods that can automatically determine the characteristics of fluorescence (t1, t2, t3, a1, a2, a3) of liver tissue based on FLIM images.

Materials and methods. For FLIM imaging, a liver regeneration model was chosen. In order to start the regenerative process, surgical resection of the liver was performed on 18 Wistar rats with the removal of different volumes (30 and 70% of the mass) of the liver. On day 7 after resection, the liver was harvested and ex vivo imaging of the specimens was performed by FLIM. In general, the pool of images included: control (liver samples before resection) in the amount of 80 images; liver samples at 30% resection on the 7th day after the start of regeneration in the amount of 11 images; liver samples at 70% resection on day 7 in the amount of 17 images. Cell boundaries were marked on the images in the ImageJ program (Fiji) for subsequent training of the neural network. After that, the images were augmented to increase the amount of training material.

Results. Using the obtained pool of FLIM images, a neural network based on Unet++ was trained with a multicomponent loss function consisting of BCA, Focal and Dice functions. The neural network was trained to determine the boundaries of cells, the accuracy of predictions was 80%. The predicted results were used for Instance segmentation, followed by the calculation of the kinetics of the obtained ROIs corresponding to the cell cytoplasm, based on the restored functions according to the manuals provided for SPCImage.

Conclusion. Thus, an algorithm was developed that can determine cell boundaries with high accuracy, isolate them in a FLIM image, and calculate the corresponding fluorescence parameters: component lifetimes (t1, t2, t3) and their contributions (a1, a2, a3).

Thanks. This work was supported by the Russian Science Foundation (grant no. 19-15-00263).