Одной из первых задач, решением которой займется новая лаборатория, станет разработка алгоритма базисной модели цифровой платформы для хранения, обработки и анализа медицинских изображений. Ученые создадут базисную модель для работы с изображениями и текстом.
Также в лаборатории будут проводиться работы по созданию нейронной сети для обработки изменений в клетках мозга. Проект реализуется совместно с Санкт-Петербургским политехническим университетом Петра Великого на средства гранта, выделенного Фондом поддержки инноваций и молодежных инициатив Санкт-Петербурга. Лаборатория войдет в кампус цифровых лабораторий Blue Sky Research. Партнером лаборатории выступает компания архитектуры нейронных сетей ООО «Вижнтех».
По словам разработчиков, цель нейросети – помогать в распознавании изменений, определении наличия или отсутствия патологии. За первый год реализации проекта будут произведены работы по сбору датасета, необходимого для запуска машинного обучения, созданию алгоритмов для предобработки и разметки исследовательских данных, архитектуры и протокола обучения базисной отраслевой модели для сегментации изображений, а также построения базисной отраслевой модели для определения количества щелевых контактов астроцитов в норме и при развитии нейропатологии (опухолевая трансформация).
Предметная область изучения – сеть щелевых контактов между астроцитами в норме и при опухоли. Наша основная задача – сделать снимки астроцитов мозга крысы в норме и астроцитов человека при опухолевой трансформации. Нейросеть будет определять, находится ли астроцит в норме или при патологии – например, вследствие роста опухоли или болезни Альцгеймера.
Эксперты будут делать разметку на снимках, которые и послужат датасетом для нейронной сети. Снимки будут загружаться в ChatGPT, далее экспертами будет осуществляться вручную разметка астроцитов и щелевых контактов. При использовании темнопольного метода микроскопии будут видны два вида сигнала: на черном фоне яркими красками отмечена клетка.
Вторым значимым проектом лаборатории нейромоделирования станет создание цифрового патолога с ChatGPT в сотрудничестве с Областной детской клинической больницей. Цель госзадания, полученного от Минобрнауки РФ, – разработка цифровой модели клинически значимых биологических жидкостей человека и животного в норме и при патологии. В работе будут использоваться обезличенные снимки цитологии с указанием пола, возраста и клинической ситуации пациента.
Междисциплинарность проекта обеспечивается использованием методов машинного обучения, архитектур нейронных сетей, методов распознавания и обработки изображений для создания экспертной программы анализа данных клинических лабораторных исследований в ветеринарии, фармации и медицине, – прокомментировал.
Цель проекта – получение цветных изображений с помощью прямого светооптического флуорисцентного микроскопа для анализа структуры в проходящем свете по методу светлого поля и фазового контраста с последующим получением цифровых изображений, а также подготовка специалистов в области цифровой биологии.
По мнению ученых, применение искусственного интеллекта на основе машинного обучения позволяет выявлять закономерности в данных и принимать решение на их основе. Современная клиническая лабораторная диагностика связана с большими потоками данных, которые обрабатывает врач на разных этапах исследования.
В настоящее время все эти исследования проводятся специалистами клинической лабораторной диагностики вручную при прямом микроскопировании препарата и учете наблюдаемых ключевых элементов. При этом микроскопия и интерпретация данных зависит от опыта специалиста, его эмоционального состояния и качества используемого оборудования. Возникают ситуации, когда специалисты могут разойтись во мнениях при экспертной оценке одного и того же препарата.
По словам профессора Кириченко, при ряде заболеваний на ранних стадиях визуальные изменения в клинических образцах могут быть незначительными и не замечены специалистом. Зачастую возникают ситуации, при которых специалисту необходимо провести микроскопию большого числа препаратов, сравнивая результаты с предыдущими исследованиями, что не всегда возможно и корректно, так как на практике клинический материал от пациентов может направляться в разные лаборатории и обрабатываться в разное время разными специалистами, что приводит к клинической неопределенности.
Программы на основе искусственного интеллекта могут быть применены для ускорения микроскопического исследования и интерпретации результатов, а также устранения клинической неопределенности. Также они могут демонстрировать высокую точность детекции ключевых элементов на ограниченном числе шаблонов однородного датасета.
Полученные снимки войдут в датасет для строительства нейросети. На снимках будут видны и отмечены клетки крови и других биологических жидкостей (осадки мочи, спинномозговая жидкость, выделения со слизистых, мокрота, сперма), а также их количество. Врачи больницы-партнера помогут с разметкой изображений, которая необходима для того, чтобы обучить цифрового патолога различать здоровые клетки в исследуемых препаратах и наличие признаков патологии.
Мы планируем создать уникальную цифровую модель биологических жидкостей пациента, которая будет являться основой для создания программы поддержки принятия врачебных решений и цифровой лаборатории для моделирования различных клинических ситуаций.
По условиям госзадания от Минобрнауки РФ, возраст 70% штатных сотрудников лаборатории составляет до 35 лет, включая студентов, магистрантов и аспирантов вуза.
Срок реализации обоих проектов в рамках лаборатории – 3 года.
В качестве научного задела для создания лаборатории и реализации исследований выступили два проекта – победителя конкурса Blue Sky Research за 2022–2023 гг. – «Анализ изображений опухолей центральной нервной системы и их дифференциальная диагностика с помощью искусственного интеллекта» и «Разработка программы, анализирующей рост клеток для искусственного интеллекта», а также грант РНФ по проекту «Иммунофлуоресцентное, электронно-микроскопическое, электронно-иммуногистохимическое и морфометрическое исследование щелевых контактов в глиальных опухолях головного мозга человека».
ChatGPT – чат-бот с генеративным искусственным интеллектом, разработанный компанией OpenAI и способный работать в диалоговом режиме, поддерживающий запросы на естественных языках. Система способна отвечать на вопросы, генерировать тексты на разных языках, включая русский, относящиеся к различным предметным областям.
Темнопольный метод микроскопии – специальная техника освещения препарата для наблюдения малых рассеивающих частиц, отличающихся от среды показателем преломления, и границ более крупных структур, вдоль которых также резко меняется показатель преломления.
Астроцит – глиальные клетки головного мозга, которые наравне с нейронами представляют мозговое вещество. При этом астроциты являются неотъемлемой частью трехчастного синопса, регулируя межклеточное проведение в головном мозге.
Датасет – набор данных, которые используются в различных видах анализа и машинного обучения.
Кампус цифровых лабораторий Blue Sky Research – экспериментальный научно-образовательный, методический центр, осуществляющий информационную и системно-аналитическую деятельность в области цифровых решений для научных лабораторий, осуществляющих цифровую трансформацию своей деятельности, а также обеспечивающий методологическую и консультационную поддержку научных лабораторий, менторскую поддержку лиц, ответственных за цифровую трансформацию таких лабораторий. В рамках проекта пяти лабораториям на базе Университета ИТМО, СПбПУ и ДГТУ, вошедшим в состав Кампуса, были выделены гранты в размере 10 млн руб.
Фонд поддержки инноваций и молодежных инициатив Санкт-Петербурга – организация, предоставляющая помощь в реализации экспериментальных проектов и инициатив, направленных на развитие Санкт-Петербурга и регионов России. Задача фонда – кооперация с творческими командами и последующая реализация предложенных ими проектов по таким направлениям, как образование и рынок образовательных технологий, наука, авангардная и современная культура.
