Российские ученые создали инструмент, который позволяет оценить эффективность работы больших языковых моделей в решении задач, связанных с химией.
Создание этого стандарта ускорит процесс разработки ИИ для появления новых медикаментов, сообщили в пресс-службе Института искусственного интеллекта AIRI. «Наш тест нацелен на то, чтобы помочь разработчикам языковых моделей глубже понять архитектурные ограничения нейросетей. Он может стать основой для будущих исследований в области автоматизации химических рассуждений», — пояснил научный сотрудник Центра ИИ-разработки лекарственных препаратов (AIDD) Института AIRI Кузьма Храбров.
В последние годы различные системы искусственного интеллекта и алгоритмы машинного обучения начали активно использоваться в химии и смежных областях естественных наук. Кроме специализированных решений, таких как «нобелевский» алгоритм для определения структуры белков AlphaFold, исследователи также разрабатывают различные методы для решения химических задач, основанные на больших языковых моделях.
Как указывают ученые, для решения таких задач часто требуется не просто извлечение фактов, а последовательное решение нескольких взаимосвязанных вопросов, с чем системы ИИ зачастую не могут справиться. Для дальнейшего развития «химических ИИ» необходимо создать методы, которые позволят быстро и эффективно находить пути для улучшения способности ИИ решать «цепочки заданий».
Для этого российские ученые разработали специализированный тест, состоящий из композиций базовых химических задач, включая определение продуктов реакций, предсказание их свойств и генерацию описаний молекул по формуле. При решении каждой задачи из тестового набора ИИ должен установить, какой продукт получится в результате реакции, а затем оценить, обладает ли это вещество ценными свойствами, например, биоактивностью.
Опираясь на этот тестовый набор, исследователи проверили работу нескольких больших языковых моделей, включая универсальные системы ИИ и специализированные химические модели. Эти проверки подтвердили возможность практического применения данной методики оценки «химического ИИ», а также выявили проблемы в работе специализированных и универсальных алгоритмов, а также подходы для их оценки. Все это, как надеются ученые, поспособствует ускорению развития ИИ в данной области науки.
Фото: hi-tech.mail.ru