Его также называют совместным, поскольку оно предназначено для проектов, где есть несколько участников с собственными наборами данных, или датасетами. Федеративный подход позволяет участникам коллективно обучать модели, никому не передавая свои данные.
Это открывает новые возможности для партнёрств в сфере искусственного интеллекта.
Теперь в них смогут участвовать компании из отраслей, где имеют дело с чувствительной информацией: например, финансов, медицины или промышленности.
За разработку отвечает "Яндекс" вместе с Институтом системного программирования имени В.П. Иванникова РАН и Сеченовским Университетом.
Как это работает
Сперва модель обучается на каждом из датасетов участников проекта. На центральный сервер передаются не сами датасеты, а результаты их обработки - к примеру, изменения в весах модели. Именно на них затем обучается глобальная модель. Таким образом, датасеты на протяжении всего процесса обучения не покидают контуры организаций - и никто, кроме владельцев, не может получить к ним доступ.
Используя федеративный подход, авторы проекта создали нейросеть, которая по данным электрокардиограмм выявляет фибрилляцию предсердий - одну из наиболее распространенных патологий сердца. Технология делает это с высокими показателями чувствительности и специфичности. Для обучения использовались два независимых датасета с электрокардиограммами: от Сеченовского университета и от ИСП РАН. Оба партнёра провели раунды обучения на своей стороне, а затем передали результаты в общий контур.
Проект реализовали эксперты центра технологий для общества Yandex Cloud. Они продумали этапы реализации, предложили стек технологий, создали унифицированную среду для обучения и рассчитали необходимый объём ресурсов. В ИСП РАН разработали модель и адаптировали её под опенсорсный фреймворк федеративного обучения. Сеченовский Университет дал экспертную оценку качества модели.
Новый подход позволит участвовать в совместных проектах организациям, которые раньше не могли сотрудничать из-за рисков, связанных с передачей чувствительных данных. Это, в свою очередь, повысит качество итоговых моделей - чем больше партнёров в проекте, тем больше данных для обучения. Кроме того, федеративный метод будет полезен и партнёрам, которых разделяют большие расстояния - например, когда речь идёт о трансграничной передаче данных.
Ранее на сайте "РГ" вышел большой материал о том, как нейросети влияют на другую сторону повседневной жизни - как ИИ меняет индустрию моды.