Компания Яндекс объявила о том, что ее новый суперкомпьютер «Червоненкис» занял 19-ю строчку всемирного рейтинга суперкомпьютеров Top500. Этот суперкомпьютер назван в честь Алексея Червоненкиса, одного из основоположников машинного обучения.

Система насчитывает 193 440 вычислительных узлов, а ее производительность оценивается на уровне 21 530 TFLOPS (Rmax) по реально полученным результатам тестов и на уровне 29 415,2 TFLOPS (Rpeak) по теоретическим результатам на основе учета используемой тактовой частоты.
Хотя по свой производительности новый суперкомпьютер Яндекс в 20 раз уступает самому мощному суперкомпьютеру в мире Fugaku, находящемуся в эксплуатации японского научного центра RIKEN, он стал самым производительным в России и Восточной Европе. Отставание от самого мощного китайского суперкомпьютера Sunway в то же время не так велико: «Червоненкис» уступает ему всего в 4 раза.
Яндекс использует суперкомпьютеры, чтобы обучать нейросетевые модели. Они используются, например, для работы Яндекс.Переводчика, который способен точно и быстро переводить тексты, а также надписи на картинках и видео. Нейросетевые модели применяются также для работы функции Директ, отбирающей более релевантную рекламу. Они задействованы в функции «Поиск» из семейства YaLM, которая помогает составлять и ранжировать быстрые ответы, а системе Алисе поддерживать живой диалог с пользователем.

Система «Червоненкис», также как и «Ляпунов», расположена в дата-центре Яндекса в Сасове, система «Галушкин» — во Владимире. Суперкомпьютер «Червоненкис» построен на базе процессоров AMD EPYC 7702 64С 2 ГГц и графических ускорителей NVIDIA A100. Применяется также оборудование компании Tyan и IPE.
Каждая система объединяет больше сотни узлов (серверов), которые связаны между собой высокоскоростной сетью Infiniband HDR на базе коммутаторов Mellanox. Для охлаждения применяется оптимизированная система отвода тепла. Общее количество узлов системы «Червоненкис» составляет 193 440, объем доступной памяти — 199 680 Гбайт.
Суперкомпьютер «Червоненкис» работает на ОС Ubuntu 16.04. Используется OpenMPI v.4.1.1. Задачи на суперкомпьютерах запускаются через платформу YT, разработанную в Яндексе для хранения и обработки больших данных. По сути она представляет собой аналог Hadoop MapReduce и HBase.

Нижний слой YT образует распределённая файловая система (DFS), схожая с HDFS или GFS. Система поддерживает транзакционность, хранение данных в таблицах и предусматривает установку блокировки на узлах, благодаря чему YT может работать как сервис координации, аналогично Apache Zookeeper.
Поверх DFS работает планировщик, который может управлять группировкой хостов из тысяч GPU и более чем миллиона ядер CPU. Он разбивает большие вычислительные операции на отдельные блоки (джобы) и распределяет между ними ресурсы, контролирует выполнение и перезапуск при сбоях. Третья часть YT представляет собой распределённое KV-хранилище (аналог BigTable и HBase).

Кроме «Червоненкиса», в списке Top500 представлены ещё два суперкомпьютера Яндекса: «Галушкин» (36-е место и второй в России), «Ляпунов» (40-е место и третий в России). Их производительность составляет сейчас 16,02 и 12,81 PFLOPS соответственно. Рядом с ними находится суперкомпьютер Christofari Neo компании Сбербанка (SberCloud)
Ранее редакция THG.ru опубликовала обзор лучшей материнской платы. Выбрать лучшую материнскую плату непросто — для кого-то лучшей может быть самая доступная материнская плата, для других — самая функциональная. Мы стараемся учитывать все факторы и публикуем регулярно обновляемый материал, в котором стараемся рекомендовать действительно лучшую материнскую плату любой функциональности, под любой процессорный разъём, в любой ценовой категории — от самых дешёвых до топового сегмента. Подробнее об этом в статье «Лучшая материнская плата: текущий анализ рынка».




Комментарии