Денис Тимонин

чуть более углубленные, с большим количеством ядер для расчетов профессионально больших 3D-сцен, которые используются в различных рендерах больших сцен в фильмах или анимации на какие-то большие экраны, в том числе там Vegas-сфера. Возможно, вы видели в Инстаграме новый такой проект, арт-объект в Лас-Вегасе. Большая сфера, на которую проецируются различные видео. В ней используется, по-моему, как раз-таки квадро-серия видеокарт. И большую часть занимает

Scientific карты, то есть это вот карты как раз-таки для нейросетей. Это основное, наверное, самое важное направление для компаний сейчас, на котором компания сейчас взлетела в оценке. Это видеокарты H100, B200, B300. Все они заточены в основном на расчет нейросетей или научные расчеты. Плюс есть еще небольшие направления, небольшие, но тоже значимые. Это маленькие видеокарты или графические процессоры, которые встраиваются в роботов или self-driving автомобилей.

Поверх всех них работает CUDA, и что очень важно, NVIDIA делает очень классную штуку, CUDA и код, написанный на CUDA, под одну видеокарту сможет работать на другой. Ты можешь как разработчик не задумываться о том, что за железо под этим, и просто использовать его как есть, подбирая лучшее для своего задачи.

Ты упомянул вот эти мощные видеокарты для научных вычислений, для нейросетей. Что они умеют? Вот есть видеокарта, которая у меня дома стоит, в телефонах или в компьютерах. Есть вот это H100. Чем они отличаются-то? Да, у тебя в видеокарте, которая дома, у тебя есть большее количество CUDA-ядер, трейсинг-ядра. Это ядра, которые позволяют обсчитывать лучи и графику в играх. И есть тензорные ядра, небольшое количество. Это как раз-таки ядра, которые позволяют делать AI.

но их меньше, чем то, сколько нужно для больших нейростей. Плюс это отдельно стоящая карта, которая не может особо удачно соединяться с другими видеокартами в большой кластер. Как раз-таки вот та особенность, про которую мы говорили чуть ранее, что для больших нейростей нужны объединения видеокарт в кластерах. Да, множество. Да, да, да.

То есть это такая, по сути, полноценная видеокарта, которая как раз-таки позволит любое CUDA-приложение, написанное на CUDA, запустить у тебя и запустить игры, но с вектором направленности, больше на расчет графики и различными инструментами для этого, на хардварном уровне, на уровне железа.

Те видеокарты, которые H100, например, которые используются для научных вычислений, больше тензорных ядер, как раз-таки для матричных умножений в нейростях, а больше, соответственно, процессор, чип, коннекторы, отсутствие ray tracing ядер, то есть которые не нужны, и коннекторы, которые позволяют видеокарты соединять в кластер.

чтобы видеокарты общались друг с другом с минимальной задержкой, и в результате большую нейросеть положив на несколько видеокарт, мы бы могли довольно быстро обсчитывать результат, в том числе GPT нейросеть, чтобы генерировала нам наши токены, ответы довольно быстро. Вот это отлично. Картиночки. Да, да, это правильно. Кто их покупает, вот эти дорогие аж 100 и так далее, B200 или сколько там уже, самые последние?

Плавают довольно многие, и это от больших корпораций, конечно же, Meta, OpenAI, Anthropic и прочие, которые занимаются исследованием университетов, обучением университетов и запуском университетов до университетов, которые делают все те же научные вычисления, различные задачи,

дифференциальных уравнений, термодинамики и все прочее. То есть все осталось так же, просто скейл, размеры закупок изменились. И сильно стало превалировать закупки объема в сфере AI среди крупных корпораций в мире IT. Как эти видеокарты выглядят? Вот старые видеокарты в компьютер вставлялись, я примерно представляю. Это плата такая, размером с ладони или с нескольких ладоней, которые вставляются в компьютер. А вот эти дорогие для AI-вычислений?

Они примерно похожи. Другое дело, что эти видеокарты, как мы обсуждали, у них нет видеовыхода. То есть это видеокарта, которая не должна как-то наружу отдельно портом каким-то торчать. И выглядит как также микросхема. Просто отсутствует вентилятор для охлаждения, поскольку в серверах другая система охлаждения. Сейчас все переходит вообще на водяное охлаждение. Это просто довольно тонкие платы толщиной в сантиметр, шириной в 10 сантиметров и длиной кротом.

10, 15, 20 сантиметров, которые в сервере стекаются, то есть соединяются. Их может быть около 8 в последних серверах, диджейксах, интермедиа. 8 таких видеокарт, которые стоят такие. Два столбика по 4 штуки, по-моему, такая структура. А сколько таких видеокарт нужно, чтобы запустился чат GPT?

Это хороший вопрос. Не знаю до конца официальной информации, и OpenAI не раскрывает ее детально. Может быть, где-то были какие-то сливы про то, или такая утекшая информация, которая бы рассказывала, сколько весит эта нейросеть, поскольку от веса размера нейросети зависит то, сколько нужно видеокарт.

Мы можем сказать, что, например, популярная нерсеть для генерации картинок, такая как Stable Diffusion или Lux от Black Forest Labs, под нее нужна одна видеокарта. Для обсчета нерсети, вот последние мы возьмем доступные нерсети, которые доступны в интернете и которые можно чуть ли не файлами скачать и запустить, которые по качеству ведут себя как чат GPT.

Они весят около 200 с небольшим гигабайт, то есть это как раз-таки те самые матрицы, которые мы обсуждали, просто 200 гигабайт матриц чисел, которые объединены матрицей, и под них нужно 2 видеокарты, чтобы они запустились, 4, чтобы в целом это можно было относительно быстро работать с этими нерестями.

запускать просто, в смысле имеется в виду, готовую нейросеть брать и использовать, общаться с ней. Это называется процесс инференса. Если у нас процесс обучения, то это другая задача, которая более требовательна по ресурсам. И вот тут кластер может меняться по размерам в зависимости от того, насколько быстро ты хочешь обучить нейросеть. Как мы вот говорили тоже, что параллелизм очень хорошо

поддерживать с этими нейросетями, как во время запуска уже общения с нейросетью, процесс инференса, так и в процессе обучения. И вот в обучении это напрямую влияет на скорость, количество ГПУ влияет на скорость, как быстро ты получишь результат, свою нейросеть уже готовую, и как быстро ты сможешь обогнать конкурентов в рейтинге нейросетей за счет этого.

Упличная информация – это около 50-60 тысяч долларов. Можно, по-моему, сейчас купить H100 одну. И да, это официальный ценник. Довольно недешево. 50 тысяч баксов за одну видеокарту – нормально. А сколько таких видеокарт у OpenAI, например?

Все растет, и сейчас число будет довольно крупным, около миллиона видеокарт по OpenAI, и это видеокарты, которые используются как адрес для этих двух задач, и по сути, по большей части, для главной нерести, это GPT, с которыми наверняка многие уже общаются.

Так, что у Фейсбука? Все примерно, что интересно, все примерно стараются не отставать друг от друга. Потому что отставание в количестве видеокарт – это очень классная штука, которая за счет масштабирования процесса обучения и поддержки вот этого параллелизма видно, насколько если ты купишь в два раза меньше видеокарт, ты понимаешь сразу, что, скорее всего, твоя нейросеть будет не в два раза слабее, но она будет слабее. И это показывается чаще всего в бенчмарках.