Денис Тимонин

И компании стараются не отставать друг от друга, поэтому там у Мета больше, чем полмиллиона видеокарт. То есть у Маска, у Антропика, у них у всех тоже там по полмиллиона, по миллиону видеокарт. Да, около того, сотни тысяч, миллионы, все стремятся вот к этому числу, сейчас миллион, да, всех такой как бы есть. Этого уже достаточно, как бы можно в этом моменте остановиться, или компании продолжают покупать еще?

Компания продолжает покупать несколько вещей, почему нейросети растут. И как OpenAI, как различные исследования показали, увеличение объемов нейросети позволяет сделать более умную нейросеть. Соответственно, чтобы она в бенчмарках, в рейтингах вела себя более интеллектуально.

Это раз. Плюс у нас открываются новые домены. То есть мы сейчас все привыкли, что нейросети сильно и агрессивно масштабируясь в текстовом домене, то есть обучившись на всех текстах интернета, GPT сейчас может нам помочь со многими задачами. Ведет себя довольно-таки как классный ассистент, который может закрывать наши таски.

Но приходит домен визуальный, то есть картинки, видео и так называемые world-модели. То есть если мы обучились на всем домене текста, то давайте попробуем обучиться на визуальном домене, то, что мы видим перед собой, то есть на 3D-данных из нашего мира, и попробуем собрать такую же GPT, но только которая бы имела представление о мире в целом, о физике, о принципах строения мира в домене живом, более для нас известном.

И это требует просто за счет размерности данных, то, что мы из 1D уходим в 3D, нам есть предположение за счет, что в целом нужно будет еще большее количество видеокарт, значительно больше. Интересно, что чем лучше мы учимся этим ресурсом пользоваться, тем больше нам нужно этого ресурса. Да.

Это так. При этом, конечно же, стоит упомянуть, что выходят новые видеокарты, которые мощнее, то есть некоторые компании утилизируют старые кластера, то есть кластера старых видеокарт, и внедряют новые, просто потому что это быстрее, видеокарты, которые работают быстрее, которые более экономичные с точки зрения энергопотребления, и нейросети уменьшаются в объеме, но в том числе все равно вот этот вектор увеличения объемов, он есть, и пока что все ему следуют и верят, что это правильный путь движения.

Все ли компании покупают карты NVIDIA? Есть ли аналоги этим видеокартам? Это очень такой классный вопрос и очень сложный. Простой ответ – да. Конкуренты у NVIDIA есть. Есть компания AMD, есть Intel, есть много стартапов, есть крупные корпорации – Meta, Tesla, Amazon, Google, которые…

начали делать свои видеокарты, все видели в этом одно из главных ресурсов, как когда-то для нас были главными ресурсами в жизни дерево, пища, как в игре, стратегии, какие-то минералы. Сейчас все видели, что основным ресурсом для человечества по сути является видеокарта, как процессор, который может запускать искусственный интеллект и мир, в котором может искусственный интеллект обитать. Соответственно, все стали делать такие решения.

Но по многим причинам NVIDIA лидер и первые попытки интегрировать другие решения других компаний. Временами появляются СМИ, временами появляются какие-то компании, которые начинают интегрировать кусочками, в кусочках своих пайплайнов другие решения. То есть одно из самых последних больших таких заявлений было то, что OpenAI и Anthropic взаимодействуют со сайт-производителями, то есть Anthropic закупает компании NVIDIA.

Amazon, их чипы Trivium или Nova Inferentia, надо посмотреть, и OpenAI закупает AMD чипы. То есть движение в эту сторону есть, но посмотрим, насколько это будет успешно и насколько NVIDIA, наоборот, с другой стороны, удастся сохранить лидерские позиции. Предпосылы к этому довольно большие есть.

Индустрия уже больше 15 лет занимается нейросетями. Почему другие компании не догнали NVIDIA? Мне кажется, домен очень сложный, и там очень много нюансов, про которые мы до конца не знаем. В целом, я скажу так, что построить то, что построила NVIDIA, безумно сложно. И домен настолько активный, что каждую неделю происходят какие-то новооценения.

В результате только у NVIDIA, по сути, есть опыт, наработки, количество экспертиз и плюс всевозможные сторонние решения процессора, CUDA и все прочие софтверные стеклы. И также еще различные связи, инвестиции, правильный бизнес, который они делают, который выводит и держит NVIDIA в лидерах. Может ли Google, например, отказаться от видеокарт NVIDIA?

Там Google может, я вот транслировал их ответ в части каких-то задач, уже применяют свои процессоры, TPU, но полноценно, полноценно нет. Тот мод, так называемый, или такой оградительный ров, который Nvidia выстроила, свой инновационный и вообще вектор бизнесовый, очень силен и очень сложно крупным корпорациям, даже которых есть власть, деньги, связи и все прочее, выстроить свое похожее решение.

Например, Google делает чипы, которые поддерживают архитектуру Transformers. Это вот та архитектура, которая изначально была предложена в Paper Attention as All Units, которую мы обсуждали, которая привела к такому росту неростей в объемах, размерах. К взрыву, я бы сказал.

Да, это правда. Но у них много проблем с точки зрения универсальности, поддержания других типов архитектур, поддержания различных других библиотек инновационных, которые выходят под NVIDIA. И все это создает определенные сложности. Плюс сложности с тем, чтобы правильно вообще зарезервировать мощности под разработку, под выпуск этих процессоров.

И, как я сказал, NVIDIA – это такая комбинация очень классного ресерча плюс очень инновационная компания, плюс компания, которая первая начала движение в сферу нейростей. То есть, соответственно, у NVIDIA есть весь технический стэк для этого и опыт, чтобы поддерживать этот весь активный домен нейростей, который меняется каждую неделю. Ха-ха-ха.

Дальше. У них есть большие наработанные каналы поставки и производства GPU. Производство GPU и процессоров – это отдельная сложная задача, которой можете позволить пару компаний в мире. И мощностей на производство процессоров, самих плат, не так много в мире. И это такой следующий фактор, который позволяет NVIDIA производить все более классно и контролировать рынок отчасти. Плюс домен.

NVIDIA очень плотно взаимодействует со всеми научными лабораториями, со всеми исследовательными в сфере нервистей. И имея связку из классного железа, классного софта, который уже несколько десятков лет разрабатывался, классную возможность быстро перенаправить куда-то исследование и сделать новый чип, который будет содержать новые наработки, получив фидбэк от самых крупных.

компаний, в том числе Anthropik, OpenAI, Meta, еще кого-то. В результате получается единственная компания, которая умеет такое. И все бы здорово, если бы домен был довольно медленный, другие компании могли бы ворваться в этот домен в какой-то момент времени. Но домен очень активный, и вот эта вертикальная такая структура, которая есть у NVIDIA, и связь на всех уровнях, позволяет только ей как бы следить за всеми правильными инновациями, такими

направлениями, движениями и внедрять инновации в чипы быстро. Этих чипов потом ждут новые компании, то есть компании ждут типа Мета и Антропика этих новых версий GPU, чтобы быстрее оторваться от конкурентов и дальше обучить на этих инновационных чипах новые версии и архитектуры нейростей и оставаться в лидерах