Денис Тимонин

Мы можем рассмотреть на примере автопрома, на каком-то домене, который более понятен всем нам. Допустим, мы с тобой сама хотим сделать автомобиль. И допустим, у нас в мире есть всего две компании, которые производят сейчас автомобили. Допустим, «Мерседес» концерн и «Тойота», «Хонда», что-нибудь такое.

есть Европа и Япония. Только они умеют это делать, у них есть запчасти, детали и все прочее. Нам нужно договориться с концернами, чтобы у них производить это на их фабриках, потому что только у них есть определенные роботы, которые могут это строить. Роботы сами по себе очень сложные. Плюс нам нужны схемы вообще автомобилей, части этих автомобилей. Нам нужен движок, который где-то отдельно купить, и там тоже всего 1, 2, 3, 4 компании делают какие-то движки. Нужны всякие колеса, трансмиссии, которые очень сложные. То есть да, мы усложняем «Автопром»,

откатываем его, например, на десятки лет назад, может, даже на столетия назад. В результате мы в этом мире, где все очень лимитировано и очень сложно. Мы должны найти инженеров, которые нам все проектируют, договориться со всеми о поставках и с тем, кто это собирает, все это собрать. Все это просто так не сделать, то есть пробиться даже в телетехнические детали сложно, через софт, который на автомобиле будет работать современным, тоже сложно. И еще договориться на бизнесовом уровне, где нас будут отшивать, постоянно говорить, кто вы такие, почему вы должны строить автомобиль, если у нас Мерседес и там образно.

Toyota заказали ее автомобиль на два года вперед. Почему мы линию должны под вас выделять производственную? Допустим, нам удалось, мы спроектировали все-таки пробиться через все это, выпустить первую партию. Хотим ее продавать, но тут, допустим, наступает такой фактор, что мир поменялся.

И вот тут параллель с AI. Если бы AI – это какая-то инновация на уровне просто математического аппарата, мы можем сделать что-то новое, и нейросеть другого типа будет нужна. В мире с автомобилями мы можем привести пример, как наступило глобальное потепление. Растаяли ледники, и 70-80%

90% суши теперь под водой. И людям просто не нужны автомобили с колесами, им нужны лодки или автомобили, в которых они ездили раньше, просто с кормой, чтобы это была лодка, на которой можно перемещаться также. И вот теперь мы в той же ситуации, как многие производители чипов, когда домен очень активно менялся.

И, соответственно, те же самые Mercedes, Toyota, еще что-то, возможно, они уже проектировали такие лодки, уже слышали от кого-то, что нужны автомобили ездящие, плавающие, и у них вообще есть весь набор инженеров, исследователей, опытов, дизайнов, проектов, всего прочего, концептов, плюс линии, опять-таки, чтобы взять и быстро выпустить новые авто, которые теперь плавают.

Мы, соответственно, встреваем в новый цикл разработки, опять такой же сложный, опять с такими же рисками. Нам нужно всех уговорить заново сделать нам новое авто, которое будет плавать, и опять-таки ожидать, что мир больше не поменяется. Что в двум мире? Скорее всего, не так.

У NVIDIA есть еще другие конкуренты, там много стартапов, как я назвал, среди которых Grog, Cerebras и, не знаю, Edge, Lightmeter, компании, которые пытаются делать свои решения, и перед ним стоит очень сложная задача, чтобы вот как раз-таки обойти NVIDIA, плюс встроиться, как-то найти бреши или какие-то лазейки.

И вот в этой вертикали NVIDIA, которую NVIDIA выстроила на всех уровнях, от хардвара софта до бизнес-связи и поставок различных компонентов для процессоров, соответственно, они пытаются придумать какую-то архитектуру, чаще всего решение, которое бы имело другие типы памяти, более медленные, которые можно достать более просто.

Но при этом подобрать архитектуру самого процессора такую, чтобы даже это была более медленная память, но при определенной распайке чипа, при создании более маленьких чипов, память такой быстрой не нужна была, и собрать эти чипы в другой, более большой кластер, допустим, как делает круг, это бы все равно позволяло решать какую-то задачу.

Или как делает Cerebros, вот они увидели, что TensorFlow, допустим, про который мы говорили, специальные ядра для нейросетей были применены и встроены в чипы NVIDIA. Они подумали, почему бы нам тогда не отказаться вообще от всех других типов ядер и просто что-то типа TensorFlow встроить. Это не называется TensorFlow, но очень похоже, просто простые ядра еще более оставить только для нейросетей и еще их размножить. То есть сделать еще более большой чип. То есть специализированный.

Да, специализированный. Да, чип NVIDIA, например, в размерах может быть до 10 сантиметров квадратик по одной из сторон. А чип Cerebros может быть до 30 сантиметров, то есть площадь общая в 9 раз больше. И туда просто состекано множество процессоров, которые позволяют тебе чуть ли не всю нейросеть зарядить, даже большую, на этот чип и рассчитать ее.

Но у этого всего есть свои особенности и плюсы и минусы. Чаще всего такие компании видят, как только появляется какая-то архитектура нейросети, которая начинает быть популярной, люди понимают, что вот эта нейросеть, за ней будущее, они понимают, что универсальности и гибкости того, что есть у NVIDIA от

да, опять-таки разных архитектур, как различные нейросети обсчитывать до каких-то связей с различными университетами или CUDA универсальное, которое может все что угодно делать, это становится ненужным, и нам нужно, по сути, сделать чип, который одну нейросеть, в том числе трансформер, в данном случае, может обсчитывать и

на который этот трансформер нужно будет относительно просто положить, не делая CUDA, не делая какие-то универсальные процессоры и обойдя какие-то ограничения в этом субпланчине и поставках, на которых NVIDIA плотно держится, обойтись с помощью других ячейок памяти и всего прочего.

Но, конечно же, все сайт-движения, как только выходит какая-то новая под вид нейросети-трансформер, который чуть-чуть другой, допустим, у нас есть сейчас трансформер, который называется Mixture of Experts, им сразу же становится сложно. То есть чип, потому что в целом вся вертикаль держалась на том, что мы выбираем узкую нишу и под нее закладываем всю архитектуру и все принципы. Все это формируется в такой цикл сложный и большой, в котором NVIDIA продолжает оставаться лидером доменом.

Но в целом просто есть хорошее взаимоотношение и правильно выстроенный бизнес, насколько я понимаю, с различными компаниями, в том числе TSMC, которые являются лидером в создании чипов по архитектурам, в том числе компании NVIDIA.

что эти фабрики, то количество станков, которые делают процессы, они ограничены, поэтому это одна из проблем, почему мы не можем быстро скейлиться, почему GPU и NVIDIA считаются таким ресурсом, который в дефиците. У нас ограничены другие также станки, которые делают там память, и память сама по себе, которая отдельно впаивается в чипы, отдельный тоже ресурс, который является составной частью в этом, частью GPU. Ну, в целом так, у меня нет другого ответа про это.

какие-то, и попытки делать свои паблики по производству чипов, но базовая, такой, pipeline выглядит вот так, когда NVIDIA придумывает архитектуру и правильно все рассматривает с разных сторон, чтобы это была правильная GPU, работающая, закрывающая новые потребности, новые таски. При этом, да, самим созданием чипа основного, да, занималась другая компания, в том числе, да, SMC, наверное. А ты сказал, в том числе, то есть, условно, Samsung еще, мне кажется, умеет производить, да? Кто еще? Очень интересно, на самом деле.