Денис Тимонин

И для того, чтобы это сделать, нам нужно сделать N итераций, чтобы прийти в это состояние в будущем, каждый раз рассчитывая, как поменять свое положение планеты или другой объект, исходя из того, какие силы на нее оказывали другие планеты. И вот тут тебе нужно в параллели каждый раз по шагам двигаясь обсчитывать для каждых объектов следующий микрошаг. Это могут быть проблемы NBODYS, это различные дифференциальные уравнения,

И в том числе и нейросети, которые стали популярны позже А это как бы под вид задачи линейной алгебры Вернее, базовый механизм инструмента, один из базовых, это линейная алгебра И вот это перемножение матриц, там тоже видеокарты очень хорошо себя показали Оказалось, в результате увидела NVIDIA вот эти все направления Где люди, ученые, университеты стали внедрять видеокарты и делать какие-то вычисления

Да, всё верно. Нейросети вообще довольно давно начинали свой путь, но при этом в них никто всерьёз не рассматривал как какой-то инструмент, который может решить ту или иную проблему в реальном мире. У всех этих проблем и задач, которые сейчас решаются нейросетями, были различные другие подходы. В 2012 году Трёхрихинтон Судскевер и Алекс Режевский сделали нейросети.

И как раз-таки запустили ее на двух игровых видеокартах, которые делали распознавание картинок и классификацию. И в результате показали, что нейросеть может справляться с этой задачей лучше, чем все классические алгоритмы. Причем просто нейросеть классическая на данный момент времени, без каких-либо сложных внутри элементов.

Вот тогда, в десятые годы, только начало развития искусственного интеллекта с использованием видеокарт, были ли тогда альтернативы видеокартам NVIDIA для искусственного интеллекта? Для искусственного интеллекта я вообще не слышал, что применялось что-то до этого момента. Может, кто-то использовал другие видеокарты, поскольку у NVIDIA были и в тот момент конкуренты, и компания, в том числе, NAND, которая делает видеокарты.

карты Radeon, она была основана раньше, чем NVIDIA, и они в какой-то момент времени тоже стали делать видеокарты, но вот именно прорыв основной начался с вот этого Alex Netta, который в 2012 году был сделан, и все, да, запустил определенный, запустился цикл разработки отдельных библиотек, отдельных еще более углубленных ускорителей видеокарт ODI, библиотеки, такие как QDNN, QBlast и там...

Видеокарты оказались хороши в том, чтобы перемножать числа, и так мы обсудили множество ядер, которые много могли в параллели за одну единицу времени быстро за один такт обсчитать, сразу перемножить множество чисел. И в задаче линейной алгебры, да, вот как мы сейчас тоже упоминали, это перемножение, задача перемножения ядер.

Одна из задач частных случаев – это перемножение матриц. И в нейросетях прорыв произошел в том числе из-за того, что люди видели, что основной инструмент в текущих архитектурах нейросетей, самых популярных, это перемножение больших матриц. И нейросеть, по сути, это множество матриц. Матрица – это такой квадратик с числами, который умножается по определенным правилам на другой квадратик с числами.

В результате у нас появляется третий квадратик, прямоугольник, можно различными формами, главное, чтобы там были прямые углы. Мы получаем в финале третий прямоугольник, который содержит изменённую информацию. И суть нейрости в том, что если взять множество матриц, часть из них будет наши входные данные, то есть, допустим, картинка, где у нас есть кот, и картинка, где есть собака. Это матрицы.

то есть это как раз квадратик, по сути, с числами, пиксели, и домножать ее на определенные матрицы с определенными весами, то в результате мы можем делать различные задачи. Описывать, например, текстом, трансформировать вот эту матрицу изначальную во что-то в виде матрицы вектор текста. Или в пиксель, или в одно число, которое будет классифицировать. Кот это или собака. Либо в прямоугольную матрицу, которая голосом сможет это описывать, эту картинку. И суть в том, что базовый механизм один и тот же,

но он может решать множество задач. И вот задача, которую ты хочешь решить, зависит от того, как ты ее обучаешь в этой нейросети. И процесс обучения тоже оказался един, то есть поверх одной и той же структуры, один и тот же процесс обучения, когда мы просто подаем котика на вход картинку и дальше на выходе

Мы даем значение числа единичка, что это код. Для картинки с собакой даем значение нолик. Мы прописываем это сами руками и запускаем процесс обучения. Все промежуточные матрицы подтюниваем так. Это происходит автоматически, чтобы видео, получая на фото собаку,

Нейросеть сама выдавала нолик. Или, видя и получая на вход картинку с котом, сама выдавала единичку. И вот это матричное перемножение – это то, что уже в видеокартах было. То есть вот этот процессор, который содержит много ядер, туда отлично ложатся матрицы. То есть прям мы можем записать в каждое из ядер кусочки этой матрицы и матрицы рядом разложить и перемножить их, записав результат памяти. Вот такой основной процессор.

купим там 10 тысяч и так далее. Эта потребность в видеокартах, она росла постепенно или были какие-то события, какие-то точки взрывного роста? Как это примерно происходило? За счет Алекснета было доказательство того, что нейросети умеют классифицировать картинки. Потом мы смогли работать с текстами, со звуком. И еще потом научились картинку брать и трансформировать его в другую картинку. И постепенно происходили такой ресерч, а что же, для чего же еще мы можем использовать нейросети и как меняется должна архитектура нейросети.

Изменения были не сильные, и в целом нейросети подходили для разных задач, практически для всего, к чему применялись. Основное, в чем была задача, проблема — это найти, написать вот это перемножение «нужная матрица», и CUDA в этом очень сильно помогала, а поверх этого еще сделали более простые фреймворки, и найти данные, на которых ты бы хотел обучать нейросети, чтобы нейросеть впоследствии могла симулировать похожее поведение, как на обученных данных.

Но одна из проблем, которая была, это то, что нейросети в тот момент, например, AlexNet, это была конволюционная нейросеть, и они не очень хорошо масштабировались. Это значит, что они не очень хорошо могли потреблять большие размеры изображений или 3D-сцены, или не очень хорошо могли вытащить информацию правильную из очень больших изображений за счет определенных недостатков архитектуры нейросети.

Но в какой-то момент в 2015 году вышла статья или научный пейпер, который назывался «Attention is all you need», который, наверное, многие уже слышали, который предложил новую архитектуру Нерстин, которая вводила механизм Attention. Он был довольно простой, и при этом одна из вещей, он позволял увеличивать размеры входных данных, то есть увеличивать эти разображения, увеличивать длины текстов, которые подавались на вход и на выход, увеличивать 3D-сцены, сейчас это применяется к 3D-сценам,

И при этом параллелить, то есть раскидывать, даже когда у тебя не влазит весь объем данных, вся нейросеть на одну видеокарту, а такое начинало происходить, видеокарта – это самостоятельный такой мини-компьютер, который ограничен. Вот эта архитектура позволяла разделять нейросеть на кусочки и раскладывать на разные видеокарты. В результате у нас появлялась возможность, грубо говоря, бесконечно масштабировать, увеличивать нейросети в размере.

Это, наверное, было главным следующим прорывным событием, которое поменяло индустрию и привело к тому, о чем ты сказал, что текущие корпорации-гиганты закупают миллионы видеокарт для своих неростей.

Какой основной продукт NVIDIA сегодня? У NVIDIA остается, конечно же, игровая линейка видеокарт. NVIDIA лидер за счет различных ретрейсингов, DLSS технологий и прочего. В игровой сфере есть линейка видеокарт для профессиональной графики, то есть это отдельные видеокарты.