Чіп NVIDIA за $20 млрд може зробити ChatGPT повільним

Гігант чіпів NVIDIA готується представити потужний новий процесор штучного інтелекту, розроблений для прискорення того, як чат-боти та інші інструменти ШІ генерують відповіді, потенційно роблячи сьогоднішні системи, такі як ChatGPT, повільними в порівнянні.

Нова платформа, яка очікується на щорічній конференції розробників GTC від NVIDIA, оптимізована для висновку ШІ, етапу, коли навчені моделі створюють відповіді на запити користувачів. На відміну від традиційних GPU, створених для обробки як навчання, так і висновку, майбутній процесор зосереджується саме на швидшій та ефективнішій доставці відповідей.

Продукт, якщо буде запущений, стане першим відчутним результатом грудневої угоди, яка залучила засновників Groq, чия компанія спеціалізується на високошвидкісному обладнанні для обробки ШІ.

Наприкінці минулого року NVIDIA, як повідомляється, витратила близько 20 мільярдів доларів на ліцензування технології від чіп-стартапу Groq і залучення ключових співробітників, включаючи його генерального директора. Приблизно в той же час генеральний директор NVIDIA Дженсен Хуанг повідомив співробітникам: "Ми плануємо інтегрувати процесори з низькою затримкою від Groq в архітектуру фабрики NVIDIA AI, розширюючи платформу для обслуговування ще ширшого спектру висновків ШІ та робочих навантажень реального часу."

Зараз очікується, що новий чіп для висновку буде обробляти складні запити ШІ на високій швидкості, і OpenAI та інші провідні клієнти, ймовірно, прийматимуть його, за даними The Wall Street Journal. Його звіт також показав, що новий чіп може обробляти близько 10% робочого навантаження висновку OpenAI.

Чіп у стилі Groq використовуватиме SRAM, повідомляють джерела

Під час останнього телефонного дзвінка про прибутки генеральний директор NVIDIA натякнув, що кілька нових продуктів будуть представлені на майбутній події GTC, яку часто описують як "Суперкубок ШІ". Він зауважив: "У мене є кілька чудових ідей, якими я хотів би поділитися з вами на GTC." 

Більшість аналітиків погоджуються, що чіп у стилі Groq може бути частиною лінійки. Вони також заявили, що його дизайн може пролити світло на те, як NVIDIA має намір вирішувати обмеження пам'яті в обчисленнях висновку. Такі платформи зазвичай працюють на високопропускній пам'яті (HBM). Однак останнім часом HBM було важко отримати.

Інсайдери стверджували, що фірма планує використовувати SRAM у чіпі, а не динамічну RAM, пов'язану з HBM. В ідеалі SRAM є більш доступною і може покращити продуктивність робочих навантажень міркування ШІ.

Якщо чіп буде представлений, це може стати великим кроком вперед для чіп-компанії та моделей, навчених ШІ. Однак, говорячи про його можливий запуск, Сід Шет, засновник і генеральний директор d-Matrix, кинув тінь на його розробку. Він зазначив, що хоча NVIDIA залишається явним лідером у навчанні ШІ, висновок представляє зовсім інший ландшафт. Він поділився: "Розробники можуть звертатися до конкурентів, крім NVIDIA, оскільки запуск готових моделей ШІ не вимагає того ж виду програмування, що й їх навчання." 

Тим не менш, інші технологічні гіганти також просувають обчислення висновку. Meta цього тижня представила чотири процесори, адаптовані для висновку, що спонукало інвестора Силіконової долини сказати, що галузь може входити в фазу, де не домінує NVIDIA.

Однак, нещодавно Джун Пейк, виконавчий директор FuriosaAI, суперника NVIDIA, коментуючи переваги легко розгортуваних обчислень висновку, попередив, що більшість центрів обробки даних не можуть вмістити найновіші GPU з рідинним охолодженням.

Тим не менш, незважаючи на його занепокоєння, аналітики Bank of America очікують, що робочі навантаження висновку становитимуть 75% витрат центрів обробки даних ШІ до 2030 року, коли ринок досягне близько 1,2 трильйона доларів, порівняно з приблизно 50% минулого року. Бен Баджарін, технологічний аналітик Creative Strategies, також стверджував, що центри обробки даних майбутнього не відповідатимуть моделі "один розмір для всіх", передбачаючи, що компанії застосовуватимуть різні підходи до розробки чіпів і об'єктів.

Очікується, що NVIDIA випустить чіпи Vera Rubin пізніше у 2026 році

NVIDIA також нещодавно випустила свої чіпи ШІ наступного покоління, чіпи Vera Rubin AI, передбачаючи, що зростання платформ міркування ШІ, таких як DeepSeek, підживить ще більший попит на обчислення. Вона заявила, що чіпи допоможуть навчати більші моделі ШІ і забезпечувати більш складні результати ширшій базі користувачів. 

За словами Хуанга, Rubin також вийде на ринок у другій половині 2026 року, а високопродуктивна версія "ultra" з'явиться у 2027 році.

Він також пояснив, що одна система Rubin об'єднає 576 окремих GPU в один чіп. Наразі чіп Blackwell від NVIDIA об'єднує 72 GPU в своїй системі NVL72, що означає, що Rubin матиме більш просунуту пам'ять.