Добавить новость

В Егорьевске приступили к работе «МастЕРские Деда Мороза»

Капремонт школ по всей стране станет главным приоритетом

Российские учёные ускорят разработку сверхпроводников будущего

Одного из подозреваемых в подрыве генерала Кириллова задержали в подмосковной деревне



News in English


Новости сегодня

Новости от TheMoneytizer

Groq is 'unleashing the beast' to chip away at Nvidia's CUDA advantage

Mark Heaps is the chief technology evangelist for Nvidia challenger Groq
  • Groq is taking a novel approach to competing with Nvidia's much-lauded CUDA software.
  • The chip startup is using a free inference tier to attract hundreds of thousands of AI developers.
  • Groq aims to capture market share with faster inference and global joint ventures.

There is an active debate about Nvidia's competitive moat. Some say there's a prevailing perception of a 'safe' choice when investing billions in a technology, in which the return is still uncertain.

Many say it's Nvidia's software, particularly CUDA, which the company began developing decades before the AI boom. CUDA allows users to get the most out of graphics processing units.

Competitors have attempted to make comparable systems, but without Nvidia's headstart, it has been tough to get developers to learn, try, and ultimately improve their systems.

Groq, however, is an Nvidia competitor that focused early on the segment of AI computing that requires less need for directly programming chips, and investors are intrigued. The 8-year-old AI chip startup was valued at $2.8 billion at its $640 million Series D round in August.

Though at least one investor has called companies like Groq 'insane' for attempting to dent Nvidia's estimated 90% market share, the startup has been building its technology exactly for the opportunity that is coming in 2025, Mark Heaps, Groq's "chief tech evangelist" said.

'Unleashing the beast'

"What we decided to do was take all of our compute, make it available via a cloud instance, and we gave it away to the world for free," Heaps said. Internally, the team called the strategy, "unleashing the beast". Groq's free tier caps users at a ceiling marked by requests per day or tokens per minute.

Heaps, CEO and ex-Googler Jonathan Ross, and a relatively lean team have spent 2023 and 2024 recruiting developers to try Groq's tech. Through hackathons and contests, the company makes a promise — try the hardware via Groq's cloud platform for free, and break through walls you've hit with others.

Groq offers some of the fastest inference out there, according to rankings on Artificialanalysis.ai, which measures cost and latency for companies that allow users to buy access to specific models by the token — or output.

Inference is a type of computing that produces the answers to queries asked of large language models. Training, the more energy-intensive type of computing, is what gives the models the ability to answer. So far, the hardware used for those two tasks has been different.

Heaps and several of his Nvidia-challenging cohorts at companies like Cerebras and SambaNova Systems said that speed is a competitive advantage.

After the inference service was available for free, developers came out of the woodwork, he said, with projects that couldn't be successful on slower chips. With more speed, developers can send one request through multiple models and use another model to choose the best response — all in the time it would usually take to fulfill just one request.

Roughly 652,000 developers are now using Groq API keys, Heaps said.

Heaps expects speed to hook developers on Groq. But its novel plan for programming its chips gives the company a unique approach to the most crucial element within Nvidia's "moat."

No need for CUDA libraries

"Everybody, once they deployed models, was gonna need faster inference at a lower cost, and so that's what we focused on," Heaps said.

So where's the CUDA equivalent? It's all in-house.

"We actually have more than 1800 models built into our compiler. We use no kernels, and we don't need people to use CUDA libraries. So because of that, people can just start working with a model that's built-in," Heaps said.

Training, he said, requires more customization at the chip level. In inference, Groq's task is to choose the right models to offer customers and ensure they run as fast as possible.

"What you're seeing with this massive swell of developers who are building AI applications — they don't want to program at the chip level," he added.

The strategy comes with some level of risk. Groq is unlikely to accumulate a stable of developers who continuously troubleshoot and improve its base software like CUDA has. Its offering may be more like a restaurant menu than a grocery store. But this also means the barrier to entry for Groq users is the same as any other cloud provider and potentially lower than that of other chips.

Though Groq started out as a company with a novel chip design, today, of the company's roughly 300 employees, 60% are software engineers, Heaps said.

"For us right now, there is a billions and billions of dollars industry emerging, that we can go capture a big share of market in, while at the same time, we continue to mature the compiler," he said.

Despite being realistic about the near-term, Groq has lofty ambitions, which board CEO Jonathan Ross has described as "providing half the world's inference." Ross also says the goal is to cast a net over the globe — to be achieved via joint ventures. Saudi Arabia is on the way. Canada and Latin America are in the works.

Earlier this year, Ross told BI the company also has a goal to ship 108,000 of its language processing units or LPUs by the first quarter of next year — and 2 million chips by the end of 2025, most of which will be made available through its cloud.

Have a tip or an insight to share? Contact Emma at ecosgrove@businessinsider.com or use the secure messaging app Signal: 443-333-9088

Read the original article on Business Insider

Читайте на 123ru.net


Новости 24/7 DirectAdvert - доход для вашего сайта



Частные объявления в Вашем городе, в Вашем регионе и в России



Smi24.net — ежеминутные новости с ежедневным архивом. Только у нас — все главные новости дня без политической цензуры. "123 Новости" — абсолютно все точки зрения, трезвая аналитика, цивилизованные споры и обсуждения без взаимных обвинений и оскорблений. Помните, что не у всех точка зрения совпадает с Вашей. Уважайте мнение других, даже если Вы отстаиваете свой взгляд и свою позицию. Smi24.net — облегчённая версия старейшего обозревателя новостей 123ru.net. Мы не навязываем Вам своё видение, мы даём Вам срез событий дня без цензуры и без купюр. Новости, какие они есть —онлайн с поминутным архивом по всем городам и регионам России, Украины, Белоруссии и Абхазии. Smi24.net — живые новости в живом эфире! Быстрый поиск от Smi24.net — это не только возможность первым узнать, но и преимущество сообщить срочные новости мгновенно на любом языке мира и быть услышанным тут же. В любую минуту Вы можете добавить свою новость - здесь.




Новости от наших партнёров в Вашем городе

Ria.city

В Париже в результате аварии погибла модель и телеведущая Светлана Савицкая

Александр Буйнов ответил на слухи о серьезной болезни

В Москве собираются журналисты со всего мира на пресс-конференцию Президента РФ

Разлив мазута угрожает роддому дельфинов, рассказал эколог

Музыкальные новости

Экс-тренер «Зенита» Карасев: «Ничто не предвещало трагедии с Янисом Тиммой»

Сотрудники ОМОН «Русич» Росгвардии исполнили новогоднюю мечту мальчика из Подмосковья

Путин поручил создать добровольческий отряд «Барс-Курск» в Курской области

Гассеев предложил губернаторам развивать в регионах медицинский туризм

Новости России

Аида Гарифуллина выступила в Большом зале Московской консерватории

На Камчатке пропал перевозивший груз самолет Ан-2

Прошла XXX юбилейная сессия Международной Ассамблеи столиц и крупных городов СНГ (МАГ)

Многоженец с 14 детьми Сухов рассказал об обстановке в его семье

Экология в России и мире

Бывший муж экс-солистки «ВИА Гры» Анны Седоковой покончил с собой в Москве

Моцарт и Шопен при свечах в Петрикирхе

Заповедники России: 15 самых известных

Музыкальная деятельность EDZAR

Спорт в России и мире

Ник Кирьос и Новак Джокович сыграют в парном разряде на турнире ATP-250 в Брисбене

«Испанцы никогда не умирают». Циципас о том, что Бадоса победила в номинации WTA «Возвращение года»

Арина Соболенко выложила эффектные фото в коротком платье

Эрика Андреева проиграла в финале турнира WTA 125 в Лиможе в парном разряде

Moscow.media

Терминал сбора данных (ТСД) промышленного класса SAOTRON RT42G

«Байкал Сервис» снизил тарифы для Адлера

Силовики вскрыли коррупционную схему в Уральском управлении Ростехнадзора

«Грузовичкоф» выбран дважды на премии «Признание и Влияние»











Топ новостей на этот час

Rss.plus






Модель и телеведущую Светлану Савицкую насмерть сбил автомобиль в Париже

В Москве собираются журналисты со всего мира на пресс-конференцию Президента РФ

Трагедия карабахцев: Ашот Бегларян. Колонна длиною в жизнь

Комитеты СФ обсудят кандидатуру Краснова на должность генпрокурора