Các video trong đó chatbot trả lời người dùng "nhanh như chớp" từ Groq đang được lan truyền khắp mạng xã hội. Startup đứng sau những video này tuyên bố cung cấp "mô hình ngôn ngữ lớn nhanh nhất thế giới". Một số thử nghiệm độc lập cũng cho thấy Groq mang đến hiệu năng vượt trội.

Theo Gizmodo, tốc độ đáng kinh ngạc của chatbot từ Groq đang khiến mô hình AI Grok của Elon Musk bị lu mờ. Dù có tên gần giống nhau, Groq không cạnh tranh trực tiếp với chatbot của Elon Musk, Gemini của Google hay ChatGPT của OpenAI. Thực tế, Groq là startup được thành lập năm 2016 tại California (Mỹ), chuyên tạo chip AI về xử lý ngôn ngữ (LPU). Họ tuyên bố chip LPU có tốc độ xử lý nhanh hơn GPU của Nvidia.

Theo Medium, trong ngành công nghiệp AI, GPU của Nvidia được xem là chuẩn mực để vận hành mô hình AI, nhưng sự xuất hiện của Groq có thể định hình lại tương lai của trí tuệ nhân tạo.

Sức mạnh của Groq

Một trong những thách thức lớn nhất trong cuộc đua AI tạo sinh hiện nay là tốc độ phản hồi. Các công ty như OpenAI, Google luôn cố gắng đẩy nhanh tốc độ trả lời của AI để cuộc nói chuyện diễn ra tự nhiên hơn. Ngay cả Google cũng thừa nhận từng chỉnh sửa video trong buổi giới thiệu Genimi để tạo cảm giác "mượt mà" hơn.

Để khắc phục vấn đề độ trễ của chatbot, Groq đã sản xuất chip LPU giúp mô hình ngôn ngữ lớn tăng tốc độ suy luận lên đến 500 token mỗi giây. Trong khi đó, Gemini Pro của Google hay GPT 3.5 của OpenAI đang đạt 30-50 token mỗi giây.

Công ty phân tích Artificial Analysis đã thử nghiệm thực tế tốc độ của Groq với 8 mô hình AI chạy trên GPU phổ biến nhất hiện nay. Kết quả, Groq vượt trội về độ trễ thấp, thời gian phản hồi nhanh. Hiệu suất chênh lệch nhất khi chạy mô hình Llama 2-70b của Meta.

So sánh hiệu năng của Groq với các nền tảng chạy AI phổ biến hiện nay. Nguồn: Artificial Analysis

Cụ thể, trong vòng một giây, chatbot chạy trên LPU của Groq có thể tạo 247 token. Trong khi mô hình ChatGPT chạy trên đám mây Azure của Microsoft đạt 18 token một giây. Có nghĩa, nếu vận hành trên chip LPU của Groq, ChatGPT này sẽ hoạt động nhanh hơn 13 lần.

Trong một thử nghiệm khác, CEO Groq Jonathon Ross đã hướng dẫn người dẫn chương trình CNN tại Mỹ trò chuyện bằng lời nói với một chatbot AI ở bên kia địa cầu mà không gặp bất kỳ gián đoạn nào.

Artificial Analysis đánh giá hiệu suất đáng kinh ngạc này có thể mở ra nhiều tiềm năng mới cho các mô hình ngôn ngữ lớn trên nhiều lĩnh vực khác nhau khi gần như cho phép người dùng thực hiện các tác vụ theo thời gian thực.

Tác động của Groq đến ngành AI

Mỗi chip LPU của Groq hiện có giá 20.000 USD (480 triệu đồng), tương đương GPU A100 của Nvidia. Theo Medium, việc Groq ra chip LPU đánh dấu cột mốc mới so với GPU truyền thống trong các tác vụ xử lý ngôn ngữ.

Groq được đánh giá sẽ thách thức tên tuổi lớn như Nvidia, AMD, Intel, đồng thời còn mở đường cho các ứng dụng và mô hình hình AI mới. Hiệu suất vượt trội của LPU đã củng cố vị thế của Groq trong cuộc đua tăng tốc AI. Trong bối cảnh chatbot liên tục được phát triển, kích thước mô hình ngôn ngữ lớn ngày một tăng, vai trò của LPU sẽ lớn hơn khi có ưu thế về tốc độ, hiệu năng, tiết kiệm chi phí.

Xa hơn, LPU của Groq có thể giúp các ứng dụng AI dễ tiếp cận hơn, mở ra khả năng tương tác theo thời gian thực với người dùng. Trí tuệ nhân tạo khi đó đứng trước kỷ nguyên mới, có thể áp dụng rộng rãi trong doanh nghiệp, xã hội.

Thách thức với Groq

Chip LPU của Groq có thể chạy hầu hết mô hình ngôn ngữ lớn hiện nay. Tuy nhiên, chip này chỉ đạt hiệu năng tối đa trong xử lý tác vụ liên quan đến suy luận chuỗi văn bản. Để đào tạo mô hình, các công ty vẫn cần dùng đến GPU của Nvidia hoặc các chip tương tự.

Theo Reuters, Groq đang cố gắng giành thị phần từ Nvidia nhưng công ty vẫn còn một chặng đường dài để tạo chỗ đứng trong thị trường cạnh tranh khốc liệt. GPU của Nvidia và TPU của Google từ lâu đã được các nhà phát triển, nghiên cứu AI tin dùng. LPU của Groq sẽ phải chứng minh được sự tin cậy, ổn định chứ không chỉ về hiệu suất và chi phí.

Bản thân Groq cũng đang đối mặt một số nhầm lẫn khi tên gọi gần giống Grok của Elon Musk. Ngoài ra, trong ngành AI còn một công ty khác tên Grok Grime, chuyên bán đồ chơi tích hợp trí tuệ nhân tạo.

Tuy nhiên, giới phân tích nhận định, Groq vẫn có nhiều tiềm năng để tạo bước ngoặt lớn trong AI. Màn xuất hiện ấn tượng của LPU có thể thu hút sự chú ý của những nhân vật có ảnh hưởng như Sam Altman, vốn đang tìm kiếm những giải pháp thay thế về chip AI.

Theo vnexpress.net