Chi phí đánh giá các mô hình AI lý luận ngày càng tăng cao
Một số ứng dụng AI tạo sinh trên smartphone.
Hàng loạt công ty AI tung ra các mô hình AI với năng suy nghĩ qua các bước như OpenAI, DeepSeek, hiệu quả hơn so với mô hình không lý luận trước đây.
Tuy nhiên, theo dữ liệu từ Artificial Analysis, tổ chức kiểm tra và đánh giá AI độc lập, chi phí "chấm điểm" mô hình lý luận OpenAI o1 theo 7 tiêu chuẩn phổ biến là MMLU-Pro, GPQA Diamond, Humanity’s Last Exam, LiveCodeBench, SciCode, AIME 2024 và MATH-500 có giá 2.767 USD. Tương tự, Claude 3.7 Sonnet, mô hình lai của Anthropic, cần 1.485 USD.
Artificial Analysis cho biết đã chi tổng cộng 5.200 USD để đánh giá chưa đến 10 mô hình lý luận, gấp đôi số tiền 2.400 USD công ty dùng để đánh giá hơn 80 sản phẩm không lý luận. Ví dụ, mô hình không lý luận GPT-4o, ra tháng 5/2024, chỉ đòi hỏi 108,85 USD, o3-mini cần 344 USD, còn Claude 3.6 Sonnet bản không lý luận là 81,41 USD.
Artificial Analysis không phải là bên duy nhất đối mặt với sự gia tăng chi phí đánh giá AI. Ross Taylor, CEO AI General Reasoning, nói đã chi 580 USD để chấm điểm Claude 3.7 Sonnet với 3.700 câu gợi ý. Ông ước tính một lần sử dụng MMLU Pro - bộ câu hỏi được thiết kế để đánh giá kỹ năng hiểu ngôn ngữ của AI - tốn hơn 1.800 USD.
Việc thử nghiệm đắt đỏ do mô hình tạo ra nhiều token. Token là phần văn bản thô, ví dụ từ "fantastic" chia thành "fan", "tas", và "tic". Artificial Analysis cho biết o1 của OpenAI tạo hơn 44 triệu token trong quá trình thử nghiệm của công ty, gấp 8 lần số lượng GPT-4o tạo ra.
Theo Jean-Stanislas Denain, nhà nghiên cứu cao cấp tại Epoch AI, các tiêu chuẩn hiện đại cũng kéo theo việc tạo ra nhiều token vì liên quan đến nhiệm vụ phức tạp nhiều bước.
Một số công ty AI, trong đó có OpenAI, cung cấp quyền truy cập miễn phí hoặc hỗ trợ giảm giá cho một số tổ chức chấm điểm benchmark, nhưng điều này được cho là có thể ảnh hưởng đến kết quả, tác động tới đến tính toàn vẹn của điểm số.
Theo: vnexpress.net
Tin cùng chuyên mục
- Nokia chuẩn bị triển khai 5G tại Việt Nam 24.09.2024 | 13:58 PM
- Sinh động các chương trình trực tiếp tại Fanpage Báo Tuyên Quang online 03.01.2023 | 08:16 AM
- Thực hiện quy định về chuẩn hóa thông tin thuê bao di động 31.03.2023 | 16:13 PM
- Hưởng ứng ngày Chuyển đổi số quốc gia 10/10Chuyển đổi số vì một cuộc sống tốt đẹp hơn 09.10.2022 | 21:42 PM
- Sở Thông tin và Truyền thông: Diễn tập ứng phó sự cố an toàn thông tin mạng năm 2022 04.10.2022 | 17:30 PM
- Hướng dẫn trẻ em sử dụng mạng internet an toàn và hiệu quả 05.08.2022 | 08:27 AM
- Người dùng nên cập nhật Chrome 92 ngay để vá 9 lỗ hổng nghiêm trọng 21.08.2021 | 15:47 PM
- UBND tỉnh nghe báo cáo dự thảo đề án chuyển đổi số tỉnh Thái Bình giai đoạn 2021 - 2025, định hướng đến năm 2030 21.07.2021 | 19:16 PM
- Thiết bị đầu tiên chuyển suy nghĩ thành câu nói 19.07.2021 | 09:47 AM
- Tại sao không gộp các ứng dụng chống dịch thành một 'super app' 19.07.2021 | 09:48 AM
Xem tin theo ngày
-
Hội nghị Ban Chấp hành Đảng bộ tỉnh Hưng Yên
- Hoàn thành xuất sắc sứ mệnh lịch sử góp phần quan trọng thực hiện thắng lợi các nhiệm vụ chính trị của tỉnh
- Phấn đấu hoàn thành ở mức cao nhất các chỉ tiêu kinh tế - xã hội tạo nền tảng thuận lợi cho tỉnh Thái Bình hợp nhất với tỉnh Hưng Yên cùng đất nước vươn mình
- Bứt phá, vươn lên mạnh mẽ hơn, hướng tới mục tiêu phát triển nhanh, giàu mạnh bền vững và thịnh vượng
- Kỳ họp thứ mười HĐND tỉnh khóa XVII, nhiệm kỳ 2021 – 2026 thông qua nhiều nghị quyết quan trọng và thành công tốt đẹp
- Tăng cường chuyển đổi số để nâng cao hiệu quả công tác kiểm tra, giám sát của Đảng
- Nêu cao tinh thần trách nhiệm, phát huy trí tuệ, đoàn kết, dân chủ, quyết định đúng đắn các vấn đề, góp phần vào thành công của kỳ họp
- Khai mạc trọng thể kỳ họp thứ mười, HĐND tỉnh khóa XVII, nhiệm kỳ 2021 - 2026
- Tuyên chiến với tội phạm sản xuất, lưu hành, kinh doanh hàng giả
- Gặp mặt cán bộ thành phố Thái Bình qua các thời kỳ