Uber từng cạn ngân sách AI chỉ trong vài tháng và đây là cách họ giảm chi phí

Uber đã gặp một vấn đề mà ngày càng nhiều doanh nghiệp có thể phải đối mặt: AI càng được sử dụng rộng rãi, hóa đơn công nghệ càng tăng nhanh.

AI tìm dữ liệu trong 38 giây thay vì mất hơn 20 phút nhờ đồ thị tri thức Uber

Thay vì tiếp tục mua mô hình mạnh hơn hoặc mở rộng cửa sổ ngữ cảnh, Uber chọn một hướng ít hào nhoáng hơn. Công ty giới hạn lượng thông tin AI được xử lý, điều chỉnh mức độ suy luận, quản lý thời gian lưu bộ nhớ đệm và thay đổi cách các tác nhân AI truy cập công cụ.

Kết quả đáng chú ý là chi phí cho mỗi 1.000 yêu cầu giảm gần 34% so với mức đỉnh. Chi phí mỗi phiên làm việc giảm 52% so với đỉnh tháng 6.

Đây không đơn thuần là câu chuyện tiết kiệm tiền. Nó cho thấy trong cuộc đua AI, doanh nghiệp chiến thắng không nhất thiết là doanh nghiệp sử dụng mô hình mạnh nhất, mà có thể là doanh nghiệp biết cách phân bổ trí tuệ nhân tạo đúng chỗ.

Ngân sách AI của Uber cạn sớm hơn dự kiến

Theo thông tin được công bố, Uber đã sử dụng hết ngân sách AI năm 2026 chỉ trong vài tháng đầu năm. Giám đốc công nghệ Praveen Neppalli Naga từng đề cập vấn đề này trong cuộc trao đổi với The Information hồi tháng 4.

Trong khi đó, nhu cầu sử dụng tác nhân AI tại Uber tăng rất nhanh. Từ tháng 2 đến tháng 8, số yêu cầu tác nhân AI hằng tuần tăng 9,4 lần trên toàn bộ các dịch vụ liên quan.

Điểm đáng chú ý là tổng chi tiêu AI vẫn gần như đi ngang từ tháng 4, dù lượng yêu cầu tiếp tục tăng.

Điều này cho thấy Uber đã tìm cách xử lý nhiều công việc hơn mà không để chi phí tăng tương ứng.

Vấn đề không chỉ xảy ra tại Uber. Khảo sát tháng 10 của VentureBeat với 156 người tham gia đủ điều kiện cho thấy 38% tổ chức từng trì hoãn, thu hẹp hoặc hủy một dự án AI trong vòng một năm vì chi phí cao hơn dự kiến.

AI đang bước qua giai đoạn thử nghiệm hào hứng để tiến vào một giai đoạn khó khăn hơn: phải chứng minh hiệu quả kinh tế.

Bốn thiết lập giúp Uber kiểm soát chi phí

Uber triển khai một lớp công cụ quản lý có tên AIFX, giúp cài đặt, cấu hình và kiểm soát các công cụ lập trình tương tác cho kỹ sư.

Thay vì để mỗi kỹ sư tự chọn mọi thông số, công ty thiết lập mặc định chung và thử nghiệm các cấu hình khác nhau giữa từng nhóm nhân viên.

Có bốn thay đổi chính.

Giới hạn ngữ cảnh ở 400.000 token. Một phiên làm việc càng dài, mô hình càng phải xử lý nhiều nội dung được gửi lại trong những yêu cầu tiếp theo. Uber kích hoạt cơ chế tự động tóm tắt khi đạt 400.000 token, kể cả khi mô hình có khả năng xử lý một triệu token. Phần trao đổi cũ được rút gọn để phiên làm việc tiếp tục mà không phải mang theo toàn bộ lịch sử.

Đặt mức suy luận mặc định ở trung bình. Mức suy luận càng cao, mô hình thường sử dụng càng nhiều token và chi phí càng lớn. Uber nhận thấy một số mô hình mới hoạt động tốt hơn ở mức trung bình, thậm chí có thể suy giảm ở mức cao trong những thử nghiệm mà công ty đề cập. Vì vậy, không phải yêu cầu nào cũng cần mức suy luận tối đa.

Điều chỉnh thời gian lưu bộ nhớ đệm. Tác nhân chính được giữ bộ nhớ đệm trong một giờ, trong khi tác nhân phụ chỉ có năm phút. Nội dung đã lưu có thể được tái sử dụng với chi phí thấp hơn xử lý lại từ đầu. Thời gian lưu khác nhau giúp cân bằng giữa chi phí lưu trữ và khả năng tái sử dụng.

Không nạp mô tả toàn bộ công cụ ngay từ đầu. Uber có hơn 100 công cụ kết nối thông qua giao thức MCP. Nếu nạp trực tiếp mô tả của tất cả công cụ vào ngữ cảnh, chúng có thể chiếm 50.000–70.000 token trước khi kỹ sư nhập yêu cầu đầu tiên. Thay vào đó, tác nhân gọi từng công cụ thông qua các lệnh khi cần thiết.

Mỗi thay đổi có vẻ nhỏ, nhưng khi nhân lên hàng triệu yêu cầu, tác động kinh tế có thể rất lớn.

Không phải cứ thêm ngữ cảnh là AI làm việc tốt hơn

Một trong những sai lầm phổ biến khi triển khai AI là cho rằng mô hình cần càng nhiều dữ liệu càng tốt.

T-Mobile từng thử nạp toàn bộ tài liệu chăm sóc khách hàng vào một tác nhân AI. Kết quả không như kỳ vọng vì tài liệu có thể chứa hướng dẫn mâu thuẫn và nhiều quy trình gần giống nhau. Mô hình dễ chọn nhầm hướng xử lý.

T-Mobile sau đó thử đồ thị tri thức nhưng việc tìm kiếm trong một đồ thị lớn khiến tác nhân mất thời gian, không phù hợp với cuộc gọi trực tiếp cần phản hồi nhanh. Công ty chuyển sang bảng tra cứu đơn giản, giúp định tuyến câu hỏi đến tác nhân chuyên trách.

Adobe lại có nhu cầu khác. Một chiến dịch tiếp thị có thể cần dữ liệu khuyến mại trong ba năm trước đó. Trong ví dụ được nêu, dữ liệu lịch sử cho thấy miễn phí vận chuyển hiệu quả hơn giảm giá 20% với nhóm khách hàng trung thành.

Bài học là lượng thông tin cần thiết phụ thuộc vào công việc. Một cuộc gọi chăm sóc khách hàng cần phản hồi nhanh; một chiến dịch tiếp thị cần dữ liệu lịch sử; một kỹ sư tìm hệ thống dữ liệu nội bộ cần khả năng lần theo nhiều mối quan hệ.

Uber xây bản đồ gần 200 triệu nút và cạnh

Uber không chọn cách nạp toàn bộ dữ liệu nội bộ vào mô hình. Công ty xây dựng một đồ thị ngữ cảnh, chứa thông tin về dịch vụ đang vận hành, người phụ trách, tập dữ liệu, truy vấn lịch sử và các hệ thống liên quan.

Ban đầu, tác nhân chỉ nhận cấu trúc tổng quát của đồ thị. Khi cần, nó tự tìm tài liệu hoặc mã nguồn phù hợp.

Đến ngày 28 tháng 10, đồ thị này có gần 200 triệu nút và cạnh, tăng mạnh so với tổng cộng 104 triệu nút và cạnh được công bố hồi tháng 8.

Một ví dụ cho thấy giá trị của cách làm này. Với cùng mô hình và cùng yêu cầu, tác nhân có đồ thị tìm đúng bảng dữ liệu trong 38 giây. Tác nhân không có đồ thị mất 20 phút 9 giây và kết luận sai rằng không thể truy vấn dữ liệu.

Đây là khác biệt giữa việc đưa cho AI mọi thứ và cung cấp bản đồ để AI biết phải tìm ở đâu.

Uber đo hiệu quả bằng năng suất và chất lượng

Uber không chỉ nhìn vào số lượng yêu cầu AI được xử lý. Công ty theo dõi số tài liệu thiết kế, yêu cầu hợp nhất mã nguồn và lần triển khai phần mềm.

Nhưng năng suất tăng không có ý nghĩa nếu chất lượng giảm. Vì vậy, Uber còn theo dõi số sự cố trên mỗi thay đổi mã nguồn, tỷ lệ hoàn tác, thời gian đánh giá và thời gian hoàn thành công việc.

Với công cụ kiểm tra mã nguồn bằng AI, công ty theo dõi liệu kỹ sư có thực sự hành động theo nhận xét của AI hay không. Mục tiêu là chỉ đưa ra những cảnh báo có giá trị, thay vì khiến kỹ sư phải đọc hàng trăm nhận xét ít hữu ích.

Uber cũng triển khai sửa lỗi tự động theo từng bước. Ban đầu, hệ thống gửi đề xuất sửa lỗi qua Slack để kỹ sư xác nhận. Khi một loại lỗi có tỷ lệ được chấp nhận tốt, công ty mới chuyển sang tự động áp dụng bản sửa vào yêu cầu hợp nhất mã nguồn.

Đó là cách xây dựng niềm tin bằng kết quả thực tế, thay vì trao toàn quyền cho AI ngay từ đầu.

Doanh nghiệp nhỏ Việt Nam nên bắt đầu từ đâu

Đối với doanh nghiệp vừa và nhỏ tại Việt Nam, bài học lớn nhất không phải là xây một hệ thống đồ thị hàng trăm triệu nút như Uber. Đó là học cách kiểm soát chi phí, dữ liệu và phạm vi công việc trước khi mở rộng.

Một doanh nghiệp có vài nhân viên không cần bắt đầu bằng việc tự huấn luyện mô hình AI. Việc đó đòi hỏi dữ liệu, chuyên môn, hạ tầng và ngân sách mà phần lớn doanh nghiệp nhỏ chưa có.

Hướng đi thực tế hơn là sử dụng mô hình thương mại hoặc mô hình mã nguồn mở phù hợp, sau đó xây một lớp quản lý ở phía trên.

Bắt đầu bằng một quy trình có giá trị rõ ràng.

Hãy chọn một công việc đang tiêu tốn thời gian hoặc nhân lực: trả lời câu hỏi khách hàng, phân loại đơn hàng, tra cứu chính sách bán hàng, hỗ trợ nhân viên kinh doanh hoặc tổng hợp báo cáo.

Đừng triển khai AI cho toàn bộ doanh nghiệp ngay lập tức. Hãy chọn một quy trình có dữ liệu tương đối rõ, có thể đo thời gian xử lý và có người chịu trách nhiệm kiểm tra.

Ví dụ, một cửa hàng trực tuyến có thể bắt đầu bằng tác nhân trả lời câu hỏi về phí giao hàng, đổi trả và tình trạng đơn hàng. Khi hệ thống ổn định, mới mở rộng sang tư vấn sản phẩm hoặc hỗ trợ bán hàng.

Chọn kiến trúc ngữ cảnh theo từng loại công việc.

Nếu câu hỏi thường lặp lại và quy trình ít thay đổi, hãy dùng bảng tra cứu để phân loại ý định và chuyển yêu cầu đến tác nhân phù hợp.

Nếu câu trả lời phụ thuộc vào tài liệu thường xuyên cập nhật, hãy dùng cơ chế tìm kiếm và truy xuất tài liệu. Không cần nạp toàn bộ kho dữ liệu vào mỗi phiên làm việc.

Nếu doanh nghiệp có nhiều hệ thống và mối quan hệ phức tạp giữa khách hàng, sản phẩm, đơn hàng, nhân viên và dữ liệu, lúc đó mới cân nhắc đồ thị tri thức.

Đừng mua công nghệ phức tạp chỉ vì đối thủ đang nói về nó.

Chia công việc thành những tác nhân nhỏ.

Một tác nhân chuyên xử lý đổi trả, một tác nhân tra cứu đơn hàng, một tác nhân tư vấn sản phẩm sẽ dễ kiểm soát hơn một tác nhân phải hiểu toàn bộ hoạt động doanh nghiệp.

Tác nhân điều phối nhận biết khách hàng đang cần gì rồi chuyển đến đúng bộ phận AI. Mỗi tác nhân chỉ nhận dữ liệu cần thiết để hoàn thành nhiệm vụ.

Cách này giúp giảm thông tin nhiễu, hạn chế nhầm lẫn và dễ tìm nguyên nhân khi xảy ra lỗi.

Đặt giới hạn chi phí ngay từ đầu.

Doanh nghiệp cần quy định lượng thông tin tối đa cho mỗi yêu cầu, thời gian lưu bộ nhớ đệm, mức suy luận mặc định và những trường hợp được phép dùng mô hình đắt tiền.

Công việc đơn giản không cần mô hình mạnh nhất. Một mô hình nhỏ có thể phân loại câu hỏi, trong khi mô hình lớn chỉ được gọi khi gặp tình huống phức tạp.

Đây là cách tránh tình trạng nhân viên sử dụng AI tùy ý, khiến hóa đơn tăng nhưng doanh nghiệp không biết tiền đã được dùng vào đâu.

Không giao quyền hành động quan trọng ngay lập tức.

AI có thể tra cứu thông tin, soạn phản hồi hoặc đề xuất thao tác. Nhưng trước khi hoàn tất thanh toán, thay đổi tài khoản, xác nhận đơn hàng hay thực hiện giao dịch quan trọng, hệ thống nên yêu cầu con người hoặc khách hàng xác nhận.

Hãy bắt đầu bằng quyền hạn nhỏ. Chỉ tự động hóa những hành động đã có kết quả ổn định và có thể khôi phục nếu xảy ra lỗi.

Đo hiệu quả bằng tiền và kết quả vận hành.

Khảo sát VentureBeat cho thấy trong 156 người tham gia, chỉ 26% tổ chức đánh giá hiệu quả đầu tư AI bằng lợi ích tài chính có thể giải trình với bộ phận tài chính. Có 44% dựa vào kết quả vận hành như thời gian tiết kiệm hoặc khối lượng công việc xử lý.

Doanh nghiệp Việt không nên chỉ đo số câu trả lời AI tạo ra. Hãy theo dõi tỷ lệ trả lời đúng, thời gian xử lý, chi phí mỗi yêu cầu, tỷ lệ chuyển cho nhân viên, số trường hợp phải sửa và số khiếu nại phát sinh.

Nếu AI giúp xử lý nhiều việc hơn nhưng tỷ lệ sai tăng, doanh nghiệp chưa chắc đã tiết kiệm được tiền.

Giữ quyền lựa chọn giữa công nghệ Mỹ và Trung Quốc.

Cuộc cạnh tranh AI giữa Hoa Kỳ và Trung Quốc sẽ tiếp tục tạo ra nhiều lựa chọn về mô hình, giá cả và hạ tầng. Doanh nghiệp Việt không cần đặt cược toàn bộ hoạt động vào một nhà cung cấp.

Có thể dùng một mô hình cho chăm sóc khách hàng, mô hình khác cho phân tích dữ liệu và một mô hình nhỏ hơn cho phân loại yêu cầu. Dữ liệu nhạy cảm cần được quản lý theo quy định pháp luật và chính sách bảo mật của doanh nghiệp.

Điều quan trọng là thiết kế hệ thống sao cho có thể thay mô hình mà không phải xây dựng lại toàn bộ quy trình.

Lợi thế của doanh nghiệp Việt không nằm ở việc tự phát triển mô hình lớn hơn các tập đoàn Mỹ hay Trung Quốc. Lợi thế nằm ở hiểu khách hàng trong nước, hiểu ngôn ngữ và tập quán giao dịch, nắm quy trình thực tế và phản ứng nhanh với nhu cầu thị trường.

Một doanh nghiệp nhỏ hiểu rõ khách hàng của mình có thể tạo ra trải nghiệm tốt hơn một hệ thống AI đắt tiền nhưng không hiểu nghiệp vụ.

Cuộc đua AI bước sang giai đoạn tối ưu hóa

Uber không chứng minh rằng mọi doanh nghiệp đều cần giới hạn ngữ cảnh ở 400.000 token, dùng mức suy luận trung bình hay xây dựng đồ thị tri thức khổng lồ.

Điều công ty cho thấy là AI phải được quản trị như một hệ thống sản xuất, không phải một món đồ chơi công nghệ. Mỗi yêu cầu đều có chi phí. Mỗi dữ liệu được đưa vào đều có thể ảnh hưởng đến chất lượng. Mỗi quyền tự động hóa đều cần giới hạn và cơ chế kiểm tra.

Trong giai đoạn đầu, doanh nghiệp thường hỏi mô hình nào thông minh nhất. Trong giai đoạn tiếp theo, câu hỏi quan trọng hơn sẽ là mô hình nào hoàn thành công việc với chi phí thấp nhất mà vẫn bảo đảm chất lượng.

Đối với doanh nghiệp Việt Nam, cơ hội không nằm ở việc chạy đua mua công nghệ đắt nhất. Cơ hội nằm ở việc giải quyết một vấn đề cụ thể tốt hơn, nhanh hơn và tiết kiệm hơn nhờ AI.

AI tìm dữ liệu trong 38 giây thay vì mất hơn 20 phút nhờ đồ thị tri thức Uber

Uber AI, chi phí AI, ngân sách AI, tác nhân AI, tối ưu AI, ngữ cảnh AI, mô hình ngôn ngữ, bộ nhớ đệm, đồ thị tri thức, lập trình AI, tự động hóa doanh nghiệp, AI doanh nghiệp, doanh nghiệp Việt Nam, cạnh tranh AI