#274 - Hiện tượng “AI brain fry"
Trong kỳ này, chúng ta hãy cùng nhau xem qua vài vấn đề kỹ thuật mà OpenAI và Anthropic đã giải quyết như thế nào. Đồng thời, một bài viết của Harvard Business Review nói về hiện tượng “AI brain fry” khi mà các nhân viên trong công ty phải quản lý và kiểm tra những gì mà các công cụ AI viết ra liên tục.
Đã vài năm khi mà AI trend trở thành một hiện tượng thay đổi cách nhiều công ty hoạt động, vậy bạn thấy thế nào về trend này và cách bài viết của Harvard Business Review đánh giá về hiện tượng “AI brain fry”?
— CuriousTien —
Scaling PostgreSQL to power 800 million ChatGPT users
Bài viết mô tả cách OpenAI đã mở rộng hệ thống PostgreSQL để phục vụ hơn 800 triệu người dùng ChatGPT. Trong vòng một năm, lưu lượng trên PostgreSQL của OpenAI đã tăng hơn 10 lần, nhưng OpenAI vẫn duy trì kiến trúc “single-primary” kết hợp với gần 50 read replica trên nhiều khu vực. Họ phát hiện rằng PostgreSQL có thể mở rộng mạnh hơn nhiều so với suy nghĩ phổ biến về độ scalability của PostgreSQL, đặc biệt với workload thiên về đọc. Tuy nhiên, họ cũng gặp nhiều sự cố do spike traffic, cache miss hàng loạt, retry storm và các truy vấn join phức tạp khiến CPU bị quá tải.
Để giải quyết những vấn đề này, OpenAI tập trung giảm tải tối đa cho primary database. Các workload ghi nhiều và có thể shard được sẽ chuyển sang các hệ thống phân tán như Azure Cosmos DB, trong khi PostgreSQL chủ yếu xử lý workload đọc. Họ tập trung tối ưu query, tránh các multi-table join phức tạp do ORM sinh ra, giới hạn backfill write rate, sử dụng cache locking để tránh “cache stampede”, và tách workload ưu tiên cao/thấp sang các instance riêng nhằm tránh hiện tượng “noisy neighbor”. Ngoài ra, họ còn dùng nhiều read replica để phân phối truy vấn đọc và giữ replication lag gần như bằng 0.
Kết quả là OpenAI đã đáp ứng được hàng triệu queries mỗi giây với độ trễ p99 chỉ ở mức vài chục milliseconds và độ sẵn sàng “five nines” (99.999%). Bài viết cũng nhấn mạnh rằng thành công này không có nghĩa là PostgreSQL phù hợp cho mọi workload; các workload thiên về ghi vẫn phải được chuyển sang hệ thống shard/distributed database khác. Thông điệp chính của OpenAI là: với engineering discipline tốt, query tối ưu, caching đúng cách và workload phù hợp, PostgreSQL vẫn có thể scale cực lớn mà chưa cần sharding ngay từ đầu.
Scaling Managed Agents: Decoupling the brain from the hands
Bài viết nói về cách Anthropic xây dựng hệ thống “Managed Agents” để chạy các AI agent dài hạn và có khả năng tự phục hồi. Ban đầu, Anthropic đặt toàn bộ agent — gồm model Claude, harness điều phối và sandbox thực thi — trong cùng một container. Cách làm này đơn giản nhưng dẫn đến nhiều vấn đề: nếu container crash thì mất toàn bộ session, rất khó debug, và việc kết nối tới hạ tầng riêng của khách hàng (như VPC) trở nên phức tạp. Họ nhận ra rằng các “harness” chứa quá nhiều giả định về giới hạn của model, nhưng những giả định này nhanh chóng lỗi thời khi Claude ngày càng thông minh hơn.
Để giải quyết vấn đề, Anthropic tách hệ thống thành ba phần độc lập: “brain” (Claude + harness), “hands” (sandbox và tool execution), và “session” (event log lưu trạng thái). Harness không còn chạy trong container nữa mà giao tiếp với sandbox thông qua interface kiểu execute(name, input) -> string. Nhờ vậy, nếu sandbox chết thì agent chỉ xem đó như lỗi tool call và có thể tự retry bằng container mới. Session log cũng được lưu riêng nên nếu harness crash thì có thể khởi động lại và resume từ trạng thái cũ. Kiến trúc này còn giúp tăng bảo mật vì token và credential không bao giờ xuất hiện trong sandbox nơi Claude chạy code sinh ra, giảm nguy cơ prompt injection đánh cắp quyền truy cập.
Một điểm quan trọng khác là Anthropic coi session không phải là context window của model mà là “bộ nhớ ngoài” bền vững. Agent có thể đọc lại các event cũ theo nhu cầu thay vì cố nhét toàn bộ lịch sử vào context window. Kiến trúc “many brains, many hands” cũng cho phép nhiều agent phối hợp với nhiều sandbox/tool khác nhau mà không phụ thuộc vào một container duy nhất. Điều này giúp giảm mạnh time-to-first-token (p50 giảm ~60%, p95 giảm hơn 90%) và mở đường cho các hệ thống multi-agent quy mô lớn trong tương lai. Thông điệp chính của bài viết là: thay vì tối ưu cho model hiện tại, Anthropic thiết kế interface đủ tổng quát để thích nghi với các agent và harness chưa tồn tại trong tương lai, tương tự cách operating system trừu tượng hóa phần cứng trong nhiều thập kỷ.
When Using AI Leads to “Brain Fry”
Bài viết này của Harvard Business Review nói về hiện tượng “AI brain fry” — trạng thái mệt mỏi nhận thức do sử dụng hoặc giám sát quá nhiều công cụ AI vượt quá khả năng xử lý của con người. Nghiên cứu của Boston Consulting Group và các nhà nghiên cứu tại University of California, Riverside khảo sát gần 1.500 nhân viên Mỹ cho thấy nhiều người cảm thấy “não bị ù”, mất tập trung, đau đầu và ra quyết định chậm hơn khi phải quản lý nhiều AI agent cùng lúc. Ví dụ như nền tảng “Gas Town” cho phép điều phối hàng loạt Claude agents đã khiến nhiều lập trình viên cảm thấy bị quá tải dù năng suất tăng mạnh.
Bài viết nhấn mạnh rằng vấn đề không nằm ở bản thân AI mà ở “AI oversight” — tức con người phải liên tục theo dõi, kiểm tra và đánh giá output của AI. Đây là loại công việc tiêu tốn nhận thức rất mạnh vì yêu cầu attention switching, working memory và decision-making liên tục. Nghiên cứu cho thấy khi số lượng công cụ AI tăng từ 1–2 thì productivity tăng, nhưng sau khoảng 3 công cụ thì hiệu quả bắt đầu giảm do cognitive overload. Những ngành bị ảnh hưởng mạnh nhất gồm marketing, HR, operations và software engineering — nơi nhân viên thường phải quản lý nhiều workflow AI song song. Các triệu chứng này cũng liên quan đến tăng lỗi công việc, decision fatigue và ý định nghỉ việc cao hơn.
Tuy vậy, bài viết không kết luận rằng AI là xấu. Ngược lại, tác giả cho rằng AI vẫn có thể giảm burnout nếu được tích hợp đúng cách: giới hạn số lượng agent mà một người phải giám sát, tránh dùng “AI usage” hay token consumption làm KPI, và thiết kế workflow để AI thực sự giảm công việc lặp lại thay vì tạo thêm lớp quản lý mới. Một ý quan trọng mà nhiều công ty đang hiểu sai rằng “AI làm nhanh hơn” nghĩa là nhân viên có thể nhận thêm vô hạn workload, trong khi phần giám sát AI cũng tiêu tốn năng lượng tinh thần rất lớn. Thông điệp chính của bài viết là: AI không chỉ thay đổi cách làm việc mà còn thay đổi tải nhận thức của con người, nên doanh nghiệp cần tối ưu cho cognitive sustainability chứ không chỉ productivity thuần túy.