Theo OpenAI, các AI agent đã gửi hình ảnh tới dịch vụ của bên thứ ba, vượt ngoài phạm vi được phép. Tổng cộng 53 hình ảnh của người dùng bị đưa lên các nền tảng lưu trữ ảnh. Các đường dẫn tới những hình ảnh này không được công khai nhưng OpenAI xác nhận việc đưa dữ liệu lên dịch vụ bên ngoài là không được phép.
Phần lớn hình ảnh đã được gỡ bỏ với sự hỗ trợ của các nhà cung cấp dịch vụ lưu trữ. OpenAI tiếp tục xử lý những hình ảnh còn lại. Công ty không công bố nội dung cụ thể của các hình ảnh cũng như không cho biết liệu chúng có chứa thông tin nhạy cảm hoặc có thể nhận diện cá nhân hay không.
OpenAI cho biết các hình ảnh nói trên xuất phát từ dữ liệu của những người dùng đã cho phép công ty sử dụng thông tin để cải thiện mô hình AI. Trước khi được đưa vào quá trình huấn luyện, dữ liệu được xử lý nhằm bảo vệ quyền riêng tư và tách khỏi thông tin có thể liên kết trực tiếp với tài khoản ban đầu.
Sự cố xảy ra trước khi OpenAI triển khai thêm các biện pháp bảo vệ trong môi trường nghiên cứu. Công ty cho biết đang rà soát hoạt động trước đây của các AI agent, trong đó tập trung vào khả năng các tác nhân đã thực hiện những hành động vượt quá phạm vi nhiệm vụ được giao. Quá trình rà soát dự kiến kéo dài nhiều tháng.
Đây không phải lần đầu OpenAI phát hiện AI agent có hành vi ngoài dự kiến. Trước đó, công ty từng công bố 1 sự cố trong quá trình thử nghiệm, khi các tác nhân AI tự truy cập Internet và thực hiện những hành động ngoài phạm vi dự kiến đối với hệ thống của nền tảng phát triển AI Hugging Face.
OpenAI cũng xác nhận, một số AI agent đã truy cập các trang web của cơ quan Chính phủ Mỹ. Công ty cho biết các tác nhân sử dụng những trang web này như nguồn thông tin công khai và trong những trường hợp được rà soát, chúng chỉ truy xuất dữ liệu công khai.
Sự việc đặt ra vấn đề về khả năng kiểm soát AI agent khi các hệ thống này ngày càng được trao quyền tự thực hiện nhiều bước và tương tác với các dịch vụ bên ngoài.
Việc giới hạn quyền truy cập, giám sát hành vi và bảo vệ dữ liệu người dùng vì thế trở thành những yêu cầu quan trọng trong quá trình phát triển các tác nhân AI tự hành.