Thông tin được hãng truyền thông độc lập chuyên về báo chí công nghệ của Mỹ 404 Media công bố sau khi tiếp cận các tài liệu nội bộ, hướng dẫn dành cho người đánh giá, nội dung trao đổi của nhóm dự án và các cuộc hội thoại thực tế.
Theo đó, những người tham gia sẽ đọc yêu cầu của người dùng, xác định mục đích của yêu cầu, sau đó đánh giá và nhận xét các câu trả lời do ChatGPT tạo ra.
Các câu trả lời được chấm theo thang điểm từ 1 đến 7. Người đánh giá phải chỉ ra những điểm phù hợp hoặc chưa phù hợp trong từng câu trả lời, qua đó cung cấp dữ liệu phục vụ quá trình điều chỉnh mô hình.
Một số tiêu chí được đặt ra nhằm hạn chế những biểu hiện mà OpenAI cho là làm giảm chất lượng tương tác, như văn phong mang tính máy móc, sử dụng biểu tượng cảm xúc không phù hợp, tâng bốc người dùng quá mức hoặc khiến ChatGPT thể hiện như một con người có trải nghiệm và cảm xúc riêng.
Theo 404 Media, một người tham gia dự án tại Bắc Mỹ cho biết công việc được trả hơn 50 USD/giờ. Người này mô tả công việc khá lặp lại, trong khi các hướng dẫn đánh giá được cập nhật thường xuyên và đôi khi có những yêu cầu khó thống nhất.
Vấn đề đáng chú ý là những nội dung được đưa cho người đánh giá có thể vẫn chứa thông tin cá nhân. OpenAI cho biết các cuộc trò chuyện được xử lý qua một hệ thống lọc nhằm phát hiện và loại bỏ thông tin nhận dạng trước khi chuyển tới người đánh giá.
OpenAI cho biết người dùng các gói ChatGPT dành cho cá nhân có thể tắt tùy chọn cho phép sử dụng cuộc trò chuyện để cải thiện mô hình AI.
Theo thông tin được công ty cung cấp cho 404 Media, tùy chọn này được bật mặc định đối với các gói Free, Plus và Pro; người dùng cần chủ động tắt nếu không muốn các cuộc trò chuyện mới được sử dụng cho mục đích này. Với các gói Enterprise, Business và Edu, tùy chọn được tắt mặc định.
Việc con người xem xét các cuộc trò chuyện để cải tiến AI không chỉ được áp dụng tại OpenAI. Google cho biết một số cuộc trò chuyện đã lưu trên Gemini có thể được con người xem xét nhằm cải thiện các dịch vụ AI.
Anthropic cũng xác nhận với 404 Media rằng họ sử dụng đánh giá của con người để cải thiện các mô hình Claude, trong đó áp dụng với người dùng đã cho phép sử dụng dữ liệu cho mục đích này.