Đây là một giới hạn mà mọi công cụ đo GEO, kể cả GeoUp, cần nói thẳng ra: kết quả khi hỏi qua API không hoàn toàn giống kết quả người dùng thật nhận được trên web hoặc app.
Chênh lệch đến từ đâu
1. Cấu hình khác nhau. Ứng dụng ChatGPT hay Gemini có lời nhắc hệ thống riêng, cách bật tìm kiếm web riêng, các bước xử lý riêng. API trả về mô hình ở dạng "trần" hơn.
2. Cá nhân hoá và ngữ cảnh. Trên app, câu trả lời có thể chịu ảnh hưởng bởi lịch sử trò chuyện, bộ nhớ, vị trí hay tuỳ chọn của người dùng. Gọi API không có những yếu tố này.
3. Tìm kiếm web. Việc AI có tìm trên web hay không, và tìm thế nào, ảnh hưởng mạnh tới việc thương hiệu có được nhắc. Cách bật tính năng này qua API và trên app có thể khác nhau.
4. Tính ngẫu nhiên. Ngay cả khi mọi thứ giống hệt, hỏi lại cùng một câu vẫn có thể ra câu trả lời khác. Khả năng truy xuất một thông tin cụ thể giữa các lần hỏi cũng dao động.
Chúng tôi từng nhận phản hồi từ một người làm nghiên cứu, đo trên hàng chục nghìn câu hỏi, cho thấy độ lệch này là có thật, nên đừng xem nó là chuyện nhỏ.
Vậy số liệu đo qua API có dùng được không
Có, nếu dùng đúng cách. Giá trị của nó nằm ở so sánh tương đối, không phải ở con số tuyệt đối:
- Trước và sau khi bạn thay đổi nội dung hay cách trình bày thông tin.
- Bạn so với đối thủ trong cùng điều kiện đo.
- Xu hướng theo thời gian, thay vì một điểm dữ liệu.
Nó không phải lời hứa rằng "30% người dùng ChatGPT sẽ thấy tên bạn".
Cách giảm sai lệch
- Lấy mẫu nhiều lần cho mỗi câu hỏi rồi báo theo tỷ lệ, không báo theo "có" hay "không".
- Bật tìm kiếm web khi có thể để gần với hành vi của chatbot hiện đại hơn.
- Giữ điều kiện đo ổn định giữa các lần.
- Theo dõi theo lịch để nhìn ra xu hướng.
- Đối chiếu bằng tay: thỉnh thoảng tự hỏi trên app cho vài câu quan trọng và so với số liệu.
Cách chúng tôi nói về số liệu
GeoUp lấy mẫu nhiều lần, hiển thị tỷ lệ và xu hướng, và mô tả đây là phép đo gần đúng để so sánh. Nếu bạn có số liệu nghiên cứu riêng về độ lệch giữa API và web, chúng tôi rất muốn đọc để cải thiện phương pháp.