In this article (9 sections)
> Trả lời nhanh: THỬ là bước 3 của DMAIC Lite. Trước khi chạy, anh chị viết phiếu thử nghiệm gồm giả thuyết, chỉ số quyết định, chỉ số bảo vệ, tiêu chí thắng và ngày dừng. Sau đó chia khách thành nhóm giữ nguyên và nhóm thay đổi, giữ mọi thứ khác cố định, và đọc kết quả vào đúng ngày dừng. A/B test cho doanh nghiệp nhỏ không nhất thiết cần công cụ đắt tiền: có thể chia khách theo ngày, theo tuần hoặc theo chi nhánh.
Bài này đi sâu vào bước 3 trong DMAIC Lite – Tối ưu phễu marketing cho SME trong 4 bước. Đầu vào là một giả thuyết đã chọn ở bước TÌM.
Cách làm phổ biến là "đổi rồi xem tháng sau doanh số thế nào". Khó ở chỗ tháng sau có nhiều thứ thay đổi cùng lúc: mùa vụ, ngân sách quảng cáo, đối thủ, thời tiết. Doanh số tăng chưa chắc nhờ thay đổi của anh chị, doanh số giảm chưa chắc vì nó. Nhóm đối chứng giúp tách tác động của thay đổi khỏi những thứ còn lại.
Viết phiếu thử nghiệm trước khi chạy
Phiếu thử nghiệm được viết và chốt trước ngày bắt đầu. Sau khi chạy, không sửa dòng nào.
| Mục | Ví dụ |
|---|---|
| Giả thuyết | Nếu có người trực Zalo 9h–12h, tỷ lệ khách nhắn tin đặt lịch sẽ tăng, vì nhiều cuộc chat bị bỏ dở khi chờ lâu |
| Chỉ số quyết định | Tỷ lệ khách nhắn Zalo (mọi kênh) đặt được lịch |
| Mốc và mục tiêu (từ phiếu SOI) | Mốc 40%, mục tiêu của vòng khoảng 50% |
| Tiêu chí thắng | Nhóm thay đổi cao hơn nhóm giữ nguyên từ 8 điểm phần trăm trở lên |
| Chỉ số bảo vệ | Tỷ lệ đến hẹn của nhóm thay đổi không thấp hơn 75%, đọc sau khi lịch hẹn cuối cùng của kỳ thử đã qua |
| Cách chia nhóm | Ngày chẵn có người trực, ngày lẻ giữ cách cũ. Khách được gán theo ngày nhắn tin đầu tiên |
| Quy tắc loại dữ liệu | Ngày nghỉ lễ hoặc ngày hệ thống lỗi bị loại ở cả hai nhóm |
| Ngày bắt đầu, ngày dừng | Chạy đủ 4 tuần, đọc kết quả vào ngày dừng |
| Người phụ trách | Một người theo dõi số và giữ phiếu |
Tiêu chí thắng so với nhóm giữ nguyên chứ không so với mốc cũ. Nếu mùa vụ đẩy cả hai nhóm cùng tăng, so với mốc cũ sẽ tưởng là thắng trong khi thay đổi chưa chắc có tác dụng.
"Điểm phần trăm" là khoảng cách giữa hai tỷ lệ, ví dụ từ 40% lên 48% là tăng 8 điểm phần trăm. Một thay đổi tốn công sức mà chỉ nhích một, hai điểm phần trăm thường không đáng nhân rộng, và với ít khách cũng khó phân biệt với dao động ngẫu nhiên.
A/B test cho doanh nghiệp nhỏ: chia nhóm khi ít khách
Công cụ A/B test trên website (chia khách ngẫu nhiên xem hai phiên bản rồi so kết quả) cần lượng truy cập lớn. Nhiều SME chưa có lượng đó, nhưng vẫn có cách chia nhóm phù hợp:
| Cách chia | Phù hợp khi | Điểm cần chú ý |
|---|---|---|
| Công cụ A/B test trên website | Website có lượng truy cập và chuyển đổi đều đặn mỗi ngày | Chia ngẫu nhiên, thường là cách sạch nhất |
| Xen kẽ theo ngày (chẵn/lẻ) | Thay đổi về quy trình: trực Zalo, kịch bản gọi, cách báo giá | Mỗi nhóm nên có đủ các thứ trong tuần. Tháng 31 ngày có hai ngày lẻ liền nhau, có thể bốc thăm theo từng cặp ngày |
| Xen kẽ theo tuần | Thay đổi khó bật tắt trong ngày | Cần chạy lâu hơn, tránh tuần có lễ |
| Theo chi nhánh hoặc khu vực | Có từ hai điểm bán tương tự nhau | Hai nơi nên giống nhau về quy mô và tệp khách |
| Theo kênh | Muốn thử trên một kênh, giữ nguyên kênh khác | So mức thay đổi của kênh thử với mức thay đổi của kênh giữ nguyên trong cùng kỳ |
| Trước và sau | Không thể chia nhóm | Yếu nhất, chỉ dùng khi không còn cách khác và ghi rõ mọi thay đổi bên ngoài |
Nguyên tắc chung: hai nhóm nên giống nhau ở mọi điểm, trừ đúng một thay đổi đang thử. Với cách chia theo ngày, tin nhắn tồn từ ngày lẻ vẫn xử lý theo cách cũ, để nhóm giữ nguyên không được "hưởng" người trực.
Chạy bao lâu là đủ?
Không có con số đúng cho mọi doanh nghiệp, nhưng có vài quy ước thực dụng:
- Chạy trọn tuần. Hành vi khách thứ Hai thường khác Chủ nhật. Nên chạy ít nhất hai tuần trọn vẹn để mỗi nhóm có đủ các ngày.
- Tính ngược từ lượng khách. Nếu mỗi tuần có khoảng 15 khách nhắn Zalo, chia hai nhóm thì mỗi nhóm khoảng 7 người mỗi tuần. Muốn mỗi nhóm có vài chục khách nhắn tin, cần chạy khoảng 4 đến 6 tuần.
- Biết trước giới hạn của mẫu nhỏ. Với vài chục khách mỗi nhóm, thường chỉ chênh lệch rất lớn (khoảng 25 điểm phần trăm trở lên) mới tách được rõ khỏi ngẫu nhiên. Muốn đọc chắc một chênh lệch 10 điểm thường cần vài trăm khách mỗi nhóm.
Vì vậy, với SME, nên ưu tiên thử những thay đổi có thể tạo khác biệt lớn, và coi kết quả chênh lệch nhỏ là bằng chứng định hướng, chưa phải kết luận. Đây cũng là lý do một vòng DMAIC Lite thường kéo dài 4 đến 6 tuần. Doanh nghiệp nhiều khách hơn có thể chạy ngắn hơn.
Giữ mọi thứ khác cố định
Trong thời gian thử, những thứ sau nên giữ nguyên, hoặc được ghi lại nếu buộc phải đổi:
- Ngân sách và nội dung quảng cáo
- Giá, chương trình khuyến mãi
- Nhân sự phụ trách tầng đang thử
- Giao diện các trang không liên quan đến thử nghiệm
Ghi một nhật ký ngắn: ngày nào có sự kiện bất thường (nghỉ lễ, website lỗi, nhân viên nghỉ, đối thủ giảm giá). Khi đọc kết quả, nhật ký này giúp phân biệt tác động thật với sự cố.
Không nhìn trộm rồi dừng sớm
Một lỗi hay gặp: xem số mỗi ngày, thấy nhóm thay đổi đang thắng thì dừng sớm và tuyên bố thành công. Trong vài ngày đầu, chênh lệch giữa hai nhóm thường dao động mạnh. Dừng đúng lúc chênh lệch đang đẹp thì kết quả thường bị phóng đại.
Có thể theo dõi hằng ngày để phát hiện lỗi (form hỏng, nhóm đối chứng bị áp dụng sai), nhưng chỉ đọc kết luận vào ngày dừng đã ghi trên phiếu. Ngoại lệ là khi chỉ số bảo vệ xấu đi rõ rệt, lúc đó nên dừng để bảo vệ doanh nghiệp.
Ví dụ một vòng THỬ (giả định)
Một phòng khám thử giả thuyết "có người trực Zalo 9h–12h". Ngày chẵn có người trực, ngày lẻ giữ cách cũ, chạy 4 tuần. Nhật ký ghi một ngày form website bị lỗi. Đội kiểm tra và thấy lượng khách nhắn Zalo hôm đó không tăng bất thường, nên giữ ngày này trong dữ liệu.
| Nhóm | Khách nhắn Zalo | Đặt lịch | Tỷ lệ | Đến hẹn |
|---|---|---|---|---|
| Giữ nguyên (ngày lẻ) | 31 | 12 | 39% | 9 trên 12 |
| Có người trực (ngày chẵn) | 29 | 15 | 52% | 12 trên 15 |
Nhóm thay đổi cao hơn khoảng 13 điểm phần trăm, vượt mức 8 điểm đã đặt, và chỉ số bảo vệ vẫn ở mức 80%. Nhưng với khoảng 30 khách mỗi nhóm, chênh lệch này vẫn có thể do ngẫu nhiên, và chỉ một khách không đến hẹn cũng làm tỷ lệ đến hẹn lệch khoảng 7 điểm. Kết quả này là bằng chứng định hướng, chưa phải bằng chứng chắc chắn. Cách xử lý tuỳ chi phí và khả năng đảo ngược của thay đổi, được bàn ở bước NHÂN hoặc BỎ.
Sai lầm thường gặp ở bước THỬ
| Sai lầm | Hậu quả |
|---|---|
| Không có nhóm đối chứng | Khó tách tác động của thay đổi khỏi mùa vụ, ngân sách |
| Sửa tiêu chí thắng khi đang chạy | Kết quả không còn phản ánh đúng thử nghiệm |
| Đổi thêm thứ khác giữa chừng | Khó biết khác biệt đến từ đâu |
| Dừng sớm khi thấy số đẹp | Dễ phóng đại tác động, nhân rộng thứ chưa hiệu quả |
| Chỉ đo chỉ số quyết định | Có thể thắng ở tầng này nhưng làm hỏng tầng sau |
Sau THỬ là gì?
Đến ngày dừng, anh chị chuyển sang bước NHÂN hoặc BỎ: quyết định sau thử nghiệm và ghi thành quy trình.
Câu hỏi thường gặp
Doanh nghiệp chỉ có vài khách mỗi tuần có nên thử nghiệm không?
Có thể, nhưng nên chọn những thay đổi có khả năng tạo khác biệt lớn và chấp nhận chạy lâu hơn. Với lượng khách rất nhỏ, ưu tiên thử ở tầng gần tiền nhất, nơi mỗi khách có giá trị cao, và đọc kết quả kèm tin nhắn của khách chứ không chỉ con số.
Thử nghiệm trên quảng cáo có cần nhóm đối chứng không?
Nên có. Các nền tảng quảng cáo lớn như Meta hay Google Ads thường có tính năng thử nghiệm chia ngân sách giữa hai phiên bản. Khi so hai mẫu quảng cáo, nên đo đến tầng liên hệ hoặc mua hàng, không chỉ dừng ở lượt bấm.
Kết quả hai nhóm gần như bằng nhau thì sao?
Đó vẫn là một kết quả: ở quy mô này, thay đổi chưa tạo ra khác biệt đủ lớn để thấy. Bước NHÂN hoặc BỎ giúp anh chị quyết định thử lại hay chuyển sang giả thuyết khác.
