"Hãy làm cho hấp dẫn và đúng thương hiệu" nghe thật rõ ràng trong một cuộc họp nhưng không cung cấp cho máy móc bất kỳ điều gì ổn định để xác minh. Trước khi cung cấp một bản tóm tắt cho đại diện video Pippit, hãy chuyển đổi mỗi kỳ vọng thành một kết quả có thể quan sát được, một nguồn sự thật và một phản hồi khi việc kiểm tra thất bại. Mục tiêu không phải là loại bỏ sự phán xét. Mục tiêu là ngăn chặn các lỗi đơn giản đến tay những người mà thời gian của họ cần thiết cho những quyết định khó hơn.
Điều gì làm cho một Tiêu chí Thành công có thể kiểm tra được?
Một tiêu chí có thể kiểm tra mô tả điều gì đó có thể được quan sát trong video xuất ra hoặc bản ghi dự án của nó. Nó gọi tên mục, điều kiện được phép, bằng chứng và hành động. Tên sản phẩm khớp với hồ sơ được phê duyệt là có thể kiểm tra được. Sản phẩm mang cảm giác cao cấp chỉ khi đội ngũ xác định các dấu hiệu quan trọng.
Sử dụng một tiêu chí cho một quyết định. Một câu kết hợp logo, chú thích, màu sắc sản phẩm, hỗ trợ tuyên bố và nhịp độ không thể giải thích vì sao một video thất bại. Tách biệt các sự thật có thể cản trở việc phát hành khỏi các phẩm chất mà người đánh giá có thể chấm điểm trên một thang điểm.
Theo NIST, đo lường và đánh giá AI đáng tin cậy phụ thuộc vào các số liệu và phương pháp có ý nghĩa phù hợp với bối cảnh sử dụng. Một đại diện video do đó cần các tiêu chí được xây dựng cho đối tượng thực tế, kênh, tài sản và mức độ gây hại, chứ không phải một con số chất lượng chung chung.
Làm thế nào để bạn viết một hợp đồng tiêu chuẩn?
Viết sáu lĩnh vực: mục tiêu, nguồn gốc thông tin, phương pháp kiểm tra, quy tắc đạt, hành động khi thất bại và người phụ trách. Mục tiêu xác định điều được kiểm tra. Nguồn gốc thông tin nêu rõ hồ sơ được phê duyệt. Phương pháp kiểm tra giải thích cách mà nhân viên video hoặc người đánh giá kiểm tra. Các lĩnh vực cuối cùng làm cho kết quả có thể hành động được.
Ví dụ: mục tiêu được liệt kê là giá bán; nguồn là phiên bản bảng chiến dịch số 12; phương pháp so sánh giá nhìn thấy và giá nói; đạt yêu cầu là phải khớp chính xác; thất bại sẽ chặn xuất dữ liệu; người sở hữu là hoạt động chiến dịch. Một thay đổi giá trong tương lai giờ đây chỉ cần cập nhật một nơi và chạy lại một bài kiểm tra.
Thêm phạm vi. Một tiêu chí có thể chỉ áp dụng cho khung hình đầu tiên, tất cả các cảnh được nói, một thị trường cụ thể hoặc video có chứa lời chứng thực. Không có phạm vi, trình kiểm tra có thể đánh dấu sự vắng mặt vô hại hoặc bỏ sót một vấn đề xuất hiện ngoài thời điểm dự kiến.
Đặt tên cho đối tượng hoặc hành vi cụ thể đang được kiểm tra.
Chỉ vào một nguồn sự thật hiện tại.
Mô tả một phương pháp kiểm tra có thể lặp lại.
Đặt ranh giới đạt yêu cầu và mọi độ sai lệch.
Chọn đạt yêu cầu, xem xét lại, hoặc dừng làm kết quả.
Gán người có thể giải quyết bất đồng.
Những kiểm tra nào cần ba kết quả?
Quy tắc nhị phân hoạt động cho các sự thật chính xác: URL sai, thiếu tiết lộ, loại tệp không được hỗ trợ, hoặc không khớp ID sản phẩm. Kiểm tra sáng tạo và nhận thức thường cần các kết quả vượt qua, xem xét và dừng. Xem xét phát hiện trường hợp ranh giới mà không giả vờ rằng nó an toàn hoặc không thể sử dụng.
Xác định vùng trung gian trước khi kiểm tra. Độ tương phản chú thích có thể vượt qua ngưỡng đo của nhóm, dừng dưới một ranh giới thấp hơn, và chuyển sang xem xét giữa hai ngưỡng đó. So khớp khuôn mặt có thể yêu cầu xem xét bởi con người bất cứ khi nào độ tin cậy không chắc chắn vì một kết quả sai nghiêm trọng hơn một quyết định chậm.
Đừng để việc xem xét trở thành nơi chứa cho mọi quy tắc mơ hồ. Theo dõi tần suất mỗi tiêu chí nằm ở đó và lý do tại sao. Nếu hầu hết các trường hợp cần thảo luận, nguồn, phương pháp kiểm tra hoặc ranh giới có thể không rõ ràng. Cải thiện hợp đồng thay vì đổ lỗi cho đại lý video về sự không chắc chắn mà nhóm chưa giải quyết.
Những gì thuộc về gói kiểm tra?
Xây dựng một gói nhỏ đại diện trước khi sử dụng rộng rãi. Bao gồm video thông thường, các trường hợp khó xử lý, các lỗi đã biết, tỷ lệ khung hình khác nhau, nền tĩnh và nền sôi động, chú thích dài và ngắn, các yêu cầu đã được phê duyệt và hết hạn, và các tài sản bị thiếu. Gói tin nên giống triển khai hơn là một bản trình diễn sạch sẽ.
Gắn nhãn các kết quả dự kiến mà không hiển thị chúng cho hệ thống trong quá trình kiểm tra. Cho tác nhân video chạy các tiêu chí, sau đó so sánh kết quả của nó với nhãn đã được phê duyệt. Tính số lần vượt sai riêng biệt với số lần dừng sai vì chúng tạo ra các chi phí khác nhau.
Thêm các lỗi sản xuất mới vào gói tin sau khi xem xét. Nếu hình mờ đã bị cắt, giá vẫn tồn tại trong âm thanh sau khi bị loại khỏi khung hình, hoặc liên kết dẫn đến thị trường sai, giữ trường hợp đó làm bài kiểm tra hồi quy. Gói tin trở thành một lịch sử hoạt động.
Con người nên luôn xem xét điều gì?
Con người nên chịu trách nhiệm về ý nghĩa, sự công bằng, ngữ cảnh nhạy cảm, sự hài hước, sự thuyết phục, và bất kỳ quyết định nào đòi hỏi quyền lực thực sự. Một trình kiểm tra có thể xác nhận rằng liên kết nguồn tồn tại. Nó không thể quyết định liệu tuyên bố được chọn có gây ảnh hưởng đến nhóm đối tượng dễ bị tổn thương hay liệu một trò đùa rõ ràng có xúc phạm ai đó hay không.
Cần có sự xem xét của con người khi bằng chứng mâu thuẫn. Bản mô tả sản phẩm có thể liệt kê một thuật ngữ trong khi bản tóm tắt chiến dịch được phê duyệt lại sử dụng một thuật ngữ khác. Hệ thống nên hiển thị cả hai nguồn và dừng lại. Nó không nên chọn câu trả lời thuận tiện hơn hoặc âm thầm kết hợp chúng.
Xác định quá trình chuyển giao với sự cẩn thận tương tự như kiểm tra tự động. Đặt tên vai trò, bằng chứng yêu cầu, thời gian phản hồi và các tùy chọn. Một thông báo rằng cần xem xét thủ công nhưng không hiển thị khung, quy tắc và nguồn chỉ làm tăng thêm công việc tìm kiếm cho người khác.
Các tuyên bố mà tính chính xác phụ thuộc vào điều kiện bên ngoài thay đổi.
Sử dụng hình ảnh, giọng nói, câu chuyện hoặc thông tin nhạy cảm của một người.
Nội dung được quy định, y tế, tài chính, pháp lý, an toàn hoặc ý nghĩa đủ điều kiện.
Bối cảnh văn hóa, hài hước, khuôn mẫu hoặc có thể gây nhục nhã.
Xung đột giữa các nguồn được phê duyệt hoặc thẩm quyền đưa ra quyết định không rõ ràng.
Làm thế nào để bạn đo lường người kiểm tra?
Đo lường hệ thống tiêu chí, không chỉ các video được tạo ra. Theo dõi những sự thông qua sai, dừng sai, tỷ lệ đánh giá, thời gian giải quyết, lặp lại lỗi và các thay đổi được phát hiện trước khi phát hành. Một tỷ lệ thông qua cao có thể là xấu nếu các bài kiểm tra bỏ qua những lỗi quan trọng.
Phân tích kết quả theo loại video, thị trường, ngôn ngữ, dòng sản phẩm và loại lỗi. Một giá trị trung bình có thể che giấu kiểm tra chú thích yếu trên video dọc hoặc việc đối chiếu sản phẩm kém trên bao bì trong suốt. Gói kiểm tra và báo cáo nên sử dụng cùng các đoạn văn.
Đặt một cổng thay đổi. Một mô hình mới, gợi ý, trình soạn thảo, mẫu, hệ thống nguồn hoặc kênh xuất bản có thể thay đổi hành vi. Chạy lại gói liên quan trước khi mở rộng quy trình làm việc và so sánh biên nhận mới với phiên bản cuối cùng được chấp nhận.
Biên nhận Bằng chứng là gì?
Một biên nhận bằng chứng là bản ghi tóm lược của những gì đã được kiểm tra. Nó bao gồm ID dự án và xuất, phiên bản tiêu chí, nguồn, dấu thời gian, kết quả kiểm tra, các khung hình hoặc mã thời gian bị gắn cờ, quyết định của người đánh giá và trạng thái phát hành cuối cùng. Nó làm cho việc phê duyệt có thể kiểm tra được sau khi cuộc họp kết thúc.
Lưu trữ bằng chứng, không chỉ là huy hiệu màu xanh lá cây. Nếu kiểm tra phụ đề đã thành công, hãy giữ lại bản sao đã kiểm tra và kết quả khung hình. Nếu một người đánh giá ghi đè một điểm dừng, hãy ghi lại lý do và chủ sở hữu. Ghi đè có thể làm lộ một quy tắc sai, nhưng chúng cũng có thể làm lộ một thói quen rủi ro.
Giữ biên lai cùng với phiên bản đã xuất bản. Một chỉnh sửa sau đó về giá, giọng nói, cắt, hoặc điểm đến có thể làm vô hiệu các kiểm tra trước đó. Kiểm tra lại các điều kiện đã thay đổi nhanh hơn khi bằng chứng trước đó cho thấy điều gì không thay đổi.
Làm thế nào để bạn áp dụng các tiêu chí trong Pippit?
Bắt đầu phần mô tả ngắn gọn trong Pippit bằng hợp đồng tiêu chí, không phải bằng đoạn văn đầy tính từ. Cung cấp tài sản và nguồn tài liệu đã phê duyệt, sau đó nêu ra các rào cản phát hành, điều kiện xem xét và bằng chứng cần có. Nhân viên video có thể tạo một bản nháp trong khi đội nhóm duy trì một tiêu chuẩn độc lập để đánh giá nó.
Xem xét bản nháp trong trình chỉnh sửa video Pippit. Kiểm tra các tuyên bố âm thanh và hình ảnh, chú thích, vùng an toàn, danh tính sản phẩm, tiết lộ thông tin, âm thanh và điểm đến cùng nhau. Ghi lại mã thời gian cho bất kỳ nội dung nào gửi đến chủ sở hữu thực.
Chỉ xuất bản tệp xuất phù hợp với biên nhận. Nếu nhóm thay đổi chú thích, cắt, đoạn clip, giá, hoặc lời kêu gọi hành động sau khi được phê duyệt, hãy chạy lại các tiêu chí bị ảnh hưởng. Thành công nghĩa là tệp cuối cùng đáp ứng hợp đồng, không phải bản nháp trước đó từng được đánh dấu xanh.
Các câu hỏi thường gặp
Q1. Một video nên có bao nhiêu tiêu chí thành công?
Sử dụng bộ nhỏ nhất để bao phủ rủi ro phát hành và kết quả đã hứa. Một lời nhắc đơn giản có thể chỉ cần kiểm tra nguồn, chú thích, cắt, âm thanh và điểm đến. Một tuyên bố về sản phẩm cần thêm thông tin. Kết hợp các quy tắc trùng lặp, nhưng không ẩn các quyết định không liên quan trong một tiêu chí chỉ để làm danh sách ngắn hơn.
Câu hỏi 2. Một người đánh giá video có thể đánh giá liệu một video có hấp dẫn hay không?
Nó có thể kiểm tra các tín hiệu được xác định như thời gian thu hút, thay đổi cảnh, im lặng, tốc độ phụ đề hoặc điểm kiểm tra của người xem. Sự hấp dẫn phụ thuộc vào khán giả và ngữ cảnh, vì vậy tránh sử dụng một nhãn chung duy nhất. Sử dụng bằng chứng hành vi từ đối tượng mục tiêu và giữ phán đoán sáng tạo tách biệt với các quy tắc phát hành mang tính quyết định.
Câu hỏi 3. Sự khác biệt giữa bảng tiêu chí và yếu tố cản trở là gì?
Một bảng tiêu chí đánh giá chất lượng qua các cấp độ và hỗ trợ so sánh hoặc đánh giá. Một yếu tố cản trở chỉ ra một điều kiện ngăn cản việc phát hành, chẳng hạn như sai giá hoặc thiếu sự đồng ý. Không biến mọi điểm số thấp trong bảng tiêu chí thành một yếu tố cản trở. Dự trữ những điểm dừng cho các lỗi mà nhóm đã quyết định quy trình làm việc không bao giờ được xuất bản.
Q4. Tần suất cập nhật gói kiểm tra là bao lâu?
Cập nhật gói kiểm tra bất cứ khi nào sản xuất phát hiện lỗi mới có ý nghĩa, hệ thống nguồn thay đổi hoặc quy trình làm việc có thêm mô hình, định dạng, thị trường hoặc kênh mới. Giữ các trường hợp ổn định để so sánh và thêm các trường hợp mục tiêu cho rủi ro mới. Một gói kiểm tra thay đổi cần có lịch sử phiên bản để xu hướng vẫn có thể được diễn giải.
Q5. Ai có thể ghi đè một tiêu chí không đạt?
Chỉ chủ sở hữu được chỉ định hoặc vai trò thăng cấp được ủy quyền mới được phép ghi đè. Biên lai nên ghi lại bằng chứng, lý do, ngày tháng và xuất khẩu bị ảnh hưởng. Việc ghi đè thường xuyên là tín hiệu rằng tiêu chí hoặc quy trình làm việc cần được sửa chữa. Chúng không nên trở thành một lối tắt không chính thức xung quanh quy tắc phát hành.
Biến việc hoàn thành trở nên quan sát được
Một luồng công việc video trở nên có thể kiểm thử khi "tốt" được chia thành các sự thật hiển thị, phạm vi hữu ích và các đánh giá có tên từ con người. Đưa cho mỗi tiêu chí một nguồn gốc, phương pháp, ranh giới, hành động khi thất bại và người chịu trách nhiệm. Kiểm thử nó trên các trường hợp đại diện, bảo tồn bằng chứng và chạy lại các kiểm tra bị ảnh hưởng sau khi có thay đổi. Kết quả không phải là gu tự động. Đây là một ranh giới đáng tin cậy giữa việc xác minh thường lệ và các quyết định mà con người vẫn phải thực hiện.