Η φράση "Κάντε το ενδιαφέρον και εντός εταιρικής εικόνας" ακούγεται ξεκάθαρη σε μια συνάντηση αλλά δεν δίνει κάτι σταθερό για να επαληθεύσει μια μηχανή. Πριν δώσετε μια περιγραφή στον πράκτορα βίντεο του Pippit, μετατρέψτε κάθε προσδοκία σε παρατηρήσιμο αποτέλεσμα, πηγή αλήθειας και απάντηση όταν αποτυγχάνει η επαλήθευση. Ο στόχος δεν είναι να αφαιρέσουμε την κρίση. Είναι να σταματήσουμε απλά λάθη από το να φτάνουν στα άτομα που χρειάζονται τον χρόνο τους για πιο δύσκολες αποφάσεις.
Τι Κάνει Ένα Κριτήριο Επιτυχίας Ελέγξιμο;
Ένα ελέγξιμο κριτήριο περιγράφει κάτι που μπορεί να παρατηρηθεί στο εξαγόμενο βίντεο ή στο αρχείο του έργου. Ονομάζει το αντικείμενο, την επιτρεπτή κατάσταση, την απόδειξη και τη δράση. Το όνομα του προϊόντος που ταιριάζει με την εγκεκριμένη εγγραφή είναι ελέγξιμο. Το προϊόν δίνει την αίσθηση της πολυτέλειας μόνο όταν η ομάδα ορίσει τα στοιχεία που έχουν σημασία.
Χρησιμοποιήστε ένα κριτήριο για κάθε απόφαση. Μια πρόταση που συνδυάζει λογότυπο, λεζάντες, χρώμα προϊόντος, υποστήριξη ισχυρισμών και ρυθμό δεν μπορεί να εξηγήσει γιατί απέτυχε ένα βίντεο. Διαχωρίστε τα γεγονότα που μπορούν να εμποδίσουν την κυκλοφορία από τα χαρακτηριστικά στα οποία ένας αξιολογητής μπορεί να βαθμολογήσει σε ένα εύρος.
Η NIST δηλώνει ότι η αξιόπιστη μέτρηση και αξιολόγηση της Τεχνητής Νοημοσύνης εξαρτάται από ουσιαστικούς δείκτες και μεθόδους προσαρμοσμένες στο πλαίσιο χρήσης. Ένας πράκτορας βίντεο χρειάζεται, επομένως, κριτήρια που έχουν σχεδιαστεί για το πραγματικό κοινό, το κανάλι, τα μέσα και το επίπεδο κινδύνου, και όχι έναν καθολικό δείκτη ποιότητας.
Πώς να γράψετε ένα συμβόλαιο κριτηρίου;
Γράψτε έξι πεδία: στόχο, πηγή αλήθειας, μέθοδο δοκιμής, κανόνα επιτυχίας, ενέργεια αποτυχίας και υπεύθυνο. Ο στόχος υποδεικνύει τι ελέγχεται. Η πηγή αλήθειας κατονομάζει την εγκεκριμένη εγγραφή. Η μέθοδος δοκιμής εξηγεί πώς ο πράκτορας βίντεο ή ο αναθεωρητής την επιθεωρεί. Τα τελικά πεδία κάνουν το αποτέλεσμα εφαρμόσιμο.
Για παράδειγμα: ο στόχος είναι να παρατίθεται η τιμή πώλησης· η πηγή είναι η έκδοση 12 του φύλλου καμπάνιας· η μέθοδος συγκρίνει τις ορατές και τις ακουστές τιμές· η επιτυχία απαιτεί απόλυτη συμφωνία· η αποτυχία αποκλείει την εξαγωγή· ο υπεύθυνος είναι οι λειτουργίες καμπάνιας. Μια μελλοντική αλλαγή τιμής έχει πλέον μία θέση για ενημέρωση και ένα τεστ για επανάληψη.
Προσθέστε εύρος. Ένα κριτήριο μπορεί να ισχύει μόνο για το πρώτο πλαίσιο, όλες τις ακουστές σκηνές, μια συγκεκριμένη αγορά ή βίντεο που περιέχουν μαρτυρία. Χωρίς εύρος, ο ελεγκτής μπορεί να επισημάνει αβλαβή απουσία ή να παραβλέψει ένα πρόβλημα που εμφανίζεται εκτός της αναμενόμενης στιγμής.
Ονομάστε το ακριβές αντικείμενο ή τη συμπεριφορά που δοκιμάζεται.
Δείξτε σε μία τρέχουσα πηγή αλήθειας.
Περιγράψτε μια επαναλαμβανόμενη μέθοδο επιθεώρησης.
Ορίστε το όριο επιτυχίας και οποιαδήποτε ανοχή.
Επιλέξτε επιτυχία, αναθεώρηση ή διακοπή ως αποτέλεσμα.
Αναθέστε το άτομο που μπορεί να επιλύσει διαφωνίες.
Ποιοι έλεγχοι χρειάζονται τρία αποτελέσματα;
Οι δυαδικοί κανόνες λειτουργούν για ακριβή γεγονότα: λάθος URL, έλλειψη δήλωσης, μη υποστηριζόμενος τύπος αρχείου ή ασυμφωνία ταυτότητας προϊόντος. Οι δημιουργικοί και αντιληπτικοί έλεγχοι συχνά χρειάζονται πέρασμα, αναθεώρηση και διακοπή. Η αναθεώρηση εντοπίζει μια οριακή περίπτωση χωρίς να προσποιείται ότι είναι είτε ασφαλής είτε μη χρησιμοποιήσιμη.
Ορίστε τη μεσαία ζώνη πριν από τη δοκιμή. Η αντίθεση λεζάντας μπορεί να περάσει πάνω από το μετρημένο όριο της ομάδας, να διακοπεί κάτω από ένα χαμηλότερο όριο και να πάει για αναθεώρηση ενδιάμεσα. Η ταυτοποίηση προσώπου μπορεί να απαιτεί ανθρώπινη αναθεώρηση όποτε υπάρχει αβεβαιότητα, επειδή ένα ψευδές πέρασμα είναι πιο σοβαρό από μια πιο αργή απόφαση.
Μην αφήνετε η αναθεώρηση να γίνει χώρος για κάθε ασαφή κανόνα. Παρακολουθήστε πόσο συχνά κάθε κριτήριο καταλήγει εκεί και γιατί. Εάν οι περισσότερες περιπτώσεις χρειάζονται συζήτηση, η πηγή, η μέθοδος δοκιμών ή τα όρια μπορεί να είναι ασαφή. Βελτιώστε το συμβόλαιο αντί να κατηγορείτε τον υπεύθυνο βίντεο για αβεβαιότητα που η ομάδα ποτέ δεν έλυσε.
Τι ανήκει στο πακέτο δοκιμής;
Δημιουργήστε ένα μικρό αντιπροσωπευτικό πακέτο πριν από την ευρεία χρήση. Συμπεριλάβετε συνηθισμένα βίντεο, δύσκολες περιπτώσεις, γνωστές αποτυχίες, διαφορετικές αναλογίες διαστάσεων, ήσυχα και πολυσύχναστα φόντα, μακροσκελείς και σύντομους υπότιτλους, εγκεκριμένες και ληγμένες αξιώσεις, και ελλιπή στοιχεία. Το πακέτο θα πρέπει να μοιάζει περισσότερο με ανάπτυξη παρά με καθαρή επίδειξη.
Επισημάνετε τα αναμενόμενα αποτελέσματα χωρίς να τα δείξετε στο σύστημα κατά τον έλεγχο. Βάλτε τον πράκτορα βίντεο να εκτελέσει τα κριτήρια, και στη συνέχεια συγκρίνετε το αποτέλεσμά του με την εγκεκριμένη σήμανση. Μετρήστε τις ψευδείς επιβεβαιώσεις ξεχωριστά από τις ψευδείς απορρίψεις, επειδή δημιουργούν διαφορετικά κόστη.
Προσθέστε νέες αποτυχίες παραγωγής στο πακέτο μετά από ανασκόπηση. Εάν ένα υδατογράφημα περικόπηκε, μια τιμή διατηρήθηκε στον ήχο μετά την αφαίρεσή της από το καρέ, ή ένας σύνδεσμος οδηγούσε σε λάθος αγορά, κρατήστε αυτήν την περίπτωση ως δοκιμή παλινδρόμησης. Το πακέτο γίνεται ένα αρχείο λειτουργίας.
Τι πρέπει να επανεξετάζουν πάντα οι άνθρωποι;
Οι άνθρωποι θα πρέπει να αναλαμβάνουν το νόημα, τη δικαιοσύνη, το ευαίσθητο πλαίσιο, το χιούμορ, την πειθώ και οποιαδήποτε απόφαση που απαιτεί πραγματική εξουσία. Ένας ελεγκτής μπορεί να επιβεβαιώσει ότι υπάρχει ένας σύνδεσμος πηγής. Δεν μπορεί να αποφασίσει εάν η επιλεγμένη δήλωση είναι υπεύθυνη για ένα ευάλωτο κοινό ή αν ένα φαινομενικό αστείο εξευτελίζει κάποιον.
Απαιτείται επίσης ανθρώπινη αναθεώρηση όταν οι αποδείξεις συγκρούονται. Το φύλλο προϊόντος μπορεί να αναφέρει έναν όρο, ενώ το εγκεκριμένο ενημερωτικό δελτίο καμπάνιας χρησιμοποιεί άλλον. Το σύστημα θα πρέπει να εμφανίζει και τις δύο πηγές και να σταματά. Δεν θα πρέπει να επιλέγει την πιο εύκολη απάντηση ή να τις συνδυάζει σιωπηλά.
Ορίστε τη μεταβίβαση με την ίδια προσοχή όπως και τη δοκιμή αυτοματισμού. Ονομάστε τον ρόλο, τις απαιτούμενες αποδείξεις, τον χρόνο απόκρισης και τις επιλογές. Ένα μήνυμα που λέει ότι χρειάζεται χειροκίνητη αναθεώρηση χωρίς να δείχνει το πλαίσιο, τον κανόνα και την πηγή απλώς μεταθέτει την εργασία αναζήτησης σε άλλο άτομο.
Δηλώσεις των οποίων η αλήθεια εξαρτάται από μεταβαλλόμενες εξωτερικές συνθήκες.
Χρήση της εικόνας, της φωνής, της ιστορίας ή των ευαίσθητων πληροφοριών ενός ατόμου
Ρυθμιστική, ιατρική, οικονομική, νομική, ασφάλεια ή σημασία επιλεξιμότητας
Πολιτισμικό πλαίσιο, χιούμορ, στερεότυπα ή πιθανή ταπείνωση
Σύγκρουση μεταξύ εγκεκριμένων πηγών ή ασαφή εξουσία λήψης αποφάσεων
Πώς μετράτε τον ελεγκτή;
Μετρήστε το σύστημα κριτηρίων, όχι μόνο τα παραγόμενα βίντεο Παρακολουθήστε τα ψευδή περάσματα, τις εσφαλμένες διακοπές, τον ρυθμό αναθεώρησης, τον χρόνο επίλυσης, τις επαναλαμβανόμενες αποτυχίες και τις αλλαγές που εντοπίστηκαν πριν την κυκλοφορία Ένα υψηλό ποσοστό επιτυχίας μπορεί να είναι κακό αν οι δοκιμές αγνοούν τα λάθη που έχουν σημασία
Αναλύστε τα αποτελέσματα κατά τύπο βίντεο, αγορά, γλώσσα, οικογένεια προϊόντων και κατηγορία αποτυχίας Ένας μέσος όρος μπορεί να κρύψει αδύναμους ελέγχους υπότιτλων σε κάθετα βίντεο ή ακατάλληλη αντιστοίχιση προϊόντων σε διαφανείς συσκευασίες Το πακέτο δοκιμής και η αναφορά πρέπει να χρησιμοποιούν τα ίδια τμήματα.
Ορίστε μια πύλη αλλαγής. Ένα νέο μοντέλο, προτροπή, επεξεργαστής, πρότυπο, σύστημα πηγής ή κανάλι δημοσίευσης μπορεί να αλλάξει τη συμπεριφορά. Επαναλάβετε το σχετικό πακέτο πριν διευρύνετε τη ροή εργασίας και συγκρίνετε το νέο παραστατικό με την τελευταία αποδεκτή έκδοση.
Τι είναι ένα αποδεικτικό παραστατικό;
Ένα αποδεικτικό παραστατικό είναι η συνοπτική καταγραφή του τι ελέγχθηκε. Περιέχει τα αναγνωριστικά έργου και εξαγωγής, τις εκδόσεις κριτηρίων, τις πηγές, τις χρονικές σφραγίδες, τα αποτελέσματα δοκιμών, τα καταγεγραμμένα πλαίσια ή χρονοκώδικες, τις αποφάσεις του αξιολογητή και την τελική κατάσταση έκδοσης. Καθιστά την έγκριση επιθεωρήσιμη μετά τη λήξη της συνάντησης.
Αποθηκεύστε αποδεικτικά στοιχεία, όχι μόνο ένα πράσινο σήμα. Εάν έγινε έλεγχος λεζάντας και πέρασε, κρατήστε το δοκιμασμένο απομαγνητοφωνημένο κείμενο και το αποτέλεσμα του πλαισίου. Εάν ένας εξεταστής παρέκαμψε μια διακοπή, καταγράψτε τον λόγο και τον υπεύθυνο. Οι παρακάμψεις μπορεί να αποκαλύψουν έναν κακό κανόνα, αλλά μπορεί επίσης να αποκαλύψουν μια επικίνδυνη συνήθεια.
Κρατήστε την απόδειξη μαζί με την δημοσιευμένη έκδοση. Μια μεταγενέστερη επεξεργασία της τιμής, της φωνής, της περικοπής ή του προορισμού μπορεί να ακυρώσει προηγούμενες δοκιμές. Η επανεξέταση των αλλαγμένων συνθηκών είναι ταχύτερη όταν τα προηγούμενα στοιχεία δείχνουν τι παρέμεινε το ίδιο.
Πώς εφαρμόζετε τα κριτήρια στο Pippit;
Ξεκινήστε την περίληψη στο Pippit με το συμβόλαιο κριτηρίων, όχι με μια παράγραφο επιθέτων. Παρέχετε εγκεκριμένα στοιχεία και πηγές, έπειτα αναφέρετε τους ανασταλτικούς παράγοντες κυκλοφορίας, τις συνθήκες αναθεώρησης και τα απαιτούμενα αποδεικτικά στοιχεία. Ο υπεύθυνος βίντεο μπορεί να δημιουργήσει ένα προσχέδιο ενώ η ομάδα διατηρεί ένα ανεξάρτητο πρότυπο για την αξιολόγησή του.
Αναθεωρήστε το προσχέδιο στο Pippit video editor. Ελέγξτε τις προφορικές και ορατές δηλώσεις, τις λεζάντες, τις ασφαλείς περιοχές, την ταυτότητα του προϊόντος, τις δηλώσεις αποποίησης, τον ήχο και τον προορισμό μαζί. Καταγράψτε χρονοκώδικες για οτιδήποτε αποστέλλεται σε ανθρώπινο ιδιοκτήτη.
Δημοσιεύστε μόνο την εξαγωγή που αντιστοιχεί στην απόδειξη. Εάν η ομάδα αλλάξει μια λεζάντα, περικοπή, κλιπ, τιμή ή προτροπή για δράση μετά την έγκριση, επανεκτελέστε τα επηρεαζόμενα κριτήρια. Η επιτυχία σημαίνει ότι το τελικό αρχείο πληροί το συμβόλαιο, όχι ότι ένα προγενέστερο προσχέδιο κάποτε έλαβε πράσινο σημάδι.
Συχνές Ερωτήσεις
Ε1. Πόσα κριτήρια επιτυχίας πρέπει να έχει ένα βίντεο;
Χρησιμοποιήστε το μικρότερο σύνολο που καλύπτει τον κίνδυνο κυκλοφορίας και το υποσχεθέν αποτέλεσμα. Ένα απλό υπενθύμισμα μπορεί να χρειάζεται μόνο έλεγχο πηγής, λεζάντας, περικοπής, ήχου και προορισμού. Μια απαίτηση προϊόντος χρειάζεται περισσότερα. Συνδυάστε τους διπλότυπους κανόνες, αλλά μην κρύβετε άσχετες αποφάσεις μέσα σε ένα μόνο κριτήριο απλώς για να κάνετε τη λίστα μικρότερη.
Ε2. Μπορεί ένας υπεύθυνος βίντεο να κρίνει αν ένα βίντεο είναι ελκυστικό;
Μπορεί να ελέγξει καθορισμένα σήματα όπως ο χρόνος "κλειδώματος", οι αλλαγές σκηνών, η σιγή, η ταχύτητα υποτίτλων ή η βαθμολογία δοκιμής από θεατές. Η αλληλεπίδραση εξαρτάται από το κοινό και το πλαίσιο, γι' αυτό αποφύγετε μια καθολική ετικέτα. Χρησιμοποιήστε συμπεριφορικά δεδομένα από το συγκεκριμένο κοινό και διατηρήστε τη δημιουργική κρίση ξεχωριστή από τους ντετερμινιστικούς κανόνες κυκλοφορίας.
Ε3. Ποια είναι η διαφορά μεταξύ μιας ρουμπρίκας και ενός αποκλειστικού παράγοντα;
Μια ρουμπρίκα βαθμολογεί την ποιότητα σε διάφορα επίπεδα και υποστηρίζει τη σύγκριση ή την ανασκόπηση. Ένας αποκλειστικός παράγοντας ορίζει μια κατάσταση που αποτρέπει την κυκλοφορία, όπως μια λάθος τιμή ή η έλλειψη συγκατάθεσης. Μην μετατρέπετε κάθε χαμηλή βαθμολογία ρουμπρίκας σε αποκλειστικό παράγοντα. Οι κρατήσεις σταματούν για σφάλματα που η ομάδα έχει αποφασίσει ότι η ροή εργασίας δεν πρέπει ποτέ να αποσταλεί.
Ερ. 4. Πόσο συχνά πρέπει να ενημερώνεται το πακέτο δοκιμών;
Ενημερώστε το όποτε οι παραγωγικές διαδικασίες αποκαλύπτουν μια νέα σημαντική αποτυχία, το σύστημα πηγής αλλάζει, ή η ροή εργασίας αποκτά ένα νέο μοντέλο, μορφή, αγορά ή κανάλι. Διατηρήστε σταθερές περιπτώσεις για σύγκριση και προσθέστε στοχευμένες περιπτώσεις για νέο κίνδυνο. Ένα πακέτο που αλλάζει χρειάζεται ιστορικό έκδοσης ώστε οι τάσεις να παραμένουν ερμηνεύσιμες.
Ερ. 5. Ποιος μπορεί να αναιρέσει ένα αποτυχημένο κριτήριο;
Μόνο ο ορισμένος ιδιοκτήτης ή ένας εξουσιοδοτημένος ρόλος κλιμάκωσης πρέπει να το αναιρέσει. Η απόδειξη πρέπει να καταγράφει τα αποδεικτικά στοιχεία, τον λόγο, την ημερομηνία και την επηρεαζόμενη εξαγωγή. Συχνές ανακλήσεις είναι ένδειξη ότι πρέπει να επισκευαστεί το κριτήριο ή η ροή εργασίας. Δεν πρέπει να γίνουν ανεπίσημη συντόμευση γύρω από έναν κανόνα κυκλοφορίας.
Κάντε την Ολοκλήρωση Παρατηρήσιμη
Μια διαδικασία βίντεο γίνεται ελέγξιμη όταν το «καλό» χωρίζεται σε ορατά γεγονότα, χρήσιμα διαστήματα και ονομαστικές ανθρώπινες κρίσεις. Δώστε σε κάθε κριτήριο μια πηγή, μέθοδο, όριο, ενέργεια αποτυχίας και υπεύθυνο. Δοκιμάστε το σε αντιπροσωπευτικές περιπτώσεις, διατηρήστε τα αποδεικτικά στοιχεία και επαναλάβετε τους επηρεασμένους ελέγχους μετά τις αλλαγές. Το αποτέλεσμα δεν είναι αυτόματη κρίση. Είναι μια αξιόπιστη γραμμή ανάμεσα στην τακτική επαλήθευση και τις αποφάσεις που πρέπει ακόμα να λαμβάνουν οι άνθρωποι.