״לעשות את זה מעניין ובהתאם למותג״ נשמע ברור בפגישה, אבל לא מעניק למכונה שום דבר יציב לבדיקה. לפני מתן תקציר לסוכן הווידאו של Pippit, הפוך כל ציפייה לתוצאה נצפית, מקור אמת ותגובה במקרה של כישלון הבדיקה. המטרה אינה להסיר שיפוט. המטרה היא למנוע שגיאות פשוטות מלהגיע לאנשים שזמנם נדרש להחלטות קשות יותר.
מה הופך קריטריון להצלחה לבדיק?
קריטריון שניתן לבדוק מתאר משהו שניתן לצפות בו בווידאו המיוצא או ברישומי הפרויקט. הוא מציין את הפריט, מצב ההיתרים, הראיות והפעולה. השם של המוצר מתאים לרשומה המאושרת וניתן לבדיקה. המוצר מרגיש יוקרתי רק כאשר הצוות מגדיר את הסימנים החשובים.
השתמשו בקריטריון אחד עבור כל החלטה. משפט שמשלב לוגו, כתוביות, צבע מוצר, תמיכה בטענה וקצב אינו יכול להסביר מדוע וידאו נכשל. הפרידו בין עובדות שיכולות לחסום את השחרור לבין תכונות שמבקר עשוי לדרג בטווח.
ה-NIST מציין שמדידה והערכה של בינה מלאכותית מהימנות תלויות במדדים ובשיטות שמתאימים להקשר השימוש. לכן סוכן וידאו זקוק לקריטריונים שנבנו עבור הקהל, הערוץ, הנכסים ורמת הנזק בפועל, ולא עבור מספר איכות אוניברסלי.
כיצד כותבים חוזה קריטריונים?
כתבו שישה תחומים: יעד, מקור אמת, שיטת בדיקה, כלל מעבר, פעולה במקרה של כישלון, ובעלים. היעד מציין מה נבדק. מקור האמת מגדיר את הרשומה המאושרת. שיטת הבדיקה מסבירה כיצד סוכן וידאו או מבקר בודק אותו. התחומים הסופיים הופכים את התוצאה לברת יישום.
לדוגמה: היעד הוא מחיר המכירה הרשום; המקור הוא גרסת גיליון הקמפיין 12; השיטה משווה בין מחירים גלויים ומדוברים; העברה דורשת התאמה מדויקת; כשל חוסם ייצוא; הבעלים הוא צוות הקמפיינים. שינוי מחיר עתידי כעת כולל מקום אחד לעדכון ובדיקה אחת לחזור עליה.
הוסף תחום. קריטריון עשוי לחול רק על הפריים הראשון, כל הסצנות המדוברות, שוק מסוים או סרטונים המכילים עדות. ללא תחום, הבודק עשוי לסמן היעדרות בלתי מזיקה או לפספס בעיה שמופיעה מחוץ לרגע הצפוי.
ציין את האובייקט או ההתנהגות המדויקת שנבדקים.
הפנה למקור אמת עדכני אחד.
תאר שיטה לבדיקות שניתן לשחזר.
הגדר את גבול המעבר וכל סבילות.
בחר מעבר, סקירה או עצירה כתוצאה.
הקצה את האדם שיכול לפתור מחלוקות.
אילו בדיקות דורשות שלושה תוצאות?
חוקים בינאריים עובדים על עובדות מדויקות: כתובת URL שגויה, גילוי חסר, סוג קובץ לא נתמך, או אי התאמה של מזהה מוצר. בדיקות יצירתיות ותפיסתיות לרוב דורשות מעבר, בדיקה ועצירה. בדיקה מזהה מקרה גבולי מבלי להעמיד פנים שהוא בטוח או שאינו ניתן לשימוש.
הגדר את האזור האמצעי לפני ביצוע הבדיקה. ניגודיות הכתוביות עשויה לעבור מעל לסף המדוד של הצוות, לעצור מתחת לגבול תחתון, ולעבור לבדיקה באמצע. התאמת פנים עשויה לדרוש בדיקת אנוש בכל פעם שהביטחון מוטל בספק, כיוון שמעבר שגוי חמור יותר מהחלטה איטית יותר.
אל תאפשר לבדיקה להפוך למגירה לכל כלל מעורפל. עקוב אחר תדירות הגעת כל קריטריון לשם והסיבות לכך. אם רוב המקרים דורשים דיון, המקור, שיטת הבדיקה או הגבול עשויים להיות לא ברורים. שפר את החוזה במקום להאשים את סוכן הווידאו בחוסר ודאות שהצוות מעולם לא פתר.
מה שייך לחבילת הבדיקה?
בנה חבילה מייצגת קטנה לפני שימוש רחב. כלול סרטונים רגילים, מקרים קיצוניים קשים, כשלים ידועים, יחסי ממדים שונים, רקעים שקטים ועמוסים, כתוביות ארוכות וקצרות, תביעות מאושרות ופג תוקף, ונכסים חסרים החבילה צריכה להידמות לפריסה ולא לדמו נקי
סמן תוצאות צפויות מבלי להראותן למערכת במהלך הבדיקה תן לסוכן הווידאו להריץ את הקריטריונים, ואז השווה את התוצאה שלו לתווית המאושרת ספר מעברים שגויים בנפרד מעצירות שגויות כי הם יוצרים עלויות שונות
הוסף כשלים חדשים בייצור לחבילה לאחר סקירה אם סימן מים הוגבל, מחיר שרד בשמע לאחר שהוסר מהפריים, או קישור הצביע על שוק שגוי, שמור את המקרה הזה כבדיקת נסיגה החבילה הופכת להיסטוריית הפעלה
מה אנשים צריכים תמיד לבדוק?
אנשים צריכים להיות אחראים למשמעות, הגינות, הקשר רגיש, הומור, שכנוע וכל החלטה שדורשת סמכות אמיתית בודק יכול לאשר שקישור למקור קיים. הוא אינו יכול להחליט אם הטענה שנבחרה אחראית לקהל פגיע או אם בדיחה לכאורה משפילה מישהו.
נדרש גם ביקורת אנושית כאשר הראיות סותרות זו את זו. דף המוצר עשוי לכלול מונח אחד בעוד שבריף הקמפיין המאושר משתמש במונח אחר. המערכת צריכה להציג את שני המקורות ולעצור. היא לא צריכה לבחור את התשובה הנוחה יותר או לשלב אותן באופן שקט.
הגדר את ההעברה באותה תשומת לב כמו הבדיקה האוטומטית. קבע את התפקיד, הראיות הדרושות, זמן התגובה והאפשרויות. הודעה שאומרת "נדרש סקירה ידנית" ללא הצגת ההקשר, הכלל והמקור רק מעבירה את עבודת החיפוש לאדם אחר.
טענות שהאמת שלהן תלויה בתנאים חיצוניים משתנים.
השימוש בדמותו, קולו, סיפורו או מידע רגיש של אדם.
משמעות מוסדרת, רפואית, פיננסית, משפטית, בטיחותית או זכאות.
הקשר תרבותי, הומור, סטריאוטיפים או אפשרות להשפלה.
קונפליקטים בין מקורות מאושרים או סמכות החלטה לא ברורה.
כיצד מודדים את הבודק?
מדדו את מערכת הקריטריונים, ולא רק את הסרטונים שהופקו. עקבו אחר כישלונות שגויים, עצירות שגויות, שיעור סקירה, זמן לפתרון, כישלונות חוזרים ושינויים שנתפסו לפני הפצה. שיעור הצלחה גבוה יכול להיות גרוע אם המבחנים מתעלמים מהשגיאות החשובות.
פצלו את התוצאות לפי סוג סרטון, שוק, שפה, משפחת מוצרים וקטגוריית כשלון. ממוצע עשוי להסתיר בדיקות כתוביות חלשות בסרטון ורטיקלי או התאמת מוצרים ירודה באריזות שקופות. יש להשתמש באותם מקטעים בחבילת הבדיקה ובדוח
הגדר שער שינוי מודל חדש, הנחיה, עורך, תבנית, מערכת מקור או ערוץ פרסום יכולים לשנות את ההתנהגות הרץ מחדש את החבילה הרלוונטית לפני הרחבת זרימת העבודה, והשווה בין הקבלה החדשה לגרסה שאושרה אחרונה
מהו קבלה של ראיות?
קבלה של ראיות היא תיעוד תמציתי של מה שנבדק היא כוללת מזהי פרויקט וייצוא, גרסאות קריטריונים, מקורות, חותמות זמן, תוצאות בדיקה, מסגרות מסומנות או קודי זמן, החלטות סוקר ומצב ההוצאה הסופי היא מאפשרת בדיקת אישור לאחר סיום הפגישה
שמור ראיות, ולא רק תג ירוק אם בדיקת הכיתובים עברה, שמור את תמלול הבדיקה ותוצאת המסגרת שנבדקה אם מבקר עקף עצירה, יש לרשום את הסיבה והבעלים. עקיפות עשויות לחשוף כלל גרוע, אך הן עשויות גם לחשוף הרגל מסוכן.
שמור את הקבלה עם הגרסה שפורסמה. עריכה מאוחרת למחיר, לקול, לחיתוך או ליעד יכולה לשלול בדיקות קודמות. בדיקה מחודשת של התנאים שהשתנו מהירה יותר כאשר הראיות הקודמות מראות מה נשאר זהה.
כיצד מיישמים את הקריטריונים ב-Pippit?
התחל את המסמך ב-Pippit עם חוזה הקריטריונים, לא עם פסקה של תארים. ספק נכסים ומקורות מאושרים, לאחר מכן ציין חסמי פרסום, תנאי סקירה והוכחות נדרשות. סוכן הווידאו יכול ליצור טיוטה תוך שמירה על סטנדרט עצמאי לשיפוט מצד הצוות.
סקור את הטיוטה בעורך הווידאו של Pippit בדוק טענות מדוברות ונראות, כיתובים, אזורים בטוחים, זהות מוצר, גילויים, שמע ויעד יחד. רשום זמני קוד עבור כל תוכן שנשלח לבעלים אנושי.
פרסם רק את הייצוא שתואם את הקבלה. אם הצוות משנה כיתוב, חיתוך, קליפ, מחיר או קריאה לפעולה לאחר אישור, הפעל מחדש את הקריטריונים המושפעים. הצלחה פירושה שהקובץ הסופי עמד בחוזה, ולא שטיוטה מוקדמת קיבלה סימון ירוק בעבר.
שאלות נפוצות
שאלה 1: כמה קריטריוני הצלחה צריכים להיות לסרטון אחד?
השתמש במערך הקטן ביותר שמכסה את הסיכון לשחרור ואת התוצאה המובטחת. תזכורת פשוטה עשויה לדרוש רק מקור, כיתוב, חיתוך, שמע ובדיקות יעד. דרישת מוצר זקוקה ליותר. שלבו כללים כפולים, אך אל תסתירו החלטות שאינן קשורות בתוך קריטריון אחד רק כדי לקצר את הרשימה.
שאלה 2. האם סוכן וידאו יכול לקבוע אם וידאו הוא מרתק?
הוא יכול לבדוק סימנים מוגדרים כגון תזמון הפתיחה, שינויי סצנה, שתיקות, קצב כתוביות או ציון מבחן לצופים. המעורבות עצמה תלויה בקהל ובהקשר, ולכן יש להימנע מסימון אוניברסלי אחיד. השתמשו בראיות התנהגותיות מקהל היעד ושמרו על שיקול דעת יצירתי בנפרד מכללי שחרור דטרמיניסטיים.
שאלה 3. מהי ההבדל בין קריטריון חסימה לבלוקר?
קריטריון מסווג את האיכות על פני רמות ותומך בהשוואה או סקירה. בלוקר מציין מצב שמונע שחרור, כמו מחיר שגוי או חוסר בהסכמה. אל תהפכו כל ציון נמוך בקריטריון לחסימה. שמור עצירות עבור שגיאות שהצוות החליט שהעבודה לעולם לא תצא לפועל.
שאלה 4: באיזו תדירות יש לעדכן את חבילת הבדיקה?
עדכן אותה בכל פעם שייצור מגלה כשל חדש ומשמעותי, שמערכת מקור משתנה, או שהעבודה מקבלת מודל, פורמט, שוק או ערוץ חדש. שמור מקרים יציבים להשוואה והוסף מקרים ממוקדים לסיכונים חדשים. חבילה שמשתנה צריכה היסטוריית גרסאות כדי שמגמות יישארו ניתנות לפירוש.
שאלה 5: מי יכול לעקוף קריטריון שנכשל?
רק הבעלים המוגדר או תפקיד הסלמה מורשה צריכים לעקוף אותו. הקבלה צריכה לתעד את הראיות, הסיבה, התאריך והייצוא שהושפעו. עקיפות תכופות הן סימן לתקן את הקריטריון או את העבודה. הן לא צריכות להפוך לקיצור דרך לא פורמלי סביב כלל שחרור.
הפוך את העבודה לשקופה
תהליך עבודה וידאו הופך לבדוק כאשר "טוב" מחולק לעובדות נראות, טווחים שימושיים, ושיפוטים אנושיים מוגדרים. הענק לכל קריטריון מקור, שיטה, גבול, פעולה במקרה של כשל, ובעלים. בדוק זאת על מקרים מייצגים, שמור על הראיות, וחזור על בדיקות מושפעות לאחר שינויים. התוצאה אינה טעם אוטומטי. זוהי קו אמין בין אימות שגרתי לבין ההחלטות שאנשים עדיין חייבים לקבל.