Το pilot δούλεψε. Αυτό δεν ήταν ποτέ το ερώτημα. Το demo πέτυχε, η ακρίβεια ήταν υπερασπίσιμη, οι χρήστες το συμπάθησαν, και μετά πέρασε πέντε μήνες σε μια ουρά και σιωπηλά σταμάτησε να αναφέρεται. Κανείς δεν το σκότωσε. Έληξε. Αν το έχεις δει να συμβαίνει δύο φορές, μάλλον έχεις καταλήξει ότι ο οργανισμός είναι χαλασμένος, και θέλω να υποστηρίξω μια λιγότερο ικανοποιητική εξήγηση: το pilot ήταν σχεδιασμένο να απαντήσει σε μια ερώτηση που κανείς δεν περίμενε.

Το demo απαντά στο "μπορεί το μοντέλο να το κάνει αυτό;" Ο οργανισμός ποτέ δεν ήταν αβέβαιος για αυτό. Αυτό που δεν ξέρει είναι ποιος είναι υπόλογος όταν το μοντέλο κάνει λάθος, πού πάνε τα δεδομένα, τι συμβαίνει στην ανανέωση, και ποιος υπογράφει. Αυτές οι ερωτήσεις έχουν owners, εκείνοι οι owners έχουν ουρές, και κανείς τους δεν είδε το pilot σου να έρχεται.

Οι προμήθειες δεν είναι ο κακός

Η ανάγνωση μηχανικού είναι ότι οι προμήθειες είναι φόρος: ανθρώπους με αποστροφή κινδύνου που καθυστερούν προφανή αξία. Αυτή η ανάγνωση είναι άνετη και κυρίως λάθος, και το να την κρατάς κοστίζει, επειδή δεν μπορείς να σχεδιάσεις γύρω από μια διαδικασία που έχεις αποφασίσει ότι είναι αθέμιτη.

Οι προμήθειες είναι η λειτουργία που ρωτά αν η εταιρεία μπορεί να ζήσει με αυτό το πράγμα για τρία χρόνια. Κάθε ερώτηση που κάνει κωδικοποιεί ένα προηγούμενο συμβάν, συνήθως ένα που προηγείται από σένα. Ο προμηθευτής που εξαγοράστηκε και τριπλασίασε την τιμή του. Το εργαλείο με μια παραβίαση δεδομένων που κανείς δεν μπόρεσε να καθορίσει το εύρος γιατί δεν υπήρχε καταγραφή του τι κρατούσε. Η ανανέωση που εκτελέστηκε αυτόματα για ένα προϊόν που χρησιμοποιούσαν δύο άνθρωποι. Αυτά δεν είναι υποθετικά σενάρια για το άτομο που αναθεωρεί τη φόρμα σου. Είναι ο λόγος που υπάρχει η φόρμα.

Η τριβή είναι πραγματική, και κάποιο κομμάτι της είναι γνήσια σπατάλη. Αλλά η σωστή απάντηση σε μια αργή πύλη είναι να μπεις σε αυτήν νωρίς με καλές απαντήσεις, όχι να ελπίζεις ότι δεν υπάρχει.

Οι τέσσερις πύλες που πραγματικά σταματούν πράγματα

Έλεγχος ασφάλειας

Το ερωτηματολόγιο δεν αφορά πραγματικά τη ρύθμιση TLS του προμηθευτή σου. Προσπαθεί να καθορίσει τι μπορεί να φτάσει το εργαλείο και τι συμβαίνει όταν φερθεί άσχημα. Τα εργαλεία AI βαθμολογούνται άσχημα εδώ για δομικό λόγο: ζητούν ευρεία πρόσβαση ανάγνωσης για να είναι χρήσιμα. Το "διάβασε κάθε έγγραφο στον tenant ώστε να μπορεί να απαντά ερωτήσεις γι' αυτά" είναι μια νόμιμη απαίτηση προϊόντος και ένα γνήσια ανησυχητικό αίτημα πρόσβασης, και και τα δύο γεγονότα ισχύουν ταυτόχρονα.

Το pilot που περνά αυτή την πύλη είναι εκείνο που μπορεί να δηλώσει το μοντέλο δικαιωμάτων του σε μία πρόταση. Μόνο ανάγνωση εξ ορισμού, με πρόσβαση εγγραφής ως ξεχωριστό, ρητά συναινεμένο βήμα, είναι μια θεμελιωδώς ευκολότερη αναθεώρηση από ένα ενιαίο πεδίο εφαρμογής που κάνει και τα δύο, όσο καλό κι αν είναι το audit log. Αν το εργαλείο δεν μπορεί να περιγράψει την ακτίνα έκρηξής του, η ασφάλεια θα το ανακαλύψει, αργά, γραπτώς, μέσα σε έξι εβδομάδες.

Συμφωνίες επεξεργασίας δεδομένων

Εδώ πεθαίνουν πραγματικά τα περισσότερα AI pilots, και πεθαίνει σε μία ερώτηση: χρησιμοποιούνται τα δεδομένα μας για να εκπαιδεύσουν τα μοντέλα σας;

Αν η απάντηση χρειάζεται μια παράγραφο, η απάντηση είναι λειτουργικά ναι, και τα νομικά θα το διαβάσουν έτσι. Η DPA χρειάζεται κατονομασμένους sub-processors, διατήρηση δηλωμένη σε ημέρες, διαγραφή κατά τη λήξη καθορισμένη, και το ερώτημα εκπαίδευσης απαντημένο σε μία ρήτρα. Κάθε επιφύλαξη προσθέτει έναν κύκλο αναθεώρησης, και οι κύκλοι αναθεώρησης είναι δύο εβδομάδες ο καθένας επειδή το άτομο που τη διαβάζει έχει σαράντα άλλα πράγματα.

Το επιδεινούμενο πρόβλημα είναι ότι οι προμηθευτές AI αλλάζουν sub-processors πιο συχνά απ' όσο υποθέτει ο ρυθμός της DPA. Μια αλλαγή παρόχου μοντέλου είναι τροποποίηση. Κανείς δεν σχεδιάζει για την τροποποίηση.

Το επιπρόσθετο στρώμα ειδικά για AI

Νέο εδώ και περίπου έναν χρόνο, και ασυνεπώς εφαρμοσμένο: μια εσωτερική αναθεώρηση AI που ζητά ταξινόμηση κινδύνου, περιγραφή ανθρώπινης επίβλεψης, και αποδείξεις ότι ξέρεις τις υποχρεώσεις σου. Όπου υπάρχει αυτό είναι συχνά η ταχύτερη πύλη, επειδή είναι αρκετά νέα ώστε ο owner να έχει χρόνο. Όπου δεν υπάρχει ακόμα, οι ερωτήσεις της τίθενται ούτως ή άλλως, αυτοσχέδια, από όποιον το πρόσεξε, στην χειρότερη δυνατή στιγμή. Καθώς προσγειώνονται οι υποχρεώσεις διαφάνειας της 2 Αυγούστου, ανέμενε αυτή η πύλη να επισημοποιηθεί σε περισσότερα μέρη, και ανέμενε αυτό να είναι βελτίωση, επειδή μια καθορισμένη πύλη με ουρά νικά μια απροσδιόριστη ένσταση που εγείρεται σε μια επιτροπή διεύθυνσης.

Κυριότητα προϋπολογισμού

Ο πιο σιωπηλός δολοφόνος. Ένα pilot τρέχει σε διακριτικό προϋπολογισμό κάποιου ή σε ένα δωρεάν επίπεδο. Η παραγωγή χρειάζεται μια γραμμή λογαριασμού, ένα κέντρο κόστους, και έναν owner που θα το υπερασπιστεί τον επόμενο κύκλο. Αν ο sponsor του pilot είναι ένας ενθουσιώδης μηχανικός αντί για έναν κάτοχο προϋπολογισμού, δεν υπάρχει μονοπάτι από το pilot στην παραγωγή ανεξάρτητα από τα αποτελέσματα, και αυτό είναι συνήθως ορατό την πρώτη μέρα σε όποιον κοιτάξει.

Γιατί το ίδιο το pilot στήνει την παγίδα

Τα pilots είναι σχεδιασμένα να ξεκινούν εύκολα, και τα πράγματα που τα κάνουν εύκολα στην εκκίνηση είναι τα πράγματα που τα κάνουν αδύνατα να ολοκληρωθούν. Συνθετικά ή απολυμασμένα δεδομένα, ώστε το ερώτημα της DPA να μην προκύψει ποτέ. Ένας tenant sandbox, ώστε το μοντέλο πρόσβασης να μην αναθεωρηθεί ποτέ. Ένα δωρεάν επίπεδο, ώστε να μη χρειάζεται κάτοχος προϋπολογισμού. Μια ενθουσιώδης ομάδα, ώστε καμία ερώτηση λογοδοσίας να μην τεθεί.

Κάθε μία από αυτές τις επιλογές αναβάλλει μια πύλη αντί να την περάσει. Έπειτα το pilot πετυχαίνει και και οι τέσσερις φτάνουν ταυτόχρονα, τη στιγμή που όλοι πιστεύουν ότι το δύσκολο κομμάτι έχει τελειώσει και η υπόλοιπη δουλειά είναι χαρτούρα. Ο οργανισμός δεν έχει κινηθεί ούτε χιλιοστό προς την παραγωγή, και τώρα είναι επίσης απογοητευμένος.

Σχεδίασε τα pilots για τις πύλες

Η λύση δεν είναι περισσότερη διακυβέρνηση στο pilot. Είναι η επιλογή ενός pilot του οποίου η επιτυχία απαντά στις ερωτήσεις που μπλοκάρουν την ανάπτυξη.

  • Χρησιμοποίησε πραγματικά δεδομένα σε πραγματικό tenant, στο μικρότερο δυνατό εύρος. Ένα τμήμα, δεδομένα παραγωγής, πραγματικό μοντέλο δικαιωμάτων. Ένα pilot με πραγματικά δεδομένα και τρεις χρήστες περνά περισσότερες πύλες από ένα pilot με συνθετικά δεδομένα και τριακόσιους, επειδή παράγει απαντήσεις αντί για υποσχέσεις.
  • Στείλε τη DPA για ανάγνωση την πρώτη εβδομάδα, όχι τη δωδέκατη. Στείλ' την στα νομικά πριν το demo. Αν η ρήτρα εκπαίδευσης είναι πρόβλημα, έμαθες το αποτέλεσμα για το κόστος ενός email αντί για ένα τρίμηνο.
  • Κατονόμασε τον κάτοχο προϋπολογισμού πριν ξεκινήσεις. Αν κανείς δεν θα κατέχει τη γραμμή λογαριασμού, τρέξε το pilot ως έρευνα και πες το φωναχτά. Αυτό είναι νόμιμο πράγμα να κάνεις. Αυτό που δεν είναι νόμιμο είναι να το αποκαλείς μονοπάτι προς την παραγωγή.
  • Γράψε τις απαντήσεις ασφάλειας πριν φτάσει το ερωτηματολόγιο. Μοντέλο δικαιωμάτων, ροή δεδομένων, sub-processors, διατήρηση, διαγραφή. Μία σελίδα. Το περισσότερο από την καθυστέρηση των έξι εβδομάδων είναι πηγαινέλα, και το πηγαινέλα είναι latency, όχι δουλειά.
  • Τρέξε τις πύλες παράλληλα με το χτίσιμο. Δεσμεύονται από ουρά, όχι από προσπάθεια. Τίποτα στο να διαβάσουν τα νομικά μια DPA δεν απαιτεί να υπάρχει ο κώδικάς σου.

Αυτό κάνει τα pilots πιο αργά στην εκκίνηση και δραματικά πιο πιθανό να ολοκληρωθούν, και αυτή η ανταλλαγή είναι προφανής μόνο αφού έχεις χάσει ένα. Το αντεπιχείρημα είναι πραγματικό: το να φορτώνεις πύλες μπροστά σε εξερευνητική δουλειά σκοτώνει την εξερεύνηση, και κάποια pilots αξίζει να είναι φθηνά πειράματα που πεθαίνουν γρήγορα. Εντάξει. Απλώς να είσαι ειλικρινής για ποιο είδος τρέχεις, επειδή η αποτυχία που περιγράφω δεν είναι ένα κακό πείραμα. Είναι ένα καλό πείραμα που όλοι μπέρδεψαν με σχέδιο ανάπτυξης.

Το συμπέρασμα

Τα AI pilots σπάνια πεθαίνουν από ακρίβεια. Πεθαίνουν επειδή το demo απάντησε σε μια ερώτηση που κανείς δεν περίμενε, ενώ ο έλεγχος ασφάλειας, η DPA, το στρώμα AI, και η κυριότητα προϋπολογισμού έμειναν ανέγγιχτα μέχρι το τέλος και μετά έφτασαν μαζί. Οι προμήθειες δεν είναι εμπόδιο· είναι ο οργανισμός που ρωτά αν μπορεί να ζήσει με αυτό για τρία χρόνια, και αυτές οι ερωτήσεις έρχονται είτε τις προγραμμάτισες είτε όχι. Σχεδίασε το pilot ώστε η επιτυχία να σημαίνει το πέρασμα μιας πύλης. Οι ομάδες που κυκλοφορούν δεν είναι αυτές με καλύτερα μοντέλα. Είναι αυτές που ξεκίνησαν το ρολόι δώδεκα εβδομάδων την πρώτη εβδομάδα.

Διάβασε αυτό στη συνέχεια

Η εκδοχή αυτής της ιστορίας για την υποδομή, γιατί οι μεταναστεύσεις πλατφόρμας κολλάνε στις ίδιες ουρές, βρίσκεται στις σημειώσεις πεδίου στο ercan.cloud. Ο κόμβος είναι στο ercanermis.com.