ercan.ai

Agents on Call, Parte 8. Produzione: Observability, Eval e il Giorno in cui Mente

Thu, 16 Jul 2026 09:00:00 +0200

Tre mesi dopo che l'agente di incident-triage della Parte 3 è andato in produzione, ha prodotto una diagnosi sicura di sé, ben scritta e sbagliata per un incidente reale, e nessuno se n'è accorto fino al postmortem, perché la trace che l'avrebbe intercettata in tempo reale non esisteva ancora. Questa è la forma di ogni fallimento di cui questa parte finale si occupa davvero: non un crash, non un'eccezione, una frase plausibile che si dà il caso fosse falsa. Questo post chiude la serie costruendo le tre cose che trasformano "lo ha detto l'agente" in qualcosa che un umano può verificare, osserva il giorno specifico in cui ha mentito, e valuta l'intera piattaforma contro i numeri che la Parte 1 aveva promesso.

Kiro Dopo l'Hype: Cosa Hanno Davvero Cambiato gli IDE AI

Wed, 15 Jul 2026 17:00:00 +0200

Otto mesi dopo che Kiro ha raggiunto la disponibilità generale, l'idea duratura si rivela essere la spec, e la parte meno duratura si rivela essere l'IDE. Kiro è stato lanciato come un IDE agentico il cui messaggio era che lavori a livello di specifica e lasci che l'agente implementi. La parte che è rimasta è l'artefatto: una dichiarazione scritta di intento che un umano revisiona prima che il codice esista. La parte che silenziosamente si è persa è l'assunzione che l'editor sia il luogo dove questo accade. Kiro ha lanciato una CLI al GA, ha aggiunto la modalità headless, e il terminale è dove è andato l'utilizzo interessante.

Perché il Tuo Pilot AI È Morto nel Procurement

Mon, 13 Jul 2026 19:00:00 +0200

Il pilot funzionava. Quella non è mai stata la domanda. La demo è atterrata bene, l'accuratezza era difendibile, agli utenti piaceva, e poi ha passato cinque mesi in una coda e silenziosamente ha smesso di essere menzionato. Nessuno l'ha ucciso. È scaduto. Se l'hai visto succedere due volte, probabilmente hai concluso che l'organizzazione è rotta, e voglio proporre una spiegazione meno soddisfacente: il pilot era scoperto per rispondere a una domanda su cui nessuno era bloccato.

Tracciamento dei Costi Bedrock per App con gli Inference Profile

Fri, 10 Jul 2026 14:00:00 +0200

Un application inference profile è un wrapper taggato attorno a un ARN di modello, ed è l'unica cosa che si frappone tra te e una bolletta Bedrock che riporta un unico numero per l'intera azienda. Crei un profile che punta a un modello, allega tag di allocazione costi, e invochi l'ARN del profile invece dell'ID modello. I tag viaggiano fino a Cost Explorer e al Cost and Usage Report. Questo è l'intero meccanismo, e richiede un pomeriggio.

Agents on Call, Parte 7. Sizing: La Matematica dei Token che Nessuno Fa in Anticipo

Thu, 09 Jul 2026 09:00:00 +0200

Una singola indagine profonda su un incidente su questa piattaforma, otto round di chiamate di tool prima che l'agente di triage abbia evidenze sufficienti per proporre una diagnosi, costa 32.950 token, e 31.600 di essi sono input, perché la Converse API di Bedrock rimanda l'intero transcript in crescita a ogni round. Moltiplicatelo per il volume reale di allarmi e l'intero conto mensile on-demand del modello per la piattaforma arriva a circa 14 $, una delle voci più piccole in un costo mensile totale vicino a 21 $. Comprare Provisioned Throughput dal primo giorno, la cosa che la Parte 1 ha esplicitamente rimandato, sarebbe costato 15.768 $ al mese per un workload che gira a circa un quattrocentesimo dell'utilizzo necessario per andare in pari. Nulla di tutto ciò è ovvio da un diagramma. Emerge solo quando qualcuno fa l'aritmetica, che è ciò che fa questa parte, da cima a fondo, con ogni numero riconducibile o a un listino prezzi Bedrock o a una formula mostrata per intero.

EU AI Act, 2 Agosto: La Scadenza Che Non È Cambiata

Wed, 08 Jul 2026 11:00:00 +0200

Il Digital Omnibus sull'AI ha spostato le scadenze che hanno fatto notizia e ha lasciato intatta quella che influenzerà davvero il tuo lavoro. Gli obblighi ad alto rischio sono slittati di oltre un anno. La trasparenza dell'Articolo 50 non è slittata. Si applica dal 2 agosto 2026, che sono circa tre settimane da ora, ed è la disposizione che colpisce i team ordinari che fanno cose ordinarie: generare testo, immagini, o audio con un modello e mettere l'output davanti a una persona.

SageMaker vs Bedrock: Una Decisione Organizzativa, Non Tecnica

Mon, 06 Jul 2026 09:00:00 +0200

SageMaker contro Bedrock non è un confronto tecnico. È una domanda su se la tua organizzazione impiega persone il cui lavoro è possedere i modelli. Se hai un team che addestra, valuta, ed è reperibile per un artefatto modello, SageMaker descrive un lavoro che già fanno. Se non hai quel team, e la maggior parte delle aziende che spediscono funzionalità AI non ce l'ha, Bedrock non è un compromesso. È una lettura corretta del tuo organigramma.

Prompt Injection Tramite i Tuoi Documenti: La Superficie d'Attacco RAG

Sat, 04 Jul 2026 10:00:00 +0200

Nel momento in cui metti il retrieval davanti a un modello, ogni documento nella tua knowledge base diventa input eseguibile. Non eseguibile nel senso della shell. Eseguibile nel senso che un paragrafo seduto in una pagina Confluence può cambiare cosa fa il tuo agente, perché il retrieval lo recupererà, lo incollerà nella finestra di contesto, e il modello lo leggerà con la stessa attenzione che riserva al tuo system prompt. I team fanno threat modeling con cura sulla casella dei messaggi dell'utente e poi ingeriscono 40.000 pagine da sei sistemi diversi senza chiedersi chi può scriverci.

M365 Security 101: AI Pilot e Business Impact Reports

Fri, 03 Jul 2026 13:30:00 +0200

I team di sicurezza non hanno un problema di detection. Hanno un problema di remediation e un problema di comunicazione, e sono questi i due punti in cui l'AI nella sicurezza ripaga davvero. Uno scanner moderno ti consegna volentieri 800 finding rispetto a un benchmark di conformità. I finding non sono la parte difficile. La parte difficile è che la maggior parte non viene mai corretta, e quelli che vengono corretti restano invisibili alle persone che approvano il budget. Questo post è un 101 sulle due funzionalità AI che secondo me affrontano il problema in modo diretto: remediation automatizzata con un gate di approvazione e reportistica generata dall'AI per lettori non tecnici. Userò Aether365, una piattaforma di sicurezza per Microsoft 365, come esempio ricorrente. Trasparenza totale fin da subito: Aether365 è un mio prodotto. Giudicate gli argomenti nel merito.

Agents on Call, Parte 6. Guardrail: La Parte che Tutti Saltano

Thu, 02 Jul 2026 09:00:00 +0200

Un Bedrock Guardrail agganciato a ogni invocazione degli agenti intercetta tre cose che IAM non può vedere affatto: un'istruzione iniettata via prompt nascosta dentro una riga di log, la PII di un cliente che arriva in un risultato di tool prima che il modello la riassuma, e il testo stesso di un agente che spinge un umano a saltare il gate di approvazione. Nulla di tutto ciò è un problema di controllo degli accessi, quindi nulla di tutto ciò compare in una policy IAM, per quanto attentamente le Parti da 2 a 4 ne abbiano definito lo scoping. Questa parte costruisce quel guardrail in Terraform, in terraform/30-guardrails/, e dedica più tempo a ciò che non intercetta che alle parti buone per le demo, perché il divario tra le due cose è esattamente il punto in cui un incidente va storto.

Fidati del modello, audita il binario

Thu, 02 Jul 2026 03:30:00 +0200

Il client binary di un coding agent è il software più privilegiato sulla tua macchina, e quasi nessuno lo audita. Legge il tuo repo, esegue la tua shell, detiene le tue credenziali e si auto-aggiorna con una cadenza che non controlli. Abbiamo deciso collettivamente di trattare quel binario come idraulica noiosa mentre discutiamo di model alignment. La settimana scorsa Claude Code ha dimostrato perché questa impostazione è esattamente rovesciata: per circa tre mesi ha distribuito logica nascosta che classificava le richieste instradate attraverso proxy legati alla Cina e codificava il risultato steganograficamente nel proprio system prompt. Nessuno se ne è accorto finché uno sviluppatore non ha decompilato il binario.

AWS Monthly (Giu '26): Gli Agenti Ricevono un Loop di Feedback

Tue, 30 Jun 2026 18:00:00 +0200

Giugno 2026 è stato il mese in cui AWS ha smesso di rilasciare capacità per gli agenti e ha iniziato a rilasciare il loop che le migliora. Il Summit di New York del 17 giugno ne è stato il centro: AgentCore ha guadagnato capacità di ottimizzazione che leggono le tracce di produzione e ti dicono dove i tuoi agenti sbagliano, Web Search è diventato generalmente disponibile, l'harness gestito ha raggiunto la GA il giorno dopo, e AWS Continuum è arrivato come servizio di sicurezza AI-native che si guadagna il permesso di agire invece di darlo per scontato. Nel resto del mese, Anthropic ha lanciato e poi perso Claude Fable 5 a causa di una direttiva sulle esportazioni, il che ha insegnato a chiunque costruisca su un modello di frontiera qualcosa di scomodo sulle catene di fornitura.

Agents on Call, Parte 5. La Squadra: Supervisore e Tre Specialisti

Thu, 25 Jun 2026 09:00:00 +0200

Quattro agenti esistono ora dove la Parte 4 ne aveva lasciato uno: un supervisore, un agente runbook e un agente cost si uniscono a incident-triage, coordinati non da chiamate di funzione Python dentro un unico processo ma dalla API InvokeAgentRuntime di AgentCore Runtime stesso, perché tutti e quattro continuano a essere distribuiti come risorse Runtime separate e isolate, lo stesso isolamento per cui la Parte 3 aveva scelto AgentCore Runtime fin dall'inizio. Una risorsa AWS in più li lega insieme: una singola istanza di AgentCore Memory, condivisa tra tutti e quattro tramite actor ID, così che una diagnosi scritta da triage alle 3 di notte resti leggibile per l'agente runbook a cui passa la mano pochi secondi dopo, e per qualunque agente guardi il mese prossimo un incidente con questa stessa forma.

AWS ha costruito un sandbox per il codice generato dall'AI: Lambda MicroVMs

Tue, 23 Jun 2026 02:00:00 +0200

Le AWS Lambda MicroVMs sono una nuova primitiva serverless costruita, secondo la formulazione di AWS stessa, per eseguire codice generato da utenti o dall'AI in ambienti isolati e stateful. È quella seconda parola quella da notare. Il lancio non riguarda davvero le funzioni. Riguarda il dare a un agent AI un luogo sicuro dove eseguire il codice che ha appena scritto, e il fatto che AWS abbia aperto con "utenti o AI" ti dice a chi è rivolto.

Il vero limite del tuo sistema multi-agente sono i token al minuto

Sun, 21 Jun 2026 16:00:00 +0200

Amazon Bedrock ora mostra le quote di token al minuto dell'endpoint Mantle nella console standard AWS Service Quotas. Puoi leggere direttamente i limiti per modello di input-tokens-per-minute e output-tokens-per-minute, e richiedere aumenti attraverso lo stesso flusso di lavoro che usi già per tutto il resto in AWS. Sembra un piccolo cambiamento di console. Per chiunque gestisca sistemi multi-agente in produzione, è la differenza tra pianificare la propria capacità e scoprirla come un muro di 429.

L'Estonia sta dando un'identità agli agenti AI. Quella è la parte facile

Sat, 20 Jun 2026 16:00:00 +0200

L'Estonia intende rilasciare identità digitali ufficiali, gli "AI ID code", agli agenti AI. L'ufficio del Primo Ministro Kristen Michal afferma che l'obiettivo è permettere all'AI di "agire per conto di persone, aziende o organizzazioni entro limiti chiaramente definiti e in modo verificabile e auditabile". Se il progetto andrà in porto, l'Estonia diventerà il primo Paese a dare agli agenti AI un'identità riconosciuta dallo Stato. È una mossa genuinamente utile, ed è anche la parte facile. La parte difficile è tutto ciò che l'identità dovrebbe portare con sé.

Le Chaton Fat: il modello AI più ciccione che non sia mai esistito

Thu, 18 Jun 2026 11:00:00 +0200

Ti risparmio la ricerca: non esiste nessun modello chiamato Le Chaton Fat. Niente pesi, niente API, niente benchmark. Non è un leak, non è una roadmap, non è un prodotto Mistral. È una battuta, e negli ultimi giorni è diventata la più divertente che la community AI si sia raccontata da un bel po'.

Visto che alcune persone si sono messe sul serio a cercare il link per il download, credo che la cosa meriti un articolo come si deve. Quindi ecco cosa sta succedendo con il modello più ciccione che non sia mai esistito.

Agents on Call, Parte 4. Tool e il Gateway: MCP, Allowlist, Sola Lettura di Default

Thu, 18 Jun 2026 09:00:00 +0200

Quattro tool ora si trovano dietro un unico AgentCore Gateway invece di essere collegati una funzione Python alla volta in ogni agente: cloudwatch-read, logs-read e cost-read assumono un ruolo in sola lettura in un account spoke e non possono mai modificare nulla, e ssm-execute, l'unico tool mutante della piattaforma, non può nemmeno raggiungere direttamente uno spoke, può solo avviare un'esecuzione di Step Functions che si mette in pausa in attesa dell'approvazione umana su Slack. Quella pausa non è una finezza dell'interfaccia. È l'unico punto dell'intera piattaforma in cui viene generata una credenziale AWS capace di modificare qualcosa in un account spoke, e viene generata solo dopo che una persona clicca approva.

Anche gli Agenti di Coding AI Hanno Bisogno di Ambienti di Staging

Fri, 12 Jun 2026 09:00:00 +0200

Ogni disciplina di ambiente che il tuo team ha costruito per gli umani si applica anche agli agenti di coding, e la maggior parte dei team l'ha silenziosamente abbandonata nel momento in cui l'agente è diventato bravo. La stessa organizzazione che non lascerebbe un nuovo assunto vicino alla produzione il primo giorno consegna a un agente una credenziale di lunga durata e una descrizione del compito, per poi stupirsi quando qualcosa che non doveva succedere succede.

Agents on Call, Parte 3. Primo Agente: Incident Triage in Strands

Thu, 11 Jun 2026 09:00:00 +0200

Il primo agente funzionante di questa serie è circa 260 righe di Python: un Agent Strands, due tool in sola lettura che assumono un ruolo IAM cross-account prima di chiamare boto3, e un system prompt il cui unico compito è impedire al modello di sembrare sicuro di qualcosa che non ha effettivamente verificato. Nessun AgentCore Gateway ancora, nessun supervisore, nessun passaggio di consegne multi-agente: arriveranno nelle parti successive. Questa parte riguarda il far fare a un solo agente un solo lavoro correttamente, distribuito su AgentCore Runtime, prima di aggiungere qualsiasi cosa che ne renda più difficile il debug.

Claude Code in CI: Lasciare che un Agente Aggiusti la Build

Mon, 08 Jun 2026 14:00:00 +0200

Mettere un agente di coding in CI è un problema di progettazione dei permessi travestito da problema di produttività. La meccanica è il lavoro di un pomeriggio: la modalità headless è disponibile da Claude Code 2.0, uscito a settembre 2025, e anthropics/claude-code-action@v1 incapsula tutto in una GitHub Action. Puoi avere un agente che commenta le pull request prima di pranzo. Se debba anche pushare commit è una domanda diversa, ed è l'unica che conta davvero.

Agents on Call, Parte 2. Le Fondamenta: Terraform Prima dei Token

Thu, 04 Jun 2026 09:00:00 +0200

Prima che uno qualsiasi dei quattro agenti della Parte 1 possa guardare un log, quotare un workload o proporre una fix, questa piattaforma ha bisogno di un confine di account e due ruoli IAM che rendano il "sola lettura di default" una proprietà imposta da AWS, non una promessa fatta in un system prompt. Quel confine, la richiesta di accesso ai modelli che deve avvenire giorni prima che chiunque pensi di fare una demo, e la scelta tra inferenza on-demand, provisioned throughput e inference profile cross-region sono ciò che viene costruito in questa parte, interamente in Terraform, prima che esista una sola riga di codice agente.

La Finestra di Contesto Non È Tua Amica

Wed, 03 Jun 2026 10:00:00 +0200

Una finestra di contesto ampia è un limite di capacità, non una strategia di retrieval. Il fatto che un modello accetti diverse centinaia di migliaia di token non significa che li legga con attenzione uniforme, e di certo non significa che tu debba pagare per inviarli tutti. Ogni benchmark sul contesto lungo che si è preso la briga di misurare posizione e lunghezza dice la stessa cosa: l'accuratezza cala man mano che l'input cresce, e le prove sepolte al centro di un prompt sono quelle usate meno.

AWS Monthly (Mag '26): Gli Agenti Ricevono un Portafoglio

Sun, 31 May 2026 19:00:00 +0200

Maggio 2026 è stato il mese in cui AWS ha consegnato agli agenti un portafoglio e ha irrobustito il toolchain che li costruisce. La notizia principale è stata Amazon Bedrock AgentCore Payments in preview, il primo modo gestito perché un agente possa pagare autonomamente per le API, i contenuti e i servizi che usa. Intorno a essa, AWS ha rilasciato l'Agent Toolkit for AWS e ha portato in disponibilità generale un server Model Context Protocol gestito, entrambi mirati a far costruire agli agenti di coding AI su AWS con meno errori e controlli più stretti. Letto nell'insieme, il mese dice che la narrazione sugli agenti sta passando da "riesce a ragionare" a "riesce a transare, e possiamo fidarci degli strumenti che lo costruiscono."

Agents on Call, Parte 1. Lo Scenario: Perché un Team Ops Assume degli Agenti

Thu, 28 May 2026 09:00:00 +0200

Una azienda SaaS B2B di media grandezza, circa 50 ingegneri su una trentina di account AWS, riceve una chiamata on-call circa 40 volte a settimana, e la chiamata ottiene una risposta vera solo dopo 25-35 minuti passati a raccogliere manualmente il contesto: quale account, quale dashboard, quale runbook, e se quel runbook è ancora affidabile. Questo avviene prima che la diagnosi inizi, non al posto suo. Questa serie costruisce la soluzione: una piccola piattaforma di agenti AI che esegue quella prima passata in automatico, legge tutto ciò che gli è permesso leggere, non cambia nulla senza il via libera di un umano, e smette di essere utile nel momento esatto in cui smette di rispettare questa disciplina.

Loggare i Prompt Senza Loggare PII

Wed, 27 May 2026 14:00:00 +0200

Non puoi debuggare un'applicazione LLM senza loggare i prompt, e non puoi tenere quei prompt se sono pieni di nomi, email e numeri di conto. Gli utenti digitano informazioni personali identificabili direttamente nel campo, quindi il log che ti aiuta a capire una risposta sbagliata è anche un archivio crescente di dati regolamentati seduto in CloudWatch o S3 con la retention sbagliata e i controlli di accesso sbagliati. La soluzione non è smettere di loggare. È redigere prima dello storage e mettere una politica di retention su ciò che resta, così il valore di debug sopravvive e la responsabilità legale no.

Adesso

Mon, 25 May 2026 10:00:00 +0200

(Ultimo aggiornamento: maggio 2026)

Scrittura

Pubblico qui note di campo su IA, LLM e ML applicato. Gestisco anche ercan.cloud per cloud e platform engineering, e notizie brevi sull’IA su news.ercan.ai. Sto costruendo awsmonthly.cloud, un digest mensile di notizie AWS (non ancora lanciato).

Consulenza

Seguo un numero ridotto di incarichi di consulenza in IA e ML applicato. Architettura Bedrock, ottimizzazione dei costi LLM, progettazione di pipeline agentiche, guida di piattaforma IA ad interim. Se quello che state sviluppando si sovrappone ai miei temi, contattatemi su LinkedIn.

Consulting & Advisory

Sun, 24 May 2026 10:00:00 +0200

Ogni anno prendo un piccolo numero di incarichi di consulenza. Mi piace questo lavoro. Mi tiene dentro i vincoli reali della produzione, che e dove nascono i pattern utili. Ogni incarico alimenta gli articoli di questo sito, e gli articoli alimentano gli incarichi.

Servizi

Architettura piattaforma Bedrock e LLM. Fondamenta consapevoli dei costi per carichi LLM in produzione. Routing dei modelli, profilazione dell’inferenza, progettazione di guardrail, failover multi-regione. Tu consegni funzionalita, non infrastruttura.
Ottimizzazione dei costi LLM. La maggior parte dei team paga il 60-90% in piu su Bedrock Knowledge Base, OpenSearch Serverless e throughput provisionato perche il modello di prezzo non e ovvio. Io trovo lo spreco, ristrutturo lo stack e ti consegno la dashboard dei costi.
Progettazione di pipeline agentiche. Il passaggio da chat ad agenti. Architettura tool-use, progettazione del loop agente, checkpoint human-in-the-loop, tracing e osservabilita per flussi non deterministici.
S3 Vectors e architettura RAG. Ricerca vettoriale nativa S3, strategia di chunking, selezione del modello di embedding, valutazione del retrieval. Salta il riflesso “aggiungiamo solo un database vettoriale”.

Come lavoro

Per progetto. Hai una funzionalita, una pipeline o una migrazione specifica. La costruisco insieme al tuo team e trasferisco la proprieta con la documentazione.

Chi sono

Sat, 23 May 2026 10:00:00 +0200

Sono Ercan Ermis. Ingegnere senior di piattaforma cloud con sede nei Paesi Bassi. Scrivo qui di IA, LLM, agenti e il lavoro di ingegneria necessario per portarli in produzione.

Come sono arrivato qui

Il primo computer della mia vita è stato un Amstrad con due lettori floppy da 5,25 pollici, Floppy A e Floppy B, comprato da mio padre nel 1986 per la sua attività. La vera storia d’amore è iniziata nel 1998, in quarta elementare, quando la mia insegnante installò Linux su una delle macchine Windows 95 nel laboratorio informatico della scuola e disse “questo è Linux, è software libero”. Poi Pac-Man è apparso su quello schermo nero e per me è stata la fine.

Quando Haiku Batte Opus: Model Right-Sizing su Bedrock

Fri, 22 May 2026 11:00:00 +0200

La maggior parte del traffico LLM in produzione non è difficile. È classificazione, estrazione, riscritture brevi e routing, il tipo di lavoro che un modello piccolo e veloce fa correttamente e a basso costo. Eppure il pattern comune è collegare ogni chiamata al modello più grande disponibile, perché "funziona e basta", e poi chiedersi perché sia la bolletta che la latenza sono alte. Su Amazon Bedrock, Claude Haiku 4.5 e Claude Opus 4.5 sono entrambi disponibili, e il vantaggio ingegneristico non sta nello sceglierne uno, sta nell'instradare per classe di task, così il modello economico gestisce la maggioranza e quello costoso è un percorso di escalation, non un default.

Agentic RAG È per lo Più Latenza Che Non Ti Serve

Mon, 18 May 2026 16:00:00 +0200

Agentic RAG sostituisce un singolo retrieval con un loop: il modello recupera, legge, decide che gli serve altro, recupera di nuovo, e ripete finché non è soddisfatto. Ogni hop è un round trip completo al modello più una ricerca, e gli hop sono sequenziali perché ognuno dipende dal precedente. Per la maggior parte delle domande, questo compra una risposta marginalmente migliore a diverse volte la latenza, quando una query ben costruita avrebbe restituito lo stesso contesto in un solo passaggio. Il retrieval multi-hop è uno strumento vero per una classe ristretta di domande, e un default che triplica silenziosamente il tempo di risposta ovunque altrove.

Evals Prima Degli Agenti: Non Puoi Rilasciare Ciò Che Non Puoi Misurare

Thu, 14 May 2026 13:00:00 +0200

Se non riesci a dare un numero a quanto una modifica ha migliorato o peggiorato il tuo agente, non lo stai facendo ingegneria, lo stai indovinando con qualche passo in più. Il motivo più comune per cui i progetti ad agenti si bloccano non è un modello debole, è l'assenza di un eval harness. Senza uno, ogni piccola modifica al prompt, cambio di tool, o sostituzione di modello viene valutata da qualcuno che guarda a occhio una manciata di output e dichiara che "sembra migliore", che è il modo in cui rilasci una regressione e lo scopri da un utente. Il tabellone deve esistere prima dell'agente, perché non puoi migliorare ciò che non puoi misurare.

Semantic Caching: Due Domande Diverse, Una Risposta

Mon, 11 May 2026 09:00:00 +0200

Una semantic cache risponde a "come resetto la password" con la risposta già generata per "ho dimenticato il login", perché le due domande significano la stessa cosa. Invece di confrontare la stringa esatta di una richiesta, la trasforma in embedding e cerca una richiesta salvata il cui embedding è abbastanza vicino, poi restituisce quella risposta in cache senza chiamare il modello. Quando funziona, salti del tutto una chiamata al modello: niente token, niente latenza, niente costo. Quando sbaglia a giudicare cosa vuol dire "abbastanza vicino", serve una risposta sicura a una domanda che l'utente non ha fatto.

Step Functions È l'Orchestratore di Agenti Più Sottovalutato

Thu, 07 May 2026 15:00:00 +0200

Gran parte di ciò che le persone chiamano agente è in realtà una sequenza fissa di passi con una o due chiamate al modello nel mezzo. Il flusso di controllo è noto in anticipo, ma i team lo affidano comunque al modello, e poi passano settimane a far comportare bene un loop non deterministico. Quando la forma del lavoro è nota, l'orchestratore dovrebbe essere deterministico, e AWS Step Functions è più adatto a quel compito di un loop ad agente scritto a mano. Risolve già retry, timeout, gestione degli errori, parallelismo e approvazione umana, esattamente le cose che un framework ad agenti ti chiede di reimplementare.

Gateway LLM: Perché Ogni Platform Team Ne Costruisce Uno, Prima o Poi

Mon, 04 May 2026 10:00:00 +0200

La prima funzionalità LLM va in produzione come chiamata diretta da un servizio a Bedrock. La decima va in produzione allo stesso modo, da dieci servizi, con dieci set di credenziali, dieci policy di retry, e nessun posto unico dove vedere quanto sta spendendo ciascuno. È il momento in cui un platform team scopre di aver bisogno di un gateway LLM, di solito un trimestre dopo il momento in cui sarebbe stato economico costruirne uno. Un gateway è la porta d'ingresso condivisa attraverso cui passa ogni chiamata al modello, ed esiste per possedere le quattro cose che i singoli team continuano a reinventare male: autenticazione, quota, routing e audit.

AWS Mensile (Apr '26): OpenAI arriva su Bedrock

Thu, 30 Apr 2026 18:00:00 +0200

Aprile 2026 è stato il mese in cui il menu dei modelli su Amazon Bedrock ha cambiato forma. Il titolo non è stata una nuova capacità AWS ma un nuovo inquilino: i modelli frontier di OpenAI, il suo agente di coding Codex, e i Managed Agents alimentati da OpenAI sono arrivati su Bedrock in anteprima limitata. Accanto a questo, AgentCore ha passato il mese ad abbassare lo sforzo necessario per passare da un'idea a un agente funzionante. Lette insieme, le due storie dicono la stessa cosa. Bedrock si sta posizionando come il luogo neutrale dove le aziende fanno girare qualunque modello frontier vogliano, e AWS sta correndo per rendere il flusso di lavoro degli sviluppatori attorno a esso abbastanza veloce da far sì che la scelta del modello sia l'unica decisione rimasta.

Inferenza cross-region: resilienza a basso costo o trappola di residenza?

Sun, 26 Apr 2026 13:00:00 +0200

L'inferenza cross-region di Amazon Bedrock offre un throughput effettivo più alto e meno errori di throttling regionale senza sovrapprezzo di instradamento, il che è quasi resilienza gratuita. La trappola è che un profilo di inferenza globale può inviare il tuo prompt a qualunque regione abbia capacità, e se quel prompt porta dati regolamentati, "ovunque ci sia capacità" non è una risposta che il tuo team di compliance accetterà. La funzionalità è genuinamente utile. Se sia un vantaggio o una violazione dipende interamente da quale tipo di profilo di inferenza scegli, ed è una scelta facile da fare senza leggere cosa comporta.

La tua bolletta LLM è un problema di osservabilità

Tue, 21 Apr 2026 15:00:00 +0200

Quando la tua bolletta Amazon Bedrock sale e nessuno riesce a dire quale feature ne è la causa, non hai un problema di prezzo. Hai un problema di osservabilità. La fattura ti dice che l'account ha speso di più in token. Non ti dice quale agente, quale tenant, o quale percorso di codice ha speso, e senza quell'attribuzione ogni conversazione sui costi è una supposizione. Non puoi ottimizzare ciò che non puoi misurare, e la maggior parte dei team misura il totale e nient'altro sotto di esso.

Batch Inference su Bedrock: metà prezzo se puoi aspettare

Fri, 17 Apr 2026 11:00:00 +0200

Amazon Bedrock fa girare la batch inference al 50 percento del prezzo dei token on-demand, e l'unica cosa a cui rinunci è l'immediatezza. Invii un file di richieste, il job gira in modo asincrono quando c'è capacità, e raccogli i risultati più tardi. Per qualsiasi workload dove nessun umano è seduto lì ad aspettare la risposta, pagare il prezzo pieno per l'inferenza in tempo reale significa lasciare metà dei soldi sul tavolo per una velocità di cui nessuno aveva bisogno.

App LLM multi-tenant: isolare i clienti su un modello condiviso

Mon, 13 Apr 2026 16:00:00 +0200

Quando molti clienti condividono un modello Bedrock, il modello non offre alcun isolamento e non l'ha mai offerto. È una funzione stateless: stesso input, stesso comportamento, nessuna memoria di chi l'ha chiamata. Ogni confine tra i tenant va costruito nei livelli attorno al modello, non atteso da esso. I team sbagliano questo punto, danno per scontato che il servizio gestito gestisca anche la separazione, e mandano in produzione un'app dove i dati, i costi e il carico di un tenant filtrano in quelli di un altro. Il modello condiviso va bene. Il condividere tutto il resto è il problema.

La memoria degli agenti è un problema di database, non di prompt

Thu, 09 Apr 2026 09:00:00 +0200

Un agente che ricorda incollando l'intera cronologia nel prompt successivo non ha memoria. Ha una bolletta crescente, un tetto rigido di token, e una curva di latenza che peggiora a ogni turno. La vera memoria è una decisione di storage: cosa persisti, dove lo metti, e come recuperi solo la fetta rilevante al momento dell'inferenza. Questo è un problema di database, e trattarlo come un problema di prompt è il motivo per cui gli agenti che fanno bella figura in demo crollano alla seconda settimana.

L'output strutturato batte il parsing ingegnoso

Mon, 06 Apr 2026 14:00:00 +0200

Se la tua applicazione estrae ancora JSON dalla prosa del modello con una regex e un ciclo di retry, stai risolvendo un problema che Amazon Bedrock ora risolve a livello di decodifica. Gli structured output, disponibili in generale su Bedrock da febbraio 2026, vincolano il modello a uno JSON Schema mentre genera i token, così la risposta si conforma alla tua struttura per costruzione anziché per speranza. La regex non è mai stata la soluzione. Era il sintomo di chiedere a un modello "per favore restituisci JSON" e poi ripulire quando non lo faceva.

Prompt Caching su Bedrock: lo sconto del 90% che quasi tutti ignorano

Thu, 02 Apr 2026 10:00:00 +0200

Il prompt caching di Amazon Bedrock legge un prefisso in cache con uno sconto di circa il 90 percento, ma una scrittura in cache costa più di un normale token di input, quindi una cache che non riceve mai un hit peggiora la bolletta invece di migliorarla. La funzionalità è disponibile in generale da aprile 2025, e la durata di cache di un'ora arrivata a gennaio 2026 la rende utile per intere sessioni e per i job batch. La maggior parte dei team la lascia comunque disattivata, oppure la attiva nel punto sbagliato e finisce per pagare un sovrapprezzo senza accorgersene. Lo sconto è reale. Se riesci a incassarlo dipende interamente da dove posizioni il breakpoint della cache.

AWS Mensile (Mar '26): La Governance Arriva per gli Agenti

Tue, 31 Mar 2026 20:00:00 +0200

Marzo 2026 è stato il mese in cui AWS ha smesso di spedire capacità per gli agenti e ha iniziato a spedire controlli per gli agenti. I lanci di punta non erano nuovi modelli o demo più appariscenti. Erano i pezzi noiosi e portanti di cui hai bisogno prima che un agente sia ammesso vicino alla produzione: un livello di autorizzazione, un livello di valutazione della qualità, e uno stack sanitario che doveva essere governato per poter esistere. Il pattern lungo tutto il mese è lo stesso che colpisce ogni tecnologia quando cresce. Il lavoro interessante si sposta da "riesce a fare la cosa" a "puoi dimostrare cosa ha fatto e impedirgli di fare quella sbagliata".

Le Risposte in Streaming Sono una Decisione UX, Non di Performance

Tue, 24 Mar 2026 15:00:00 +0200

Lo streaming non rende il tuo modello più veloce. Rende l'attesa più breve percepita. Il tempo totale per generare una risposta è quasi identico che tu la trasmetta in streaming o no. Ciò che lo streaming cambia è quando l'utente vede il primo token, e quel singolo numero, il time to first token, guida l'intera percezione di velocità. Tratta lo streaming come una decisione UX, perché è esattamente quello che è, e farai scelte migliori su quando usarlo e quando invece danneggia attivamente.

Bedrock Agents vs Costruire il Proprio Loop

Wed, 18 Mar 2026 10:00:00 +0200

Un framework di agenti gestito scambia il controllo con la velocità, e lo scambio ne vale la pena fino al giorno in cui smette di valerne. Amazon Bedrock Agents esegue per te il loop reason-act: pianifica, decide quale tool chiamare, lo invoca, restituisce il risultato al modello, e ripete finché il task non è completato. Quello è lavoro vero che non devi scrivere. La domanda non è se ti fa risparmiare tempo. È se le parti che nasconde sono parti che puoi permetterti di smettere di vedere.

IAM per App LLM: Least Privilege Quando il Chiamante È un Modello

Sat, 14 Mar 2026 17:00:00 +0200

Un agente è un chiamante che non puoi prevedere completamente, il che è esattamente il tipo di chiamante che dovrebbe avere il minimo privilegio. L'istinto con un nuovo agente è dargli un ruolo ampio così "funziona e basta" mentre iteri. Quell'istinto è come finisci con un language model che detiene credenziali capaci di leggere ogni bucket e cancellare ogni tabella, guidato da testo che un attaccante può influenzare. Il least privilege è sempre stata la regola. Un chiamante non deterministico la rende non negoziabile.

Qualcuno ha Registrato antrophic.com e lo Punta Direttamente a OpenAI

Wed, 11 Mar 2026 12:34:48 +0300

Un dominio typosquattato, un redirect sospetto e un po' troppo per essere definito una coincidenza.

Ecco il dominio vero: anthropic.com. L'azienda di AI safety dietro Claude, fondata da ex ricercatori OpenAI, che fa un lavoro genuinamente importante per rendere i sistemi AI sicuri e interpretabili.

Ora prova a digitarlo male. Togli la seconda "h". Ottieni antrophic.com, un dominio che esiste, è registrato e, secondo molteplici segnalazioni, reindirizza direttamente a openai.com.

Smetti di Fare Fine-Tuning. Ti Servono RAG, una Cache e Prompt Migliori

Mon, 09 Mar 2026 11:00:00 +0200

Per la maggior parte dei team che si rivolgono al fine-tuning su Amazon Bedrock, la risposta corretta è retrieval, una prompt cache e prompt migliori, in quest'ordine. Il fine-tuning è lo strumento da considerare dopo che questi tre sono esauriti, non prima. Il motivo non è ideologico. È il conto. Un modello con fine-tuning personalizzato su Bedrock deve essere servito tramite Provisioned Throughput, e quel modello di pricing cambia l'economia dell'intera applicazione.

Il Chunking della Knowledge Base È Dove Muore la Qualità del Tuo RAG

Thu, 05 Mar 2026 14:00:00 +0200

Quando un sistema RAG dà una risposta sbagliata o solo parzialmente corretta, il modello di solito non è la causa. È il chunking. Se il passaggio che contiene la risposta non finisce mai nel contesto recuperato, nessun modello può rispondere partendo da esso, e nessuna quantità di prompt tuning cambia questo fatto. Il chunking decide cosa può essere recuperato in assoluto, il che lo rende la prima cosa da ispezionare e l'ultima che la maggior parte dei team guarda.

Bedrock Guardrails Non Ti Salva Dal Prompt Injection

Tue, 03 Mar 2026 09:00:00 +0200

Amazon Bedrock Guardrails è un filtro sui contenuti, non un confine di sicurezza. Classifica il testo rispetto a policy su argomento, tossicità e PII e blocca ciò che supera una soglia. Questo è genuinamente utile per evitare che un bot di supporto clienti parli di un concorrente o riveli un numero di telefono. Non è quello che ferma un prompt injection dal trasformare il tuo agente in un confused deputy, perché il prompt injection è un problema di autorizzazione e Guardrails non autorizza nulla.

Tagliare i Costi di Amazon Bedrock Knowledge Base del ~90%: Migrare da OpenSearch Serverless ad Aurora Serverless v2 con pgvector

Sat, 21 Feb 2026 21:30:00 +0300

TL;DR

Se gestisci una Amazon Bedrock Knowledge Base supportata da OpenSearch Serverless (AOSS), stai pagando un minimo di ~$700/mese prima ancora di caricare un singolo documento. Per la maggior parte dei carichi di lavoro RAG di piccole e medie dimensioni, sostituire AOSS con Aurora PostgreSQL Serverless v2 con l'estensione pgvector riduce quel minimo a meno di $50/mese, un risparmio di circa il 90%; rimanendo un vector store completamente supportato e di prima classe per Bedrock Knowledge Bases.

AWS Monthly (Dic '25): Inizia l'Era Kiro

Wed, 31 Dec 2025 20:23:45 +0300

Abbiamo chiuso l'anno con la disponibilità generale di Kiro (Frontier Agents). Kiro non è solo un chatbot; è un Virtual Software Development Team.

Tecnicamente, Kiro è un Autonomous Coding Agent. Puoi assegnargli un ticket da Jira e lui:

Recupera il contesto dai tuoi repository Git.
Bozza l'implementazione in una sandbox sicura.
Esegue i test unitari e di integrazione.
Invia la Pull Request per la tua revisione.

Comprende il contesto dell'intero codebase, non solo un singolo file. Abbiamo anche visto il lancio dei Database Savings Plans, che finalmente aggregano la spesa su RDS, Aurora e DynamoDB in un unico impegno flessibile.

AWS re:Invent 2025: L'Era "Agentic"

Sun, 14 Dec 2025 20:25:19 +0300

Se il 2024 è stato l'anno in cui parlavamo con gli LLM, re:Invent 2025 è stato quello in cui li abbiamo lasciati fare davvero il lavoro. Ecco il resoconto completo degli annunci più significativi.

1. La Famiglia di Modelli Amazon Nova 2

AWS non ha solo aggiornato i modelli; ha costruito una flotta specializzata per diversi ruoli agentic:

Nova 2 Lite: Ottimizzato per velocità e costo. Uguale o migliore di Gemini Flash 2.5 su 14/18 benchmark.
Nova 2 Pro: Il peso massimo del "Ragionamento". Ideale per task complessi multi-step e pianificazione a lungo termine.
Nova 2 Sonic: Un modello speech-to-speech per AI conversazionale a bassa latenza.
Nova 2 Omni: La vera star multimodale. Elabora testo, immagini, video e voce simultaneamente con una finestra di contesto di 1M token.
Nova Act: Generally Available e progettato per l'automazione UI (task basati su browser) con affidabilità superiore al 90%.

2. Silicio Personalizzato: Graviton5 & Trainium3

La storia dell'hardware riguardava il disaccoppiamento delle prestazioni dal costo:

AWS Monthly (Ott '25): Industrializzare l'Addestramento AI

Fri, 31 Oct 2025 20:18:03 +0300

Ottobre è stato la "calma prima della tempesta di re:Invent," ma ha portato la presentazione del Project Rainier.

Project Rainier è un enorme cluster di calcolo AI con oltre 500.000 chip Trainium2. Tecnicamente, è uno dei più grandi ambienti di addestramento AI dedicati sul pianeta. Per noi, significa l'"Industrializzazione dell'AI." Il rapporto prezzo-prestazioni di Trainium2 via Neuron SDK è ora significativamente migliore rispetto alle istanze GPU comparabili per carichi di lavoro transformer.

AWS Monthly (Giu '25): S3 Diventa il Tuo Vector DB

Mon, 30 Jun 2025 20:08:00 +0300

Giugno ha visto un cambiamento tettonico nello stack dati AI con l'anteprima di Amazon S3 Vector Search.

Negli ultimi due anni ci hanno detto che serviva un database vettoriale specializzato (Pinecone, Milvus, ecc.) per la Retrieval-Augmented Generation (RAG). AWS ha semplificato l'equazione: "Memorizza i tuoi vettori su S3." Tecnicamente, questo aggiunge un layer di indicizzazione vettoriale nativo ai bucket S3. Puoi memorizzare gli embedding come metadati sugli oggetti ed eseguire ricerche KNN (K-Nearest Neighbor) direttamente via API.

AWS Monthly (Feb '25): Evoluzione Automatica del Codice

Fri, 28 Feb 2025 19:49:00 +0300

Febbraio è stato il mese in cui Amazon Q Developer ha smesso di essere un "aiutante" e ha iniziato a comportarsi come un "senior engineer". La notizia principale è stata il lancio del Refactoring guidato da Q.

Non si tratta solo di completamento base del codice. Tecnicamente, Q ora utilizza una combinazione di Symbolic AI e LLM per eseguire il mapping completo delle dipendenze del repository. Può gestire autonomamente migrazioni complesse, come il refactoring di un microservizio legacy Java 8 a Java 21. Identifica librerie deprecate, suggerisce alternative moderne e riscrive il boilerplate per allinearsi ai design pattern moderni, come l'Hexagonal Architecture.