Paper
25 · ricerca, letta per teRicerca letta per te: prendo un paper che conta, spiego perché conta per te e dove approfondire — senza gergo, con i link agli originali.
La metà che manca: quanto è completo quello che scrive l'AIUn paper di Meta costruisce un benchmark per la completezza fattuale dei testi generati. Il modello migliore copre il 58% dei fatti che dovrebbe.Paper: Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual CompletenessEmergenza o miraggio? Le abilità che «compaiono» con la scalaDue paper in dialogo sulle abilità che sembrano apparire di colpo nei modelli grandi; una lezione su come si leggono i grafici.Paper: Emergent Abilities of Large Language ModelsChain-of-Thought: perché «ragiona passo passo» funziona davveroIl paper del 2022 che ha dato un nome al trucco più usato del prompting, e ha mostrato che funziona solo da una certa scala in su.Paper: Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsConstitutional AI: regole scritte invece di correzioni una per unaCome si addestra un modello a criticarsi contro una lista di principi; da dove viene il carattere di un assistente come Claude.Paper: Constitutional AI: Harmlessness from AI FeedbackGAIA: il banco di prova delle domande da assistente veroDomande facili per una persona e difficili per un'AI: cercare, incrociare, contare; il termometro più onesto per gli assistenti generali.Paper: GAIA: a benchmark for General AI AssistantsGenerative Agents: il paese dei venticinque agentiL'esperimento con gli agenti che vivono, ricordano e si organizzano una festa; cosa ha insegnato su memoria e pianificazione.Paper: Generative Agents: Interactive Simulacra of Human BehaviorLLM come giudice: quanto fidarsi del voto di un modelloUn modello forte può valutare le risposte di un altro quasi come un umano, ma con storture note; le regole per usarlo senza ingannarsi.Paper: Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaLost in the Middle: il contesto lungo ha dei buchiI modelli leggono meglio l'inizio e la fine di quello che gli dai, e perdono il centro; cosa significa per come ordini il materiale nei prompt.Paper: Lost in the Middle: How Language Models Use Long ContextsQuando l'agente dimentica le cose che contanoUn agente di memoria proattiva che decide cosa tenere e quando iniettarlo nei compiti lunghi, dove lo stato rilevante si perde oltre la finestra di contesto.Paper: Remember When It Matters: Proactive Memory Agent for Long-Horizon AgentsPrompt injection indiretta: il documento che dà ordiniL'attacco in cui istruzioni nascoste dentro i contenuti che l'AI legge ne dirottano il comportamento; la teoria dietro una difesa pratica.Paper: Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt InjectionRAG: dare al modello una bibliotecaIl paper originale del retrieval-augmented generation, e cosa è diventato: la base di ogni «chatta con i tuoi documenti».Paper: Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksReAct: pensare e agire, a turniLo schema che alterna ragionamento e azione e sta sotto quasi tutti gli agenti di oggi, spiegato con l'agente minimo in mano.Paper: ReAct: Synergizing Reasoning and Acting in Language ModelsReflexion: l'agente che impara dai propri erroriAggiungere una critica scritta di sé stessi fra un tentativo e l'altro migliora i risultati; cosa significa per i tuoi giri di correzione.Paper: Reflexion: Language Agents with Verbal Reinforcement LearningScaling laws: perché i modelli crescono cosìDa Kaplan a Chinchilla, la scoperta che dati e parametri vanno scalati insieme, e perché un modello piccolo ben nutrito batte un gigante affamato.Paper: Training Compute-Optimal Large Language Models (Chinchilla)Self-Consistency: la maggioranza delle stradeCampionare più ragionamenti e tenere la risposta più frequente; l'antenato del «provaci tre volte e confronta».Paper: Self-Consistency Improves Chain of Thought Reasoning in Language ModelsSleeper Agents: il difetto che l'addestramento non toglieModelli con un comportamento nascosto che sopravvive all'addestramento di sicurezza; perché «sembra a posto» non basta.Paper: Sleeper Agents: Training Deceptive LLMs that Persist Through Safety TrainingSWE-bench: misurare gli agenti sul codice veroIl banco di prova fatto di issue GitHub reali; come si legge una percentuale su SWE-bench e cosa la può gonfiare.Paper: SWE-bench: Can Language Models Resolve Real-World GitHub Issues?Sycophancy: il modello che ti dà ragioneI modelli tendono ad assecondare le tue opinioni; come questo inquina le tue verifiche e come neutralizzarlo.Paper: Towards Understanding Sycophancy in Language ModelsToolformer: quando il modello impara a usare gli strumenti da séIl paper che ha aperto la stagione dei tool: il modello decide da solo quando chiamare una calcolatrice o una ricerca, e come usarne il risultato.Paper: Toolformer: Language Models Can Teach Themselves to Use ToolsTree of Thoughts: esplorare prima di rispondereFar generare e valutare più strade batte la prima risposta secca sui problemi che richiedono di pianificare; e quando vale il costo.Paper: Tree of Thoughts: Deliberate Problem Solving with Large Language ModelsTruthfulQA: quanto un modello ripete le leggendeIl banco di prova delle false credenze comuni; perché i modelli le assorbono e cosa c'entra con il tuo fact-checking.Paper: TruthfulQA: Measuring How Models Mimic Human FalsehoodsVoyager: l'agente che colleziona abilitàIn Minecraft, un agente che scrive e conserva le proprie abilità riusabili; l'idea dietro le librerie di prompt e le skill.Paper: Voyager: An Open-Ended Embodied Agent with Large Language ModelsPerché gli agenti sbagliano — e cosa ci insegnaQuando dai un compito a più agenti AI, dove si rompe la catena? Quasi mai nel modello, quasi sempre nei passaggi.Paper: Understanding Failure Modes in Multi-Agent SystemsMemoria e contesto: lo stato dell'arteCosa un agente «ricorda» davvero, cosa dimentica, e perché la memoria non è un disco ma una scelta di design.Paper: A Survey on Memory Mechanisms in the Era of LLMsValutare un agente senza benchmarkI benchmark misurano medie; a te serve sapere se funziona sul tuo caso. Come costruirti una valutazione utile.Paper: Evaluating Language-Model Agents on Realistic Tasks