Proč AI zapomíná uprostřed konverzace (a jak na to)

Rozjedete s AI dlouhou konverzaci. Na začátku jí dáte přesné zadání — tón, formát, tři věci, kterých se má vyvarovat. O dvacet zpráv později model klidně poruší pravidlo, které jste mu vysvětlili jako první. Máte pocit, že vám zapomněl, co jste na úvod domluvili. A přesně tak to i vypadá.

Není to náhoda ani chyba. Je to dobře zdokumentovaná vlastnost jazykových modelů: informace uprostřed dlouhého vstupu se ztrácejí. Výzkumníci pro to mají název — „lost in the middle", ztraceno uprostřed. Model si nejlépe pamatuje začátek a konec toho, co dostal, a to mezi tím čte jakoby přes mlhu.

Tenhle text vysvětluje, proč se to děje, proč větší kontextové okno problém neřeší tak, jak byste čekali, a hlavně — jak si kontext udržet v praxi. Tři konkrétní techniky (shrnování, RAG, chunking) plus prompty, které fungují už dnes.

AI ve skutečnosti nemá žádnou paměť

Začněme u kořene nedorozumění. Jazykový model si mezi zprávami nic nepamatuje. Nemá paměť v tom smyslu, v jakém si ji představujeme u člověka nebo u aplikace, která si ukládá stav. Každý dotaz zpracuje od nuly.

Jak tedy chatbot ví, co jste psali před chvílí? Odpověď je nenápadná, ale zásadní: rozhraní mu při každé nové zprávě posílá celou dosavadní konverzaci znovu. Celou. Vaše první zadání, všechny odpovědi, každou vaši poznámku — to vše se sbalí do jednoho velkého vstupu a pošle modelu dohromady s novou otázkou.

Prostor, do kterého se tenhle text vejde, se jmenuje kontextové okno. Měří se v tokenech — kousíčcích slov, kde zhruba platí, že jeden token odpovídá třem až čtyřem znakům češtiny. Kontextové okno si představte jako pracovní stůl modelu: vejde se na něj jen tolik papírů, kolik má plochu. Co se nevejde, spadne na zem a model to nevidí.

Náklady s tím souvisejí přímo. Účtuje se za každý token na vstupu i výstupu, takže dlouhá historie znamená, že platíte za znovuposlání celé konverzace u každé jediné zprávy. Kdo chce rozumět ekonomice, ať se podívá na náklady AI podle tokenů — právě kontext bývá největší skrytá položka účtu.

Lost in the middle: slepé místo uprostřed

Teď to zajímavé. I když se všechno pohodlně vejde do okna, model nezachází se všemi částmi stejně. Přesnost, s jakou dokáže vytáhnout konkrétní fakt, závisí na tom, kde v textu ten fakt leží.

Výsledkem je charakteristická U-křivka: informace na začátku a na konci vstupu model najde spolehlivě, zatímco u těch uprostřed přesnost výrazně padá — podle měření o 20 až 40 procent. Je to pozoruhodně podobné tomu, jak funguje lidská paměť. I člověk si z dlouhého seznamu nejlíp vybaví první a poslední položky a ty prostřední mu splynou.

Standardní způsob, jak se tohle měří, se jmenuje „jehla v kupce sena" (needle in a haystack). Do dlouhého textu se schová jedna konkrétní věta a model se pak zeptá na její obsah. Test odhalí, jestli model informaci najde bez ohledu na to, kam ji zasadíte. A výsledky napříč modely potvrzují totéž: pozice rozhoduje.

Velké okno neznamená dobrou paměť

Tady je nejčastější omyl. Marketingová čísla dnes hlásí milionová okna — GPT-5.4 i Gemini 3.1 Pro zvládnou milion tokenů, Claude Opus 4.6 přijme dvě stě tisíc na vstupu. Zní to, jako by paměť přestala být problém. Není to tak.

Velké okno říká, kolik textu model přijme, ne kolik ho dokáže spolehlivě použít. Rozdíl mezi deklarovanou a efektivní kapacitou je jádro věci. Vejít se dovnitř neznamená být vidět.

Platí přitom nenápadné pravidlo: nad zhruba 200 tisíci tokeny u většiny špičkových modelů začíná mít cílené vyhledání nad menší sadou úryvků navrch nad tím, když do okna naslepo naházíte celý dokument. Nad 400 tisíci tokenů vyhledávání skoro vždy vyhrává. Víc kontextu tedy neznamená lepší odpověď — často je to naopak.

Souvisí to i se spolehlivostí obecně. Čím víc balastu model v kontextu má, tím větší prostor pro to, aby si domýšlel. Delší, přeplněný vstup je jedním z tichých spouštěčů toho, o čem píšeme v článku jak ověřit výstup AI a chytit halucinace.

Tři techniky, jak si kontext udržet

Dobrá zpráva: problém má praktická řešení a nepotřebujete k nim doktorát. Vystačíte se třemi principy, které jdou kombinovat.

1. Shrnování (komprese historie)

Když konverzace roste, průběžně ji zhušťujte. Místo aby model táhl stovky zpráv, čas od času ho požádejte, ať dosavadní jednání shrne do několika bodů — rozhodnutí, otevřené otázky, dohodnutý formát. Dál pak pokračujete nad tímhle shrnutím, ne nad celou stopou. Ušetříte tokeny a zároveň vytáhnete podstatné na povrch, kam model dohlédne.

2. RAG (vyhledání relevantního)

Retrieval-Augmented Generation obrací logiku naruby. Nedáváte modelu všechno, dáváte mu jen to, co se k dotazu hodí. Dokumenty se předem rozsekají a uloží; při každé otázce systém vyhledá pár nejrelevantnějších úryvků a vloží do promptu jen ty. Model tak pracuje nad čistou, malou sadou faktů. Celý princip rozebíráme v článku o RAG a retrieval-augmented generation.

3. Chunking (chytré dělení)

Kvalita RAG stojí a padá s tím, jak dokument rozdělíte na kousky. Špatný chunking rozřízne větu v půli nebo utrhne tabulku od jejího nadpisu a vyhledávání pak vrací nesmysly. Dobrý chunking respektuje strukturu — dělí po odstavcích, sekcích, logických celcích — a k úryvkům přidává metadata (odkud pocházejí, čeho se týkají). Chytré dělení je často rozdíl mezi RAG, který funguje, a tím, který jen předstírá.

Jak psát prompty, aby AI nezapomínala

Ne vždy stavíte systém s vyhledáváním. Často jen píšete jeden delší prompt do chatu — a i tam se dá U-křivce vyhnout jednoduchými zvyky.

Nejdůležitější pravidlo zní: kritické instrukce a klíčová data patří na konec. Konec vstupu je pozice s nejvyšší přesností, takže to, na čem opravdu záleží, dejte úplně dolů, těsně před samotnou otázku. Dlouhý referenční materiál nahoru, zadání dolů.

Pomáhá i strukturovat vstup nadpisy a oddělovači. Když má prompt jasné sekce („KONTEXT", „PRAVIDLA", „ÚKOL"), model se v něm orientuje líp než v jednolité zdi textu. A u opravdu dlouhých zadání se osvědčí kritické pravidlo zopakovat na začátku i na konci — pojistíte tím obě strany U-křivky. Další techniky sbírá průvodce prompt engineeringem.

Kdy stačí shrnutí a kdy je čas na RAG

Praktické rozhodnutí je jednodušší, než vypadá. Řiďte se objemem a stálostí dat.

Pokud jde o jednu konverzaci, která se prodlužuje, vystačíte si se shrnováním a s tím, že klíčové věci držíte na konci. Žádnou infrastrukturu nepotřebujete. Jakmile ale pracujete s rozsáhlou a stálou znalostní bází — firemní dokumentace, tisíce produktů, právní texty — je čas na RAG s pořádným chunkingem. Hranici si pamatujte zhruba u dvou set tisíc tokenů: nad ní cílené vyhledání většinou vyhraje nad tím, hodit modelu všechno naráz.

Volba modelu do toho mluví taky. Různé modely mají různě spolehlivý efektivní kontext, ne jen různě velké okno — což je jedno z kritérií, jak vybrat ten správný AI model pro konkrétní úlohu.