Kontextus ablak menedzsment
Minden modell rendelkezik egy véges token-kapacitással, amelyet kontextus ablaknak nevezünk. Az optimalizálás során elengedhetetlen a releváns információk sűrítése. A felesleges töltelékszavak eltávolítása és a kulcsszó-alapú sűrítés lehetővé teszi, hogy több adatot vigyünk be a modell memóriájába anélkül, hogy az elveszítené a fonalat a párbeszéd végén.
128k Modern ablakméret (Token)
15% Hatásfok növekedés
0.02s Válaszidő csökkenés
A sűrítés módszerei:
- Token-takarékos szintaxis: Kerülje a passzív szerkezeteket és a többszörösen összetett mondatokat.
- Strukturált Markdown: Használjon fejléceket és listákat a hierarchia egyértelműsítéséhez.
- Relevancia-szűrés: Csak a feladathoz közvetlenül kapcsolódó adatokat illessze be a promptba.
- RAG (Retrieval-Augmented Generation): Külső adatbázisok használata a kontextus dinamikus bővítéséhez. További részletek az oktatási eszközök oldalon.