Chunking

Chunking to proces dzielenia treści na samodzielne, semantycznie spójne fragmenty (chunki), które model językowy może wyciągnąć, przetworzyć i zacytować niezależnie od otaczającego kontekstu.

W systemach RAG (Retrieval Augmented Generation) model nie czyta całej strony, tj. pobiera najbardziej relewantne chunki i na ich podstawie generuje odpowiedź. Chunk, który wymaga znajomości poprzedniego akapitu, żeby mieć sens, jest dla AI bezużyteczny. Poprawny chunking oznacza, że każdy akapit lub sekcja jest zrozumiała i odpowiada na pytanie samodzielnie.