Los modelos de embedding tienen ventanas de contexto. Los mejores modelos de código abierto aceptan 512 tokens. Algunos aceptan 8,192. Ninguno acepta 50,000. Cuando un usuario sube un PDF de 50 páginas, no se puede embeber el documento entero como un solo vector.
El chunking resuelve esto dividiendo documentos en piezas que quepan dentro de la ventana de contexto del modelo de embedding. Pero el chunking no es simplemente "dividir cada N caracteres". Un mal chunking destruye el significado.
La Sesión 221 implementó el módulo de chunking de FLIN: el puente entre la extracción de documentos (que produce texto crudo) y la generación de embeddings (que requiere entradas de longitud limitada). Veinte pruebas, 400 líneas de Rust y dos estrategias de chunking que manejan todo, desde contratos legales hasta código fuente.
Chunking recursivo por caracteres
La configuración predeterminada es 1,000 caracteres por chunk con 200 caracteres de solapamiento. Estos números provienen de la observación empírica a través de diferentes modelos de embedding.
Chunking por límites de oración
La segunda estrategia divide en límites de oración. Esto produce chunks que son más semánticamente coherentes porque cada chunk contiene oraciones completas.
Seguridad UTF-8
La función usa chars().count() en lugar de len() e indexa en un Vec<char> en lugar de slices de bytes. Esto es crítico para contenido multilingüe. Un documento en francés con caracteres acentuados, un documento en japonés con kanji multi-byte o un documento con emoji todos se dividen correctamente.
Esta es la Parte 130 de la serie "Cómo construimos FLIN", que documenta cómo un CEO en Abidjan y un CTO de IA diseñaron y construyeron un lenguaje de programación desde cero.
Navegación de la serie: - [129] Grants de descarga y claves de acceso - [130] Estrategias de chunking de texto (estás aquí) - [131] Integración chunk-embedding