Analyse de documents : PDF, DOCX, CSV, JSON, YAML

Le RAG n'est aussi bon que les données qu'il récupère. Si votre base de connaissances est une collection de fichiers PDF, de documents Word et de tableurs CSV, vous devez extraire le texte avant de pouvoir le transformer en embeddings et le rechercher. Dans une pile RAG typique, cela nécessite des bibliothèques d'analyse séparées : pdfjs-dist pour les PDF, mammoth pour les DOCX, csv-parse pour les CSV, chacune avec sa propre API et ses propres cas limites.

FLIN fournit une seule fonction parse_document() qui gère tous les formats de documents courants. Donnez-lui un fichier, récupérez du texte structuré. Pas de sélection de bibliothèque. Pas de détection de format. Pas de devinette d'encodage.

La fonction parse_document()

flin// Analyser tout format pris en charge
result = parse_document("path/to/document.pdf")

// Structure du résultat
result.text       // Texte extrait complet
result.metadata   // Métadonnées du document (titre, auteur, pages, etc.)
result.format     // Format détecté ("pdf", "docx", "csv", etc.)
result.pages      // Tableau de textes par page (pour PDF)
result.sections   // Tableau de sections avec titres (pour DOCX)
result.rows       // Tableau d'objets lignes (pour CSV)

Le type de retour s'adapte au format du document tout en maintenant un champ text commun qui contient toujours le texte extrait complet. Ce champ text est ce que vous passez typiquement au pipeline d'embeddings.

Analyse PDF

Le PDF est le format le plus complexe à analyser. Le texte peut être dans des positions arbitraires, les polices peuvent encoder les caractères de manière non standard, et le contenu peut être dans des images plutôt que dans des flux de texte.

flinresult = parse_document("annual-report.pdf")

// Texte complet
full_text = result.text

// Accès par page
for page in result.pages {
    log_info("Page {page.number}: {page.text.len} caractères")
}

// Métadonnées
title = result.metadata.title        // "2025 Annual Report"
author = result.metadata.author      // "ZeroSuite Inc."
page_count = result.metadata.pages   // 47

Analyse DOCX

Les documents Word stockent le contenu en XML à l'intérieur d'une archive ZIP. FLIN extrait le texte, les titres et le formatage de base. L'analyseur préserve la structure du document : titres avec leur niveau, paragraphes séparés par des sauts de ligne, listes avec préfixes, tableaux extraits comme tableaux de tableaux.

Analyse CSV

Les fichiers CSV sont analysés en lignes structurées avec détection automatique des en-têtes. L'analyseur gère la détection des en-têtes, les champs entre guillemets, la détection d'encodage (UTF-8, UTF-16, Latin-1) et la détection du délimiteur (virgules, points-virgules, tabulations, pipes).

Analyse JSON et YAML

Les formats de données structurées sont analysés et aplatis en texte pour l'embedding. La représentation textuelle aplatit les structures imbriquées en paires clé-valeur lisibles, ce qui produit de meilleurs embeddings que le JSON brut.

Le pipeline d'ingestion de documents

L'analyse est typiquement la première étape d'un pipeline d'ingestion de documents :

flin// app/api/documents/upload.flin

guard auth
guard role("admin")

route POST {
    validate {
        file: file @required @max_size("50MB")
            @allow_types("application/pdf",
                "application/vnd.openxmlformats-officedocument.wordprocessingml.document",
                "text/csv", "application/json", "text/yaml")
        title: text @required
        category: text
    }

    // Stocker le fichier
    file_path = save_file(body.file, ".flindb/documents/")

    // Analyser le document
    parsed = parse_document(file_path)

    // Découper pour l'embedding
    chunks = chunk_text(parsed.text, {
        max_size: 500,
        overlap: 50,
        strategy: "paragraph"
    })

    // Sauvegarder les métadonnées du document
    doc = Document {
        title: body.title,
        file_path: file_path,
        format: parsed.format,
        page_count: parsed.metadata.pages || 0,
        category: body.category || "general",
        full_text: parsed.text
    }
    save doc

    // Sauvegarder les chunks avec les embeddings
    for chunk in chunks {
        save DocumentChunk {
            document_id: doc.id,
            content: chunk.text,              // semantic text
            page: chunk.page || 0,
            position: chunk.position
        }
    }

    response {
        status: 201
        body: {
            id: doc.id,
            title: doc.title,
            format: parsed.format,
            chunks: chunks.len,
            pages: parsed.metadata.pages || 0
        }
    }
}

Téléverser un fichier. L'analyser. Le découper. Générer les embeddings et indexer les chunks. Rechercher dans tous les documents téléversés. Le pipeline entier fait 40 lignes de code FLIN.

Résumé des formats pris en charge

L'analyse de documents est le fondement sans glamour de tout système RAG. Sans extraction de texte propre et structurée, les embeddings sont médiocres et les résultats de recherche sont non pertinents. Les analyseurs intégrés de FLIN garantissent que le texte entrant dans le pipeline d'embeddings est propre, structuré et fidèle au document original.

Dans le prochain article, nous explorons le découpage conscient du code -- comment FLIN divise les documents en chunks appropriés pour l'embedding tout en respectant les frontières sémantiques.

Ceci est la partie 121 de la série « Comment nous avons construit FLIN », documentant comment un CEO à Abidjan et un CTO IA ont conçu et construit un langage de programmation à partir de zéro.

Navigation de la série : - [120] RAG : récupération, reclassement et attribution des sources - [121] Analyse de documents : PDF, DOCX, CSV, JSON, YAML (vous êtes ici) - [122] Découpage conscient du code pour le RAG - [123] Recherche hybride de documents : BM25 + sémantique