Le stockage n'est pas gratuit. La compression Zstd transparente réduit les coûts de stockage pour les formats compressibles tout en sautant intelligemment les fichiers déjà compressés. Le ramasse-miettes de blobs récupère l'espace des blobs orphelins en utilisant une approche hybride : comptage de références pour le nettoyage immédiat et mark-and-sweep pour les vérifications de cohérence périodiques.
Compression Zstd transparente
La compression est complètement transparente. Les appelants du backend de stockage ne savent pas si les fichiers sont compressés. Le backend compresse à l'écriture et décompresse à la lecture. Le format de blob FLIN utilise des octets magiques (FLINBLB\0) pour identifier les blobs compressés.
La compression est intelligente : elle saute les fichiers plus petits que 1 Ko et les formats déjà compressés (JPEG, ZIP, MP4, etc.). Si la compression n'aide pas (données incompressibles), le fichier original est stocké sans l'en-tête FLIN.
Ramasse-miettes de blobs
Comptage de références gère le cas courant. Quand destroy est appelé sur une entité, le runtime identifie les champs fichier, décrémente leurs compteurs de références et supprime les blobs qui atteignent zéro références.
Mark-and-sweep gère les cas limites. Des balayages périodiques scannent tous les blobs en stockage, vérifient lesquels sont référencés par des entités vivantes et suppriment les blobs non référencés ayant dépassé une période de grâce (par défaut : 1 heure).
Impact combiné
| Optimisation | Impact |
|---|---|
| Compression Zstd (fichiers texte) | Réduction de taille de 60-70 % |
| Déduplication (mêmes fichiers) | Réduction de 100 % pour les doublons |
| GC (entités supprimées) | Récupère 100 % du stockage orphelin |
| Saut intelligent (images/vidéo) | Zéro gaspillage CPU sur fichiers incompressibles |
Ceci est la partie 134 de la série « Comment nous avons construit FLIN », documentant comment un CEO à Abidjan et un CTO IA ont conçu et construit un langage de programmation à partir de zéro.
Navigation de la série : - [133] Auto-conversion sémantique - [134] Compression Zstd et ramasse-miettes de blobs (vous êtes ici) - [135] Génération d'aperçus de fichiers