RagPrepKit prépare les documents pour les pipelines RAG et LLM
RagPrepKit est une boîte à outils Python open source pour les pipelines de génération augmentée par récupération (RAG) et de grands modèles de langage (LLM). Elle prend en charge le nettoyage, le découpage, l’extraction de métadonnées, l’estimation des tokens et l’analyse des coûts.
Démarrer Voir sur GitHub Paquet PyPICe que fait RagPrepKit
RagPrepKit transforme des documents bruts en texte nettoyé et découpé, avec métadonnées et comptage des tokens, à l’aide d’une seule boîte à outils Python.
Nettoyage de texte
Supprimez automatiquement la mise en forme superflue, normalisez le texte et améliorez la qualité des documents avant l’ingestion.
Stratégies de découpage
Découpez les documents en segments cohérents, optimisés pour la recherche, les embeddings et le traitement par les modèles de langage.
Extraction de métadonnées
Extrayez des métadonnées utiles pour améliorer la recherche, le filtrage, la précision de la récupération et la gestion documentaire.
Estimation des tokens et des coûts
Estimez la consommation de tokens et les coûts LLM potentiels avant de traiter de grands jeux de données.
Fonctionnalités
- Nettoyage et normalisation du texte
- Plusieurs stratégies de découpage
- Découpage récursif
- Découpage par phrases
- Extraction de métadonnées
- Comptage des tokens
- Estimation des coûts
- Optimisation des workflows d’IA et de RAG
- API Python simple
Cas d’usage
- Applications RAG
- Bases de connaissances
- Moteurs de recherche d’entreprise
- Chatbots IA
- Plateformes d’intelligence documentaire
- Pipelines de fine-tuning de LLM
- Workflows d’ingestion dans des bases de données vectorielles
Installation et utilisation
RagPrepKit s’installe depuis PyPI et fonctionne avec Python 3.9 et versions ultérieures, sans dépendance d’exécution obligatoire.
# Install from PyPI pip install ragprepkit # Optional extra: exact token counts via tiktoken pip install "ragprepkit[tokenizers]"
from ragprepkit import clean_text, recursive_chunks, count_tokens
# 1. Clean the raw document
text = clean_text(raw_document, remove_boilerplate=True)
# 2. Split it into retrieval-sized chunks
chunks = recursive_chunks(text, chunk_size=800, overlap=80)
# 3. Count the tokens in each chunk before embedding
for chunk in chunks:
print(chunk.index, count_tokens(chunk.text))
Le paquet est publié sur PyPI et s’importe sous le nom ragprepkit (les versions antérieures à la 0.1.4 utilisaient le nom d’import ragprep). Chaque segment contient text, start_char, end_char, index et un dictionnaire metadata ouvert, que vous pouvez compléter avant de transmettre le segment à une étape d’embedding.
Détails du paquet
- Version actuelle
- 0.1.4
- Versions de Python prises en charge
- 3.9, 3.10, 3.11, 3.12, 3.13
- Licence
- Licence MIT
- Paquet PyPI
ragprepkit- Nom d’import
ragprepkit- Dépendances d’exécution
- Aucune obligatoire
Documentation
La documentation couvre l’installation, des exemples, la référence de l’API, les stratégies de découpage et les pratiques recommandées pour les applications d’IA.
Lire la documentationContribuer
RagPrepKit est un projet open source développé par Mindrops, ouvert aux contributions, aux retours et aux demandes de fonctionnalités de la communauté.
Contribuer sur GitHubÀ propos de Mindrops
RagPrepKit est maintenu par Mindrops, dans le cadre de son engagement à créer des outils open source pratiques pour les développeurs et une infrastructure d’IA.
Découvrir d’autres projets open sourceQuestions fréquentes
Comment installer RagPrepKit ?
pip install ragprepkit. Pour un comptage exact des tokens via tiktoken, ajoutez l’extra optionnel avec pip install "ragprepkit[tokenizers]".Quel est le nom d’import ?
from ragprepkit import clean_text, recursive_chunks, count_tokens. La version 0.1.3 utilisait ragprep.Quelles versions de Python RagPrepKit prend-il en charge ?
Sous quelle licence RagPrepKit est-il publié, et où trouver le code source ?
Que puis-je construire avec RagPrepKit ?
RagPrepKit sur GitHub
Le code source, la documentation et le suivi des tickets de RagPrepKit sont sur GitHub.
Voir sur GitHub Documentation Signaler un problème