RagPrepKit maakt documenten klaar voor RAG- en LLM-pipelines
RagPrepKit is een open-source Python-toolkit voor pipelines met Retrieval-Augmented Generation (RAG) en Large Language Models (LLM). Het verzorgt opschonen, chunking, metadata-extractie, tokenschatting en kostenanalyse.
Aan de slag Bekijk op GitHub PyPI-packageWat RagPrepKit doet
RagPrepKit zet ruwe documenten met één Python-toolkit om in opgeschoonde, gechunkte tekst met metadata en tokentellingen.
Tekst opschonen
Verwijder automatisch overbodige opmaak, normaliseer tekst en verbeter de documentkwaliteit vóór ingestie.
Chunkingstrategieën
Splits documenten in betekenisvolle chunks, geoptimaliseerd voor retrieval, embeddings en verwerking door taalmodellen.
Metadata-extractie
Haal bruikbare metadata op voor betere zoekresultaten, filtering, retrievalnauwkeurigheid en documentbeheer.
Token- en kostenraming
Schat tokengebruik en mogelijke LLM-kosten in voordat u grote datasets verwerkt.
Functies
- Tekst opschonen en normaliseren
- Meerdere chunkingstrategieën
- Ondersteuning voor recursieve chunking
- Chunking op zinsniveau
- Metadata-extractie
- Tokens tellen
- Kostenraming
- Optimalisatie van AI- en RAG-workflows
- Eenvoudige Python-API
Toepassingen
- RAG-applicaties
- Kennisbanken
- Zoeksystemen voor ondernemingen
- AI-chatbots
- Platforms voor documentintelligentie
- Pipelines voor LLM-finetuning
- Ingestieworkflows voor vectordatabases
Installatie en gebruik
RagPrepKit installeert u vanaf PyPI en draait op Python 3.9 en hoger, zonder verplichte runtime-dependencies.
# Install from PyPI pip install ragprepkit # Optional extra: exact token counts via tiktoken pip install "ragprepkit[tokenizers]"
from ragprepkit import clean_text, recursive_chunks, count_tokens
# 1. Clean the raw document
text = clean_text(raw_document, remove_boilerplate=True)
# 2. Split it into retrieval-sized chunks
chunks = recursive_chunks(text, chunk_size=800, overlap=80)
# 3. Count the tokens in each chunk before embedding
for chunk in chunks:
print(chunk.index, count_tokens(chunk.text))
Het package is gepubliceerd op PyPI en wordt geïmporteerd als ragprepkit (releases vóór 0.1.4 gebruikten de importnaam ragprep). Elke chunk bevat text, start_char, end_char, index en een open metadata-dict die u kunt vullen voordat de chunk naar een embeddingstap gaat.
Packagegegevens
- Huidige versie
- 0.1.4
- Ondersteunde Python-versies
- 3.9, 3.10, 3.11, 3.12, 3.13
- Licentie
- MIT-licentie
- PyPI-package
ragprepkit- Importnaam
ragprepkit- Runtime-dependencies
- Geen vereist
Documentatie
De documentatie behandelt installatie, voorbeelden, de API-referentie, chunkingstrategieën en aanbevolen werkwijzen voor AI-applicaties.
Lees de documentatieBijdragen
RagPrepKit is een open-sourceproject van Mindrops en verwelkomt bijdragen, feedback en featureverzoeken uit de community.
Draag bij op GitHubOver Mindrops
RagPrepKit wordt onderhouden door Mindrops, als onderdeel van onze inzet voor praktische open-source developertools en AI-infrastructuur.
Bekijk meer open-sourceprojectenVeelgestelde vragen
Hoe installeer ik RagPrepKit?
pip install ragprepkit uit. Voor exacte tokentellingen via tiktoken voegt u de optionele extra toe met pip install "ragprepkit[tokenizers]".Wat is de importnaam?
from ragprepkit import clean_text, recursive_chunks, count_tokens. Versie 0.1.3 gebruikte ragprep.Welke Python-versies ondersteunt RagPrepKit?
Onder welke licentie valt RagPrepKit en waar staat de broncode?
Wat kan ik bouwen met RagPrepKit?
RagPrepKit op GitHub
De broncode, documentatie en issuetracker van RagPrepKit staan op GitHub.
Bekijk op GitHub Documentatie Meld een probleem