RagPrepKit: Dokumentaufbereitung für RAG- und LLM-Pipelines
RagPrepKit ist ein Open-Source-Toolkit in Python für Pipelines mit Retrieval-Augmented Generation (RAG) und Large Language Models (LLM). Es übernimmt Bereinigung, Chunking, Metadatenextraktion, Token-Schätzung und Kostenanalyse.
Jetzt starten Auf GitHub ansehen PyPI-PaketWas RagPrepKit leistet
RagPrepKit macht aus Rohdokumenten mit einem einzigen Python-Toolkit bereinigten, in Chunks aufgeteilten Text mit Metadaten und Token-Zählung.
Textbereinigung
Entfernen Sie überflüssige Formatierung automatisch, normalisieren Sie Text und verbessern Sie die Dokumentqualität vor der Aufnahme.
Chunking-Strategien
Teilen Sie Dokumente in sinnvolle Chunks auf – optimiert für Retrieval, Embeddings und die Verarbeitung durch Sprachmodelle.
Metadatenextraktion
Extrahieren Sie nützliche Metadaten für bessere Suche, Filterung, Retrieval-Genauigkeit und Dokumentenverwaltung.
Token- und Kostenschätzung
Schätzen Sie Token-Verbrauch und mögliche LLM-Kosten, bevor Sie große Datensätze verarbeiten.
Funktionen
- Textbereinigung und -normalisierung
- Mehrere Chunking-Strategien
- Unterstützung für rekursives Chunking
- Satzbasiertes Chunking
- Metadatenextraktion
- Token-Zählung
- Kostenschätzung
- Optimierung von KI- und RAG-Workflows
- Einfache Python-API
Anwendungsfälle
- RAG-Anwendungen
- Wissensdatenbanken
- Unternehmenssuchsysteme
- KI-Chatbots
- Document-Intelligence-Plattformen
- Pipelines für LLM-Fine-Tuning
- Ingestion-Workflows für Vektordatenbanken
Installation und Verwendung
RagPrepKit wird über PyPI installiert und läuft ab Python 3.9 ohne erforderliche Laufzeitabhängigkeiten.
# Install from PyPI pip install ragprepkit # Optional extra: exact token counts via tiktoken pip install "ragprepkit[tokenizers]"
from ragprepkit import clean_text, recursive_chunks, count_tokens
# 1. Clean the raw document
text = clean_text(raw_document, remove_boilerplate=True)
# 2. Split it into retrieval-sized chunks
chunks = recursive_chunks(text, chunk_size=800, overlap=80)
# 3. Count the tokens in each chunk before embedding
for chunk in chunks:
print(chunk.index, count_tokens(chunk.text))
Das Paket ist auf PyPI veröffentlicht und wird als ragprepkit importiert (Versionen vor 0.1.4 nutzten den Importnamen ragprep). Jeder Chunk enthält text, start_char, end_char, index und ein offenes metadata-Dict, das Sie befüllen können, bevor der Chunk an einen Embedding-Schritt übergeben wird.
Paketdetails
- Aktuelle Version
- 0.1.4
- Unterstützte Python-Versionen
- 3.9, 3.10, 3.11, 3.12, 3.13
- Lizenz
- MIT-Lizenz
- PyPI-Paket
ragprepkit- Importname
ragprepkit- Laufzeitabhängigkeiten
- Keine erforderlich
Dokumentation
Die Dokumentation behandelt Installation, Beispiele, die API-Referenz, Chunking-Strategien und empfohlene Vorgehensweisen für KI-Anwendungen.
Dokumentation lesenMitwirken
RagPrepKit ist ein Open-Source-Projekt von Mindrops – Beiträge, Feedback und Feature-Wünsche aus der Community sind willkommen.
Auf GitHub mitwirkenÜber Mindrops
RagPrepKit wird von Mindrops gepflegt – als Teil unseres Engagements für praxisnahe Open-Source-Entwickler-Tools und KI-Infrastruktur.
Weitere Open-Source-Projekte entdeckenHäufige Fragen
Wie installiere ich RagPrepKit?
pip install ragprepkit aus. Für exakte Token-Zählungen über tiktoken installieren Sie das optionale Extra mit pip install "ragprepkit[tokenizers]".Wie lautet der Importname?
from ragprepkit import clean_text, recursive_chunks, count_tokens. Version 0.1.3 verwendete ragprep.Welche Python-Versionen unterstützt RagPrepKit?
Unter welcher Lizenz steht RagPrepKit und wo finde ich den Quellcode?
Was kann ich mit RagPrepKit umsetzen?
RagPrepKit auf GitHub
Quellcode, Dokumentation und Issue-Tracker von RagPrepKit finden Sie auf GitHub.
Auf GitHub ansehen Dokumentation Problem melden