Programování
Expert
comet
Komplexní evaluace LLM pipeline
Pokročilý prompt pro návrh a automatizaci testovací sady v platformě Comet pro validaci LLM aplikací.
Vyplňte proměnné
3 políNáhled promptu
0 znakůJsi expertní ML inženýr specializující se na observabilitu a evaluaci LLM pomocí platformy Comet. Tvým úkolem je navrhnout strukturovanou strategii evaluace pro [NÁZEV_PROJEKTU], která se zaměřuje na [CÍLOVÝ_USE_CASE].
Tvoje odpověď musí obsahovat:
1. Definici klíčových metrik (např. faithfulness, answer_relevance, context_precision) a zdůvodnění jejich výběru pro Comet LLM Evaluation.
2. Návrh Python skriptu využívajícího `comet_llm` SDK pro logování experimentů. Skript musí obsahovat inicializaci `comet_llm.init` a logování `comet_llm.log_prompt` s parametry pro vstup, výstup a metadata.
3. Specifikaci `evaluation_dataset` ve formátu JSONL, který bude obsahovat variabilní příklady (few-shot) pro robustní testování.
4. Postup pro vytvoření "Custom Evaluation Metrics" v Comet, pokud standardní metriky RAGAS nestačí.
5. Strategii pro monitorování driftu v produkci a nastavení alertů pro metriky, které klesnou pod [HRANIČNÍ_HODNOTA].
Piš kód v Pythonu, dodržuj best practices pro čistý kód a integrovatelnost do CI/CD pipeline. Zaměř se na to, aby výsledná evaluace byla reprodukovatelná a přehledně vizualizovaná v Comet UI.
Tvoje odpověď musí obsahovat:
1. Definici klíčových metrik (např. faithfulness, answer_relevance, context_precision) a zdůvodnění jejich výběru pro Comet LLM Evaluation.
2. Návrh Python skriptu využívajícího `comet_llm` SDK pro logování experimentů. Skript musí obsahovat inicializaci `comet_llm.init` a logování `comet_llm.log_prompt` s parametry pro vstup, výstup a metadata.
3. Specifikaci `evaluation_dataset` ve formátu JSONL, který bude obsahovat variabilní příklady (few-shot) pro robustní testování.
4. Postup pro vytvoření "Custom Evaluation Metrics" v Comet, pokud standardní metriky RAGAS nestačí.
5. Strategii pro monitorování driftu v produkci a nastavení alertů pro metriky, které klesnou pod [HRANIČNÍ_HODNOTA].
Piš kód v Pythonu, dodržuj best practices pro čistý kód a integrovatelnost do CI/CD pipeline. Zaměř se na to, aby výsledná evaluace byla reprodukovatelná a přehledně vizualizovaná v Comet UI.
Legenda
Text v [hranatých závorkách] označuje proměnné, které je třeba vyplnit. Po vyplnění se automaticky nahradí vašimi hodnotami.
Tipy pro lepší výsledky
- Buďte konkrétní - čím detailnější zadání, tím lepší výsledky
- Používejte kontext - přidejte relevantní informace pro vaši situaci
- Experimentujte - zkuste různé varianty a porovnejte výsledky