Langfuse

先日、新規アプリケーションのプロンプトを検討するにあたり、トレースデータ（ログ）が存在しない状態からデータセットを作成する必要がありました。 ある程度のデータ量を用意したかったため、手動入力を避ける方法（SDK や CSV）を調査・検証しました。 本記事では、 基本となる UI での登録手順と、今回試した一括登録の手順をそれぞれ整理し、使い勝手や特徴を比較した備忘録 として残します。 利用バージョン Langfuse : v3.127.0 OSS Python SDK : 3.9.0 全体の流れ Dataset が利用できるまでに以下の手続きが必要です。 データセット（dataset）の作成 データセットアイテム（items）の作成 本記事は、公式ドキュメントのこちらの 記事 を参考に実施しました。 １．データセット（dataset）の作成 UIを利用する方法 Datasets へ遷移し、[+ New Dataset] をクリックすることで新規のデータセットが作成できます。 Name のみ指定し、[Create dataset] で作成完了です。

以前、Langfuse の mask オプションを利用する際のトレース保存方法について解説しました。（ 該当記事 ） 当時、 mask オプションに設定した関数内でトレースを保存しようとすると、該当の関数が再帰的に呼び出されてしまう問題がありました。該当記事内では、グローバル変数を用いて制御しましたがあまりスマートな方法とは言えません。 しかし、この課題をよりスマートに解決出来そうなアップデートが行われました。 実際にどのように解決していけるか、試してみたいと思います。 以前のコードと課題 以前のコードでは、masking_function が再帰的に呼び出されないよう、グローバル変数で制御していました。 require_mask = True def masking_function(data: any, kwargs) -> any: global require_mask if require_mask and isinstance(data, str): try: require_mask = False # PII フィルター適用

はじめに 2025年4月9日、GoogleがAgent2Agent（A2A）プロトコルを発表 してから半年以上が経過し、多くの開発者がマルチエージェントシステムの構築に取り組んでいます。 A2Aは複雑なコンポーネント構成とエージェント間通信を持つため、 処理フローをトレースとして可視化することがLLM Opsにおいて重要 です。 本記事では、LangfuseとCloud Traceを使用してA2A × ADKエージェントの挙動を観測し、実用的な分析のための観測粒度の最適化方法を解説します。 実装環境 使用したライブラリ 本記事で使用したライブラリとそのバージョンは以下の通りです。 requirements.txt google-adk[a2a] google-genai langfuse python-dotenv opentelemetry-instrumentation-google-genai opentelemetry-exporter-gcp-logging opentelemetry-exporter-gcp-monitoring..

RAGを作ったものの、「性能をどう客観的に評価すればいいか分からない」「ハルシネーションが起きる」といった課題に直面していませんか？この記事では、RAG評価の定番ライブラリRagasの主要メトリクスを徹底解説。検索と生成の品質を定量的に測定し、具体的な改善アクションに繋げる実践的ノウハウを掴めます。データに基づいたRAG改善の第一歩を踏み出しましょう。