All post

Google ADK（Agent Development Kit）のトレースに Langfuse のプロンプト情報を紐付ける方法を解説します。これにより、プロンプトごとのコスト・レイテンシ分析や A/B テストが可能になります。 なぜ紐付けが必要なのか 紐付けができないと何が困るか ・プロンプトごとのコスト・レイテンシを分析できない ・A/B テストでプロンプトバージョンを比較できない ・どのプロンプトが本番で使われているか追跡できない GoogleADKInstrumentor だけでは不十分 GoogleADKInstrumentor を使えば、Google ADK のトレースを Langfuse に送信できます。 from openinference.instrumentation.google_adk import GoogleADKInstrumentorGoogleADKInstrumentor().instrument() しかし、これだけではプロンプト紐付けがされません。 Langfuse ダッシュボード └──

LLMの多機能化により1つのトレースに詰め込む情報が増え、可視化目的のトレースでも見にくくなる問題が発生しています。LangfuseのTrace詳細画面では、適切なJSON構造を使うことで特殊なレンダリングが可能です。 主要なパターンは4つ。ChatML形式では会話履歴をroleに応じた背景色で表示。ツール定義と実行結果では、Function Callingの流れを視覚的に表示。マルチモーダルコンテンツでは、画像や音声を埋め込み表示でき、特にtype: "image_url"やtype: "input_audio"などの構造が重要です。推論過程では、LLMの思考プロセスを折りたたみ可能なブロックで表示します。 ただし公式ドキュメントと実際の挙動にギャップがあり、特にマルチモーダルファイルは指定のJSON形式でないとレンダリングされません。正確な構造を理解することで、デバッグ効率やチーム共有がスムーズになります。

Geminiの性能向上によりOCRは実用的になりましたが、高精度を目指すならプロンプト調整は必須です。しかし、調整のたびに画像と結果を目視で見比べるのは、手間がかかりミスも誘発します。 そこで本記事では、Langfuseを使ってこの作業を自動化します。「評価」と聞くと難しそうですが、今回は複雑な指標や設定を使わず、かつ、チーム運用は一旦忘れ、まずは 「自分のPC上で、正解データと一致するか」 だけをチェックする気軽な構成を目指します。 なお、プロンプト改善のサイクルを回すことが目的なので、今回は繰り返しテストに適した Dataset Run 機能を利用します。 Datasetの準備 Dataset Runを実行するには、データセットの作成が必要です。 ※ 基本的な作成方法については、以前の記事（ Langfuseデータセット構築ガイド：UI・CSV・SDKの徹底比較 ）にて紹介しています。 しかし、ここで一つ問題が発生します。 期待する結果の値（Expected Output）はテキストなので問題なく登録できますが、 こちらの記事 でも言及し

本ブログでは、Langfuseを複数人で運用する環境下において、「プロンプトを誰でも変更されるのが不安」「うっかり本番用のラベルを動かしてしまった」というヒヤリハットや、「誰でも本番環境を変更できてしまう」というガバナンス上の課題を感じていたチームにとって、必須の機能をご説明します！

プロンプトを修正した後、「なんとなく良くなった」という感覚だけでリリースしていませんか？Langfuseの最新機能「Experiments Baseline」を使えば、変更前後の挙動を定量的に比較し、予期せぬ品質低下（デグレ）を即座に可視化できます。本記事では、Python SDK V3を用いた具体的な実装手順と、リグレッションテストの自動化フローを徹底解説します。