Langfuse

プロンプトを修正した後、「なんとなく良くなった」という感覚だけでリリースしていませんか？Langfuseの最新機能「Experiments Baseline」を使えば、変更前後の挙動を定量的に比較し、予期せぬ品質低下（デグレ）を即座に可視化できます。本記事では、Python SDK V3を用いた具体的な実装手順と、リグレッションテストの自動化フローを徹底解説します。

This article presents a focused comparison between the newly released Langfuse MCP Server and the existing Dify Langfuse Plugin, specifically for prompt management within Dify workflows. The core purpose is to help Dify users choose the optimal tool. The MCP Server is positioned as the official gateway to Langfuse's full feature set, including specialized tools for Chat prompt creation (createChatPrompt) and label management (updatePromptLabels).

Langfuse MCPサーバーは、プロンプト管理をDifyから統一されたHTTP API経由で操作するための公式エンドポイントとしてリリースされました。これにより、Chatプロンプトの作成やラベルの厳密な管理（updatePromptLabels）など、Langfuseのフル機能にアクセスできる点が特長です。しかし、Difyの仕様上、同じサーバーURLで複数のLangfuseプロジェクトを同時に扱えず、またプロンプト取得時の変数置換機能も内蔵されていません。 一方、弊社が開発したDify Langfuseプラグインは、Difyユーザー特有のニーズに対応しています。特に、Get Promptツールに変数置換機能が組み込まれているため、プロンプトテンプレートの動的な利用がDifyのコード実行ブロックなしで実現でき、ワークフローを簡略化できます。また、認証設定をブロックごとに行えるため、複数のLangfuse組織・プロジェクトを同時に運用する柔軟性があります。

Google Cloud IAP保護下のLangfuseで課題となる、トークンの有効期限切れ（1時間）への対策を解説。Python SDKを利用し、httpxとOpenTelemetry ExporterでIAPトークンを動的に更新・維持する実装方法を紹介します。

はじめに Langfuseは、LLMアプリケーションの観測性、プロンプト管理、評価を一元管理できるオープンソースプラットフォームです。セルフホストでの運用が可能で、多くの企業が自社環境での導入を進めています。 セルフホストには2つの選択肢があります OSS版（無料・MIT License） : すべてのコア機能が無制限で利用可能 Enterprise版（ライセンスキー必要） : OSS版の機能に加え、Enterpriseグレードのセキュリティ・管理機能を提供 本記事ではEnterprise版で追加される主要な機能と、その具体的なユースケースを詳しく解説します。「OSS版で十分なのか？」「Enterprise版が必要になるのはどんな時か？」という疑問に答えます。 OSS版 vs Enterprise版 重要なポイント：コア機能は完全に同じ まず理解すべき重要なポイントは、 OSS版でもEnterprise版でも、Langfuseのコア機能に一切の制限がない ということです。 両バージョンとも以下が利用可能： トレーシング（エージェント対応） プロ

LiveKit Agentsは、WebRTCベースの音声AIアプリケーション開発フレームワークです。STT+LLM+TTSパイプラインでも約2.33秒という高速な応答を実現でき、プリエンプティブ生成やストリーミングTTSなどの最適化技術により自然な会話が可能です。 しかし、Langfuseを使った観測可能性の実装時に、各アクティビティ（agent_session、user_turn、agent_turnなど）が独立したトレースとして記録される問題が発生しました。これは非同期処理でOpenTelemetryのコンテキストが適切に伝播されないことが原因です。 解決策として、プログラム起動時にカスタムトレースIDを生成し、NonRecordingSpanを使ってグローバルコンテキストとして明示的に設定しました。これにより、すべてのスパンが同一トレースIDを継承し、階層化されたトレース構造を実現できました。非同期処理を多用するアプリケーションでは、コンテキストの明示的な管理が重要です。

先日、新規アプリケーションのプロンプトを検討するにあたり、トレースデータ（ログ）が存在しない状態からデータセットを作成する必要がありました。 ある程度のデータ量を用意したかったため、手動入力を避ける方法（SDK や CSV）を調査・検証しました。 本記事では、 基本となる UI での登録手順と、今回試した一括登録の手順をそれぞれ整理し、使い勝手や特徴を比較した備忘録 として残します。 利用バージョン Langfuse : v3.127.0 OSS Python SDK : 3.9.0 全体の流れ Dataset が利用できるまでに以下の手続きが必要です。 データセット（dataset）の作成 データセットアイテム（items）の作成 本記事は、公式ドキュメントのこちらの 記事 を参考に実施しました。 １．データセット（dataset）の作成 UIを利用する方法 Datasets へ遷移し、[+ New Dataset] をクリックすることで新規のデータセットが作成できます。 Name のみ指定し、[Create dataset] で作成完了です。

以前、Langfuse の mask オプションを利用する際のトレース保存方法について解説しました。（ 該当記事 ） 当時、 mask オプションに設定した関数内でトレースを保存しようとすると、該当の関数が再帰的に呼び出されてしまう問題がありました。該当記事内では、グローバル変数を用いて制御しましたがあまりスマートな方法とは言えません。 しかし、この課題をよりスマートに解決出来そうなアップデートが行われました。 実際にどのように解決していけるか、試してみたいと思います。 以前のコードと課題 以前のコードでは、masking_function が再帰的に呼び出されないよう、グローバル変数で制御していました。 require_mask = True def masking_function(data: any, kwargs) -> any: global require_mask if require_mask and isinstance(data, str): try: require_mask = False # PII フィルター適用

はじめに 2025年4月9日、GoogleがAgent2Agent（A2A）プロトコルを発表 してから半年以上が経過し、多くの開発者がマルチエージェントシステムの構築に取り組んでいます。 A2Aは複雑なコンポーネント構成とエージェント間通信を持つため、 処理フローをトレースとして可視化することがLLM Opsにおいて重要 です。 本記事では、LangfuseとCloud Traceを使用してA2A × ADKエージェントの挙動を観測し、実用的な分析のための観測粒度の最適化方法を解説します。 実装環境 使用したライブラリ 本記事で使用したライブラリとそのバージョンは以下の通りです。 requirements.txt google-adk[a2a] google-genai langfuse python-dotenv opentelemetry-instrumentation-google-genai opentelemetry-exporter-gcp-logging opentelemetry-exporter-gcp-monitoring..

RAGを作ったものの、「性能をどう客観的に評価すればいいか分からない」「ハルシネーションが起きる」といった課題に直面していませんか？この記事では、RAG評価の定番ライブラリRagasの主要メトリクスを徹底解説。検索と生成の品質を定量的に測定し、具体的な改善アクションに繋げる実践的ノウハウを掴めます。データに基づいたRAG改善の第一歩を踏み出しましょう。

はじめに 本記事では、Strands Agents とADK の二つのフレームワークを使用したシンプルなエージェント (両方ともLangfuse のMCPサーバーを使う) が、Langfuseを使ってどのように可視化されるのかをクイックに紹介する記事です。最近のアップデート...

はじめに 近年、LLMアプリケーションの開発において、複数のLLMプロバイダーを使い分ける必要性が高まっています。 OpenAIのGPT、AnthropicのClaude、GoogleのGeminiなど、それぞれ異なる特徴を持っており、それぞれの特徴に合わせてLLMを使い分...

LLMアプリケーション開発プラットフォーム「Dify」と、LLMオブザーバビリティツール「Langfuse」を連携させるためのカスタムプラグイン「Dify Langfuse Plugin」が、v0.0.2にアップデートされました。 今回のアップデートの目玉は、 Langfuseからプロンプトを取得する「Get Prompt」ツールに、プロンプト内の変数を動的に置換する機能が追加された 点です。これにより、Difyのワークフロー上で、より柔軟かつ再利用性の高いプロンプト管理が実現可能になります。 本記事では、この新しいアップデート内容を中心に、Dify Langfuseプラグインの魅力と使い方を詳しくご紹介します。 リリース情報はこちらからご確認いただけます。 GitHub Release v0.0.2 Dify Langfuseプラグインとは？ Dify Langfuseプラグインは、Difyのワークフロー内からLangfuseで管理しているプロンプトを直接呼び出したり、検索・更新したりするためのカスタムツールです。 このプラグインを使うことで、

mcp-useを使ったLLM AgentからLangfuseへのtrace連携方法解説

本記事は こちらの記事 の続編 (アップデート版) となります。 (改めて) n8nとは何か、プロンプト管理の課題 n8nは「nodemation」の略称で、ドラッグ&ドロップ操作や各ノードの設定によってワークフローを作成できる自動化ツールです。300以上の組み込みノードを...

n8nとは何か n8nは「nodemation」の略称で、ドラッグ&ドロップ操作や各ノードの設定によってワークフローを作成できる自動化ツールです。300以上の組み込みノードを提供しており、Slack、Gmail、Notion、カレンダー、Webhookなど、様々なサービスと...

LangfuseにおけるPIIマスキングの必要性 チャットボットのようなアプリケーションでは、ユーザーが意図せず個人情報（PII）を入力してしまう可能性があります。 個人情報保護 の観点から、これらの情報がLangfuseのトレースにそのまま出力されるのは望ましくありません...

はじめに 本記事では、この Langfuse 環境を AWS 上に構築する方法について解説します 2025/05/22 に Langfuse の公式ドキュメントにおいて、AWS 向けの Terraform 構成が公開されました。この公式ドキュメントに記載された手順をベースとし、実際に環境を構築する際の具体的なステップや留意点、さらに実運用を見据えたポイントなどを、弊社の知見を交えながらご紹介します。 本記事の Google Cloud バージョンは こちら 公式の AWS システム構成 Langfuse 環境を AWS 上に Terraform で構築するにあたり、最も信頼できる情報源は Langfuse の公式ドキュメントです。公式で AWS 向けの Terraform 構成が提供開始され、これにより導入のハードルが大きく下がりました。 まず、Langfuse 公式サイトの AWS 向けセルフホスティングガイド をご確認いただくことを強く推奨します。この公式ガイドには、Terraform で環境構築する手順が載っています。 主要コンポーネントと

はじめに 本記事では、この Langfuse 環境を Google Cloud 上に構築する方法について解説します 最近、Langfuse の公式ドキュメントにおいて、Google Cloud 向けの Terraform...

1. はじめに 本記事では Dify の Langfuse プラグインをご紹介いたします。 Dify でアプリを開発する際、ワークフローに直接プロンプトを書き込んでいくと、「前のプロンプトの方が良かったけど消しちゃった」「チームで同じプロンプトをスムーズに共有したいけど…」といったお悩みが出てきませんか？ Dify 上でプロンプトが増えてくると、バージョン管理や再利用が難しくなりがちです。これが開発効率やアプリケーションの品質に響いてしまうことも。もし、プロンプトを Dify のワークフローから切り離し、専用のツールで一元的に、かつバージョン管理しながら集中的に扱えたら、こうした課題はずいぶん楽になるはずです。 そこで注目したいのが、LLM アプリケーションのトレーシングやプロンプト管理に特化したオープンソースツール「Langfuse」です。 実は、皆さんがお使いの Dify は、既に Langfuse の非常に強力な「トレース機能」との連携を標準でサポートしています！  Dify での Langfuse のトレース連携 この Dify と La