All post

LLMの多機能化により1つのトレースに詰め込む情報が増え、可視化目的のトレースでも見にくくなる問題が発生しています。LangfuseのTrace詳細画面では、適切なJSON構造を使うことで特殊なレンダリングが可能です。 主要なパターンは4つ。ChatML形式では会話履歴をroleに応じた背景色で表示。ツール定義と実行結果では、Function Callingの流れを視覚的に表示。マルチモーダルコンテンツでは、画像や音声を埋め込み表示でき、特にtype: "image_url"やtype: "input_audio"などの構造が重要です。推論過程では、LLMの思考プロセスを折りたたみ可能なブロックで表示します。 ただし公式ドキュメントと実際の挙動にギャップがあり、特にマルチモーダルファイルは指定のJSON形式でないとレンダリングされません。正確な構造を理解することで、デバッグ効率やチーム共有がスムーズになります。

Geminiの性能向上によりOCRは実用的になりましたが、高精度を目指すならプロンプト調整は必須です。しかし、調整のたびに画像と結果を目視で見比べるのは、手間がかかりミスも誘発します。 そこで本記事では、Langfuseを使ってこの作業を自動化します。「評価」と聞くと難しそうですが、今回は複雑な指標や設定を使わず、かつ、チーム運用は一旦忘れ、まずは 「自分のPC上で、正解データと一致するか」 だけをチェックする気軽な構成を目指します。 なお、プロンプト改善のサイクルを回すことが目的なので、今回は繰り返しテストに適した Dataset Run 機能を利用します。 Datasetの準備 Dataset Runを実行するには、データセットの作成が必要です。 ※ 基本的な作成方法については、以前の記事（ Langfuseデータセット構築ガイド：UI・CSV・SDKの徹底比較 ）にて紹介しています。 しかし、ここで一つ問題が発生します。 期待する結果の値（Expected Output）はテキストなので問題なく登録できますが、 こちらの記事 でも言及し

本ブログでは、Langfuseを複数人で運用する環境下において、「プロンプトを誰でも変更されるのが不安」「うっかり本番用のラベルを動かしてしまった」というヒヤリハットや、「誰でも本番環境を変更できてしまう」というガバナンス上の課題を感じていたチームにとって、必須の機能をご説明します！

プロンプトを修正した後、「なんとなく良くなった」という感覚だけでリリースしていませんか？Langfuseの最新機能「Experiments Baseline」を使えば、変更前後の挙動を定量的に比較し、予期せぬ品質低下（デグレ）を即座に可視化できます。本記事では、Python SDK V3を用いた具体的な実装手順と、リグレッションテストの自動化フローを徹底解説します。

LLM オブザーバビリティプラットフォーム「Langfuse」に機能を追加して、PR がマージされるまでの過程を紹介します。環境構築でハマったポイントや解決方法もまとめているので、日本語でのコントリビュートガイドとしてもお使いください。 この記事で得られること Langfuse 開発環境のセットアップ手順 実際に遭遇したエラーと解決法 セルフホスト/クラウドモードの違いと切り替え方 PR 作成時のベストプラクティス コントリビュートの背景 セルフホスト環境で Langfuse を使っていて、Vertex AI の認証に Application Default Credentials（ADC）  を使いたかったのですが、その機能がありませんでした。AWS Bedrock には既に ADC 対応があったので、Vertex AI にも同様の機能を実装することにしました。 成果 : PR #11039  がv3.140.0でマージされました 🎉 （私の PR #10915  が取り込まれたもの） まずは公式ドキュメントを読もう Langfuse には充