Overview
大規模言語モデル(LLM)を利用したアプリケーションに特化したオープンソースのLLM エンジニアリングプラットフォームのリーディングテクノロジーです。
開発者や組織がLLMアプリケーションの構築やリリース後の運用支援を実現するために必要な各種機能を提供します。
ガオは日本国内における唯一Langfuse のSelfhosted版の再販事業者であり、サポートや各種プロフェッショナルサービスをあわえて提供することで企業のLLMアプリケーションの開発・運用活動を支援いたします。
Langfuse 機能概要
Langfuse は、生成AIプロダクトの全サイクルに求められる一連の機能を提供することで開発からテスト、大規模なモニタリングやデバッグまで、お客様の生成AIプロダクトの全サイクルをサポートします。
モニタリング
- トレース:外部APIやツールの呼び出し、コンテキスト、プロンプトなど、製品の完全なコンテキストをキャプチャ
- リアルタイム・メトリクス:応答時間、エラー率、スループットなどの主要なパフォーマンス指標を監視
- フィードバック:アプリケーション性能とユーザー体験を向上させるために、ユーザーからのフィードバックを収集
アナリティクス
- 評価:LLM-as-a-judge 評価、または人的なアノテーションワークフローにより、異なるモデル、プロンプト、構成のパフォーマンスを比較
- テスト:テストとプロンプト管理を通じて、最も効果的なソリューションを決定するために、アプリの異なるバージョン(A/B)で実験
- ユーザーの行動:ユーザーフィードバックにより、AIアプリケーションがどのように操作するかを理解を支援
デバッグ
- 詳細なデバッグログ:トラブルシューティングのために、すべてのアプリケーション・アクティビティの包括的なログ
- エラートラッキング:アプリケーション内のエラーや異常を検出し、追跡
統合
- フレームワークのサポート:LangChain、LlamaIndex、AWS Bedrockなど の一般的なLLMフレームワークと統合
- ツールのサポート:DifyやLangflowのようなノーコードビルダーと統合
- API:カスタム統合やワークフロー自動化のためのオープンで強力なAPI
日本国内向けSelf hosted版 およびサポート
Langfuseは、企業が自身のクラウドあるいはオンプレミスネットワークの中にインストール可能です (Self-hosted版)。
これにより企業はセキュリティを担保した上で、お客様のVPC内で生成AIアプリケーションの開発・運用を実現できます。
Self-hosted版は以下の2プランが用意されており、ガオ株式会社より日本語のサポート利用 (規約)と日本円による
請求書ベースの支払いを行うことができます(一定条件を満たした場合、特別ディスカウントあり)