Prediction Guard の機能

テキスト生成

ユーザーの入力 (プロンプト) に基づき、適切なテキストを生成できます。出力時の最大トークン数、応答のランダム性 (Temperature)、サンプリング方式に基づく生成されたテキストの多様性 (Top P および Top K)、実行対象となる入出力検査の種類を指定できます。


チャット補完

過去の会話履歴やユーザーの入力 (プロンプト) を分析し、文脈に合った自然な応答を生成します。チャットボットの構築に最適な機能です。

チャット補完 ― ストリーミング

通常のチャット補完に加え、応答をストリーム形式でリアルタイムに出力することで、よりインタラクティブな実装を実現します。

チャット補完 ― ビジョン

通常のチャット補完に加え、画像を入力データとして認識できます。テキスト ベースと同様のパラメーターを指定できます。


入力検査

Injection (恣意的な回答操作の検出)

入力テキストに対して、プロンプト インジェクションによる潜在的な攻撃を検出し、インデックスの位置、攻撃の確率、検出結果のステータスを示すベクトル化されたデータを生成します。

PII (個人情報の検出、置換)

氏名やメールアドレスなどの個人情報を検出し、ランダムな英数字、仮の情報、特定のカテゴリへの置き換えや、マスキングを適用することができます。


出力検査

Factuality (事実性チェック)

参照テキストと出力テキストを比較し、インデックスの位置および出力の事実性を示すスコアを生成します。

Toxicity (有害性)

出力テキストの有害性について、インデックスの位置および有害性を示すスコアを生成します。


データの前処理および後処理

Embedding (埋め込み)

テキストや画像を含む入力データをもとに、LLM で処理を行うためのベクトル化されたデータ ポイントを生成します。

Rerank (再ランク)

指定されたクエリの意味に関する関連性をもとに、入力テキストの順序を最適な状態にソートし、出力パフォーマンスを向上します。

Tokenize (トークン化)

モデルのトークナイザーを使用して、文字列に対して LLM が効率よくデータを処理するためのトークンを生成します。

Translation (翻訳)

入出力テキストに対する言語設定をもとに、入力テキストを指定の言語に自動翻訳したテキストを出力します。Prediction Guard がサポートするそれぞれのオープンソース LLM モデルごとに出力結果が生成され、その中で最も適した翻訳テキストとそれに対するスコアおよび使用されたモデルの種類が示されます。



ページトップへ