Difyシステムモデル設定入門
LLM、埋め込みモデル、リランクモデル、音声モデルのAPI連携後に行うデフォルトのシステム設定手順を解説します。
学習ポイント
- コストや性能を考慮したデフォルトLLM(Gemini Flash等)の選び方
- 埋め込みモデルと日本語対応リランクモデル(Cohere)の適切な設定方法
- OpenAI APIを利用した音声変換モデルの標準構成
API連携を済ませた後に必要となる、システムのデフォルトモデルを設定する方法について解説します。利用目的に応じて最適なモデルを事前に選んでおくことで、効率的な運用が可能になります。
システムモデルの基本設定手順
画面右上の「システムモデル設定」をクリックし、デフォルトで使用するモデルを各項目で選択します。選択後は必ず「保存」をクリックして設定を確定させてください。
LLMと埋め込みモデルの選択
メインのLLMには、コストパフォーマンスに優れた「Gemini 1.5 Flash」などの軽量・高速モデルが推奨されます。また、埋め込みモデル(Embedding)では、OpenAIの「text-embedding-3-small」や「large」を用途に合わせて選択します。大規模なトークン消費を避ける場合はSmallが適していますが、精度を優先する場合はLargeでも問題ありません。
リランク(再順位付け)モデルの設定
CohereのAPIを連携している場合、リランクモデルの選択が可能です。日本語を含む多言語環境で使用する場合は、必ず「English」ではなく「Multilingual」と記載されたモデルを選択するようにしてください。
音声関連モデルの設定
音声からテキスト(Speech to Text)およびテキストから音声(Text to Speech)のモデルは、OpenAIのAPIを利用する場合、標準的な「GPT-4o mini」などを設定しておくことで、安定した動作が期待できます。
**紹介されたサービス・ツール**
Gemini (Flashモデル)
OpenAI (Embedding, GPT-4o mini, Whisperなど)
Cohere (Rerank Multilingual)