Webスクレイピング入門｜Difyで簡単データ収集！

Difyのワークフロー機能を使用して、特定のURLを入力するとその内容をAIが解析して出力するシンプルな自動化ツールを作成します。

1. フローの開始と入力設定

ワークフローの起点となる「開始」ノードを設定します。今回はURLを入力として受け取るため、入力フィールドに「単文（Short Text）」を追加し、変数名を「URL」とします。この際、URLは長くなる可能性があるため、最大長を256文字（上限値）に設定しておくのがポイントです。

2. Web Scraperによる情報取得

次に「Web Scraper」ツールを追加します。これは指定されたURLの内容をテキストとして抽出するノードです。「入力変数」の設定欄で「/（スラッシュ）」を入力し、先ほど作成した開始ノードの「URL」変数を選択して紐付けます。

3. LLM（大規模言語モデル）の連携とプロンプト設定

抽出したテキストを処理するために「LLM」ノードを追加します。ここで使用するモデル（GPT-4等）を選択し、プロンプトを記述します。

**ユーザーメッセージ**: `{{text}}`（Web Scraperからの出力を参照）を設定します。

**システムメッセージ**: AIの役割（例：「あなたは優秀な秘書です」）や、要約・解析などのタスクを指示します。

※注意：API連携（モデルプロバイダー設定）が未完了の場合は、設定画面からAPIキーの登録が必要です。

4. 終了ノードと動作確認

最後に「終了」ノードを配置します。「出力変数」を設定し、LLMノードで生成された「text」を選択することで、最終的な回答が表示されるようになります。右上の「実行」ボタンから実際にURLを入力し、フローが正しく動くかテストします。エラーが出る場合は「実行追跡」機能で、どのノードの入出力に問題があるかを確認できます。

紹介されたツール・サービス

**Dify**: オープンソースのAIアプリケーション開発プラットフォーム

**Web Scraper**: Webサイトから情報を取得するツール

**OpenAI / Gemini**: LLMプロバイダー（API連携が必要）