Dify x n8n ウェブスクレイピング実践入門

Difyのワークフロー機能を最大限に活用し、複数のURLから自動で情報を収集・集約するシステムを構築します。

配列データとリスト処理の概念

Difyにおける「配列」とは、電車に人が乗り込むように、複数のデータ（URLなど）が格納された「箱の連なり」を指します。これを「リスト処理」ノードで扱うことで、特定の件数（Top N）に絞り込んだり、データの並び替え（ソート）やフィルタリングが可能になります。これにより、LLMに対し整理された正確な情報を渡すことができます。

主要ノードの設定と役割

• **開始ノード**: 会社名などの入力フィールドを定義します。

• **LLMノード（Gemini）**: グラウンディング機能をONにし、Google検索から関連ニュースとURLを抽出します。

• **パラメータ抽出ブロック**: 大量のテキストから、特定の「URLのみ」を抜き出し、配列データ（Array[String]）に変換します。

• **リスト処理ブロック**: 抽出されたURL群から、処理対象とする上位数件を決定します。

イテレーション（繰り返し）による自動スクレイピング

イテレーションブロックは、リスト内の各アイテム（URL）に対して同じ処理を繰り返すベルトコンベアのような役割を果たします。

1. イテレーション内のツールとして「Web Scraper」を配置。

2. 入力URLに「イテレーション・アイテム」を指定し、各ページの情報を1つずつ取得。

3. 全てのループが終了後、取得した全テキストを後続のLLMに渡して最終的なレポートを作成します。

**紹介されたツール・サービス:**

• Dify (Workflow Mode)

• Google Search API / Gemini (Grounding機能)

• Web Scraper (Dify内蔵ツール)