【Dify】営業先HPをスクレイピング！会社レポート作成入門

会社名を入力するだけで、インターネット上の最新情報を収集し、構造化されたレポートを自動生成するワークフローの作成方法を学びます。

1. Web検索とパラメーター抽出

開始ノードで受け取った会社名をもとに、検索API（Tavily Searchなど）で関連サイトを検索します。「パラメーター抽出」ノードを使用することで、検索結果のテキストデータの中から必要なURLだけを抜き出し、後続の処理で扱いやすい「ストリング配列（Array）」形式に変換します。

2. イテレーションによる自動スクレイピング

抽出したURLリストに対して「イテレーション（繰り返し）」ブロックを適用します。これにより、3つのURLがあれば3回分、1つずつ機械的にWeb Scraperが立ち上がり、サイト内部のテキスト情報を読み込みます。この際、現在処理中のURLを動的に指定する設定が重要です。

3. LLMによるレポート生成とフォーマット

スクレイピングされた複数の企業情報をインプットとし、LLM（GPT-4o miniなど）を用いてレポートを構成します。プロンプトで「会社概要」「業績」「事業内容」「近年の動向」「参考文献」などの項目を指定し、Markdown形式で出力させることで、そのままドキュメントとして活用できる成果物を作成します。

紹介されたツール・サービス

• **Dify**: ノードベースのAIアプリ開発プラットフォーム

• **Tavily Search API**: LLM向けの高精度な検索エンジン（Google Search APIの代替として推奨）

• **Web Scraper**: 指定したURLからテキスト情報を抽出するプラグイン

• **GPT-4o mini**: 高速かつ低コストで情報処理が可能なLLMモデル