Difyとn8nで求人票スクレイピング自動化

この動画では、実務に役立つAIワークフローの第一歩として、Webページから情報を抽出し、LLMで構造化する流れを学びます。

1. ワークフローの全体像とDSLのインポート

開発を効率化するために、既存の設定ファイルである「DSLファイル」をインポートする方法から始まります。Difyの画面から「DSLファイルからインポート」を選択することで、基本的なブロック構成が配置された状態でスタートできます。手動で作成する場合は、「開始」ブロックから「入力フィールド（単文/URL）」を追加します。

2. Web Scraperによるデータ取得

「Web Scraper」ツールを追加し、開始ブロックで入力されたURLを読み込む設定を行います。「変数（/）」機能を使うことで、入力されたURLをスプレーパーに受け渡します。これにより、特定の求人ページのHTML情報をテキストとして取得できます。

3. LLMによる要約とレポート生成

取得したスクレイピングデータはHTMLを含み読みづらいため、LLMブロックに接続します。システムプロンプトに「優秀な営業担当者として、提供された情報を元に採用ニーズのレポートを作成してください」といった指示を出し、ユーザープロンプトにスクレイパーの実行結果（テキスト）を渡します。モデルはGPT-4oなどの他、GeminiやClaudeなど用途に合わせて選択可能です。

4. 実行ログとデバッグ（実行追跡）

ワークフローが完成したらプレビューを実行します。「実行追跡」タブを確認することで、各ブロックでどのようなデータが入力され、LLMがどのような回答を出力したかのプロセスを詳細に追跡でき、エラーの原因特定に役立ちます。

5. 応用と発展の可能性

今回は単一URLの処理ですが、今後は「イテレーション（繰り返し）ブロック」を活用して複数のURLをループ処理したり、Googleスプレッドシートと連携して大量のデータを自動集計するなどの応用が可能です。

**使用ツール・サービス:**

• Dify (AIワークフロー構築プラットフォーム)

• OpenAI (GPT系モデル)

• Web Scraper (Dify内蔵ツール)

• Tavily Search / FireCrawl (より高度なスクレイピングが必要な場合の代替ツール)