社内ネットワーク環境でWindowsにインストールしたOllamaを、UbuntuサーバーのDifyと連携させる手順を解説します。この記事では、特にネットワーク設定に焦点を当てて説明します。

開発環境

  • システム構成:
    • クライアント環境: Windows PC（社内LAN接続）
      • Ollama for Windows
    • サーバー環境: Ubuntu Server（社内LAN接続）
      • Dify（Docker環境）

1. Windowsでのollama設定

環境変数の設定

まず、Ollamaがネットワークからのアクセスを受け付けるように環境変数を設定します。

  1. Windowsの検索ボックスで「環境変数」と入力
  2. 環境変数設定画面を開く
  3. 「新規」ボタンを押下し、以下を追加：
    • 変数名: OLLAMA_HOST
    • 変数値: 0.0.0.0

Ollamaの再起動

  • タスクトレイのOllamaアイコンを右クリックして終了
  • スタートメニューからOllamaを再起動

2. ファイアウォールの設定

Windowsファイアウォールでポート11434を開放

  1. Windowsの「スタート」→「設定」→「システムとセキュリティ」→「Windows Defender ファイアウォール」
  2. 左側メニューから「詳細設定」をクリック
  3. 「受信の規則」→「新しい規則」をクリック
  4. 以下の設定を行う：
    • 規則の種類：「ポート」
    • プロトコル：「TCP」
    • ポート番号：「11434」
    • アクション：「接続を許可する」
    • プロファイル：必要なものを選択（プライベートは必須）
    • 名前：「Ollama-11434」

3. 動作確認

WindowsのコマンドプロンプトでOllamaの動作確認を行います：

1
curl http://localhost:11434/api/generate -d "{\"model\":\"llama2\", \"prompt\":\"Hello\"}"

4. Difyの設定

  1. UbuntuサーバーのDifyにログイン
  2. 設定 → モデルプロバイダー → Ollamaを選択
  3. 以下の項目を設定：
    • Model Name: llama2
    • Base URL: http://<WindowsのIPアドレス>:11434
    • Model Type: Chat
    • Model Context Length: 4096
    • Maximum Token Limit: 4096

トラブルシューティング

接続エラーが発生した場合は、以下の点を確認してください：

  • WindowsのIPアドレスが正しく設定されているか
  • ファイアウォールの設定が正しく行われているか
  • Ollamaが正常に起動しているか
  • ネットワーク接続に問題がないか

まとめ

この設定により、社内ネットワーク環境でDifyからOllamaのモデルを利用することが可能になります。セキュリティ面を考慮しながら、適切なネットワーク設定を行うことが重要です。