RTX PRO 6000 Blackwellを活用したオンプレミス生成AI基盤の開発。完全オフライン型AI「OnPrem Brain」

高性能GPUで、社内完結型の生成AI環境を構築

プロジェクト概要

TX PRO 6000 Blackwellによる高性能AI処理

96GBクラスの大容量GPUメモリを活用し、社内LLM、RAG、文書検索、要約処理など、負荷の高い生成AI処理をオンプレミス環境で実行します。

クラウドに出せない社内データを安全に活用

機密資料、技術文書、議事録、見積情報、業務マニュアルなどを外部クラウドに送信せず、社内ネットワーク内でAI活用できる環境を構築します。

ハードウェア導入だけでなく、業務で使えるソフトウェアまで提供

AIサーバーの導入に加え、社内検索画面、チャットUI、議事録要約、文書登録、権限管理、既存システム連携など、業務利用を前提としたソフトウェア開発まで対応します。

要約

本プロジェクトでは、NVIDIA RTX PRO 6000 Blackwellを搭載したAIサーバーを活用し、クラウドに依存しないオンプレミス生成AI環境を開発しました。 RTX PRO 6000 Blackwellシリーズは、Blackwellアーキテクチャを採用し、96GB GDDR7メモリ、第5世代Tensor Core、第4世代RT Coreを備え、AI、フィジカルAI、科学技術計算、リアルタイム映像処理など幅広いワークロードに対応するプロフェッショナル向けGPUとして位置づけられています。ジーライブでは、この高性能GPUを活用し、社内文書検索、要約、音声文字起こし、議事録作成、社内ナレッジ活用をオンプレミス環境で実行できるソフトウェア基盤を構築しました。

お問い合わせはこちら

1. クライアントについて
2. クライアントが抱えていた課題
3. ジーライブのアプローチ
4. お客様の反応と今後の展開
5. 同じような悩み・課題を抱える企業さまへ

ジーライブを選ばれた理由

生成AIの活用が広がる一方で、企業の現場では「機密情報をクラウドに出せない」「社内資料をAIで活用したいが、セキュリティ上の制約がある」といった課題があります。ジーライブでは、NVIDIA RTX PRO 6000 Blackwellを搭載したAIサーバーを活用し、社内ネットワーク内で完結するオンプレミス生成AI基盤を開発しました。本基盤により、社内文書の検索・要約、音声文字起こし、議事録作成、ナレッジ共有、業務支援AIなどを、クラウドに依存せず安全に活用できる環境を実現します。

クラウドAIを使いたいが、機密情報を外部に出せない

生成AIを活用すれば、文書作成、要約、情報検索、議事録作成など、多くの業務を効率化できます。一方で、企業内には顧客情報、契約書、技術資料、研究データ、見積情報、社内会議の記録など、外部クラウドへ送信しにくい情報が多く存在します。そのため、便利な生成AIを使いたくても、セキュリティ上の理由から本格導入が進まないケースがあります。

社内資料が分散し、必要な情報を探すのに時間がかかる

社内には、過去の提案資料、技術文書、議事録、業務マニュアル、見積条件、問い合わせ履歴など、多くの情報が蓄積されています。しかし、それらの情報がファイルサーバー、個人フォルダ、共有ドライブ、Excel、PDF、メールなどに分散していると、必要な情報を探すだけで時間がかかります。結果として、過去の知見を十分に活用できず、同じ調査や確認作業を繰り返してしまうことがあります。

生成AIを全社で使うには、コストと運用管理が課題になる

クラウド型AIサービスでは、ユーザー数や利用量に応じて費用が増える場合があります。部門単位では導入できても、全社利用を考えると、月額費用、API利用料、権限管理、利用ルールの整備が課題になります。オンプレミス環境でAI基盤を構築することで、社内ルールに合わせた運用管理と、長期的なコストコントロールがしやすくなります。

ジーライブのアプローチ

RTX PRO 6000 Blackwell搭載AIサーバーで、社内完結型のLLM環境を構築ジーライブでは、高性能GPUを搭載したオンプレミスAIサーバー上に、生成AIを動作させる基盤を構築しました。単にGPUサーバーを導入するだけではなく、企業が実際の業務で使えるように、社内文書検索、チャットUI、議事録要約、文書管理、AI利用支援などのソフトウェアを組み合わせて提供します。

RTX PRO 6000 Blackwellを活用した技術構成

高性能GPUによるローカルLLM推論 RTX PRO 6000 Blackwellは、大容量GPUメモリとAI処理性能を備えたプロフェッショナル向けGPUです。NVIDIA公式では、RTX PRO 6000 Blackwell Workstation Editionについて、Blackwellアーキテクチャと96GB GDDR7メモリを搭載し、高度なAIモデルや要求の高いワークフローに対応するGPUとして紹介されています。本構成では、このGPU性能を活かし、社内ネットワーク内でLLM推論や文書検索、要約処理を実行します。

開発した主な機能

1. 社内文書検索AI

PDF、Word、Excelなどの社内文書を、自然言語で検索・要約できます。過去資料や議事録、社内規程などをすばやく確認できます。

2. 生成AIチャット

社内環境で利用できるAIチャット画面を提供します。

3. 音声文字起こし・議事録要約

会議音声を文字起こしし、要点やTODOを整理します。外部に出しにくい会議内容も社内環境で処理できます。

4. 社内ナレッジ活用

ノウハウや業務マニュアルをAIで検索・要約します。個人に依存していた知識を組織全体で活用しやすくします。

“`

お客様の反応と今後の展開

オンプレミス生成AIに対しては、特にセキュリティ要件の厳しい企業や、社内文書を多く抱える企業から高い関心をいただいています。「クラウドに出せない情報をAIで活用したい」「社内ナレッジを横断検索したい」「議事録作成や資料確認の負担を減らしたい」「部門単位ではなく、全社で使えるAI基盤を整備したい」といったニーズに対し、RTX PRO 6000 Blackwellを活用した高性能なオンプレミスAI環境は、有効な選択肢となります。今後は、社内文書検索や議事録要約に加え、見積作成支援、技術継承、社内問い合わせ対応、業務システム連携、AIエージェント機能などへ拡張していきます。

同じような悩み・課題を抱える企業さまへ

社内データをクラウドに出さず生成AIを活用したい

RTX PRO 6000 Blackwellなど高性能GPUを活用したAI環境を構築したい

社内文書検索やナレッジ共有を効率化したい

生成AIを全社展開したいが、セキュリティやコストが課題になっている

このようなお悩みをお持ちの企業様は､ぜひ一度ジーライブにご相談ください。

弊社は、お客様のビジネス課題を深く理解することから始め、AIをはじめとする最新技術の知見と豊富な開発経験に基づき、最適な解決策をご提案します。既存の技術やサービスと、弊社が持つAI技術の活用ノウハウや独自の開発力を組み合わせることで、お客様固有の課題に対応することが可能です。今回の事例のように、PoC（概念実証）を通じてリスクを最小限に抑えながら、段階的にプロジェクトを推進することも得意としています。

まずはお客様の「やりたいこと」をお聞かせください。
最適な進め方を一緒に検討させていただきます。