はじめに

11月15日(水)16日(木)に東京ビッグサイトで開催されたGoogle Cloud Next Tokyo ’23に参加してきました。

私は15日(水)のみ参加させていただきました。

cloudonair.withgoogle.com

今回は、私が参加したセッションとGoogleの最新サービスについてご紹介したいと思います。

はじめに
DAY 1 基調講演
- PaLM2とは
生成 AI 時代の MLOps 実現方法とは？
ノーコードツール AppSheet 活用企業と学ぶ、データ活用最新情報
さいごに

DAY 1 基調講演

基調講演では、最近発表された生成AIについての紹介がありました。

Googleは「大胆かつ責任あるAI」を掲げてテクノロジーを開発し提供することに宣言しており、そのAIの原則を下記のように定めています。

社会にとって有益である
不平等なバイアスの発生、助長を防ぐ
安全性確保を念頭においた開発と試験
人々への説明責任
プライバシー・デザイン原則の適用
科学的卓越性の探求
これらの基本理念に沿った利用への技術提供

具体的な例として、

「思った回答が返ってこない」といった現象、いわゆるハルシネーションを抑制する「グラウンディング」を社内の適切な外部データソースを用いて制御を行います。

また、上記のような技術を提供するためにも最適なインフラを整備しております。

CloudTPU v5eは従来の2倍のパフォーマンス、2.5倍の推論性能を実現します。

https://cloud.google.com/tpu/docs/v5e-inference?hl=ja

また、NVIDIA H100を搭載している A3 VMs は従来のA2と比較して3倍の学習速度と10倍のネットワーク帯域提供することが可能です。

https://cloud.google.com/blog/ja/products/compute/introducing-a3-supercomputers-with-nvidia-h100-gpus

これら強力なインフラの元、Googleは統合開発運用プラットフォーム「VertexAI」を提供しております。VertexAIを使うことによって100以上のモデルを活用することができるだけではなく、検索やチャットを簡単に構築するツールを利用することができます。

モデルについては、最近「PaLM2」を発表しました。

PaLM2とは

Google AIが開発した5400億のパラメータを持つ大型言語モデルです。多言語に対応することが可能で100以上の言語テキストを学習しています。またコーディングにおいてはPython や JavaScript などのよく使われるプログラミング言語だけでなく、Prolog、Fortran、Verilog などの言語でコードを生成することもできます。

PaLM 2 のご紹介

テクニカルレポートと研究内容はこちら

中外製薬では、医学論文を学習したMed-PaLM2を活用することで創薬プロセスを加速することに成功しています。

創薬におけるAIの活用を推進し、新薬の候補薬の発見や、候補薬の構造の予測に利用しています。また、Googleのグループ企業であるDeepMindが提供する「AlphaFold2」を使用して、タンパク質の構造を高精度に予測し、創薬プロセスの時間短縮に貢献しています。

AIの民主化と技術支援においても中外製薬は重要であることを主張しており、研究員が簡単に扱えるウェブアプリ化や、Google Cloudのプラットフォームを使用したアプリ開発の内部化などを進めています。Med-PaLM2は会話形式で臨床試験計画に必要な情報を短時間で抽出することが可能で研究員の作業工数を削減することに成功しています。

生成 AI 時代の MLOps 実現方法とは？

こちらのセッションでは、生成AI時代に突入したことによってどのようにMLOpsがバージョンアップしたのかについてご紹介いただきました。

まずMLOpsとは、MLシステムを迅速かつ確実に構築、導入、運用するための表現化されたプロセスと機能のセットと定義しています。

従来のMLOpsは主に予測するAIとして活用されていましたが、時代は生成AIへと変化しました。

それに伴って生成AI特有のMLOpsニーズは、主に下記の5つについて理解する必要があります。

マルチタスクモデル＆プロンプトと増大するAIインフラストラクチャーのニーズへの対応
チューニングと厳選されたデータによるカスタマイズ
プロンプト、エンベデッティングアダプター層などの新しいアーティファクトの管理
生成された出力の評価と監視
エンタープライズデータに接続して取得してアクション

マルチタスクモデル＆プロンプトと増大するAIインフラストラクチャーのニーズへの対応

従来のMLOpsの構造から考えると、実験の部分に事前学習モデルの選択を行うことができ、予測の部分には皆さんご存知のプロンプトの入力が行えるようになりました。

もちろんプロンプトエンジニアリングによって意図している回答に限りなく近づけることができるのですが、それだけでは一つのモデルには限界があります。Googleでは様々なモデルを選択、トレーニングさせることが可能にしています。

チューニングと厳選されたデータによるカスタマイズ

Vertex Generative AI Studioは、「Supervised Tuning（教師あり学習）」と「RLHF(選択やフィーバックなどの)による強化学習」によってチューニングを行います。

さらにVertex Generative AI Studioの機能としては、さまざまな生成型AIモデルから選択し、独自のデータでモデルを調整できるモデルの選択と調整を可能にします。

またモデルのトレーニングを自動化することを可能にし、トレーニング済みのモデルをアプリケーションに組み込むためのコードを生成ができます。

プロンプト、エンベティングアダプター層などの新しいアーティファクトの管理

Vertex AIに統合されたツールとして、下記3つが紹介されました。

Vertex AI Pipelines：チューニングジョブの調整と管理を行う
Vertex AI Model Registry：チューニングモデルの管理、評価、デプロイを行う
Vertex AI Feature Store：エンベディングの保存、管理、展開で行う

生成された出力の評価と監視

生成されるアウトプットは常に評価とモニタリングを行い、それが意図した回答に近かったか流暢さを保っているかだけではなく、危険性がないかまでスコアリングとチェックを行います。クラウドサービスである「Google Cloud」と、ビジネス向けグループウエア「Google Workspace」によって生成された画像などは著作権問題を回避できるようにコンテンツの複製の可能性があるかのチェックを行っています。

またGoogleは最近3つの生成AI評価サービスを発表しており、その内容についても紹介いただきました。

Automatic metrics：タスク固有の様々なメトリクスにアクセスして、モデルを迅速かつ低コストで評価を実現します。また「入力プロンプト、想定出力」ペアに基づいてモデルの結果を評価し、学術的に使用される標準メソッドと多くのオープンソースなベンチマークやいくつかの生成AIタスクで広く使用されるメトリクスを備えています。

Auto SxS：Googleチームが採用した最先端の評価手法で、モデル同士の優劣を判断することが可能です。また特定のメトリクスに制限されず、カスタムタスク仕様に対応可能です。

Safety Bias：調整されたモデル内の安全属性のパフォーマンスにおける潜在的なバイアスを評価することが可能です。

エンタープライズデータに接続して取得してアクション

最後は事前学習モデルに社内データを追加学習させることでリアルタイムで専門的な知識を構築し、グラウンディングを実現することが可能です。

個人的にGoogleの一番の強みはここかなと思っています。

AIを活用する際、セキュリティ面を懸念する方が多くいると思いますがGoogle Cloudにあるデータはセキュリティを備えています。膨大な社内の資産（データ）を守りつつ、これまで提供している多くのソリューションがAI活用を可能にしています。これはエンジニアだけが活用できるものではなく、Google Workspace上でノーコードで利用することが可能です。

cloud.google.com