1. はじめに

こんにちは、フクナガです。
今年もありがたいことに AWS re:Invent に現地参加させていただくことができました！

会社のサポート無しでは1週間以上業務に穴を開けるうえ、海外への渡航は難しいので、こういった機会を2年連続で頂けることを非常に感謝しております！
私は今回「生成 AI のトレンドや現状を把握する」というテーマを掲げて参加させていただきました！
本ブログでは、現地で受けた印象だったり、感じたことをご紹介させていただきます！

2. 全体総括

生成 AI 案件の PoC フェーズからいかに本番へ移行させていくか、というテーマの展示や発表が多かった印象でした。
特に、本番フェーズで課題となる「運用視点（コスト、可用性）」「ガバナンス」をどう考えていくのか、またそれらの実現を支える New Update が多くありました。

PoC フェーズからの本番移行が 2025 年の生成 AI におけるメインテーマになることを予感させるようなイベントだったなと感じています。

3. Keynote

今回の Keynote でも、かなり多くの生成 AI 関連のアップデートが紹介されていました！
各アップデートが、生成 AI を実際に業務やサービスに組み込むことを意識したものだと感じたので、生成 AI 関連アップデートが多かった 2 日目と 3 日目の Keynote について簡単にまとめます。
（ちなみに、2 日目はサテライト会場でのヘッドホン観戦、3 日目は別予定によりアーカイブ観戦でした。。。）

説明の中では、詳細なアップデートの内容の解説は省略いたしますが、面白いものが多かったので今後ブログにしたいと思います！

(1) 2 日目 Matt Garman の Keynote

このセッションでは、S3やAuroraに関する大きなアップデートも紹介されましたが、いくつか生成 AI 関連の発表がありました。
その中で、生成 AI の本番ワークロード移行を支えるようなアップデートに着目して 2 つご紹介します。

• Amazon Bedrock Model Distillation
  パフォーマンスを高く保ちながら、コストやレイテンシを最適にするためのソリューションです。
  重量で高性能なモデルを教師モデル、軽量でコストが安いモデルを生徒モデルとし、
  「蒸留（Distillation）」することでユースケースに適した「蒸留モデル（distilled model）」を構築する仕組みです。

• Amazon Bedrock Automated reasoning check
  生成 AI 活用において未だに最重要課題とされる「ハルシネーション」を減らしていくためのソリューションです。
  事前に回答を判断するためのソースを定義し、回答の内容が誤った生成内容となっていないかを自動で推論してくれる機能のようです。
  実際の使い方や日本語性能など、気になることが多い注目機能ですね！

また、新たな大規模言語モデルとして Amazon Nova もこの Keynote で発表されました。
Amazon CEO の Andy Jassy さんが登場したシーンは会場も大いに盛り上がっていましたね！
Amazon Nova には様々なモデルがあり、用途に合わせて選択していく必要がありそうです！

その他にも、Amazon Q Developer に関する様々なアップデートも紹介されており、開発業務での本番活用も見越しているようでした。

非常に素晴らしいセッションとなっておりますので、フルのアーカイブ動画もぜひ見てみてください！！
AWS re:Invent 2024 – CEO Keynote with Matt Garman

(2) 3 日目 Dr. Swami Sivasubramanian の Keynote

このセッションでは　AI / 機械学習分野について紹介されるのですが、もちろん生成 AI についてもたくさんの発表がありました！

その中で、生成 AI の本番ワークロード移行を支えるようなアップデートに着目して 2 つご紹介します。

• Amazon Bedrock prompt caching
  生成 AI をシステムに組み込む場合、毎回共通の長いプロンプトを投入するケースが発生します。
  これにより、レイテンシの増加やコストの増大につながります。
  プロンプトキャッシングを利用することによって、最大 85% のレイテンシ削減と最大 90% のコスト削減につながるとセッション内で紹介されており、非常に衝撃的な発表でした。

• Amazon Bedrock Intelligent Prompt Routing
  同じモデルファミリー（Llama とか Claude）内の異なるモデル間でリクエストを効率的にルーティングする機能が発表されました。
  「Amazon Bedrock Model Distillation」とは違い、新たなモデルを構築するのではなく、タスクに応じたモデルを自動で選択することで、コストやレイテンシの最適化を実現する機能のようです。
  これにより、簡単なタスクは軽量でコストが安いモデル、難易度の高いタスクは重量で高性能なモデルで実施する、という振り分けが自動で実施され、高い回答精度を保ちながらコスト/レイテンシの最適化を実現することが可能になります。

そのほかにも、Knowledge Bases の GraphRAG 対応や、マルチモーダル用途での有害検知を実現した「multimodal toxicity detection」など、注目すべき Amazon Bedrock 関連のアップデートが多く発表されました。

基盤モデルについては、poolside の各モデル、Stability.ai の新モデル「Stable Diffusion 3.5」、Luma AI のモデル「Luma Ray 2」の近日利用開始が発表されました。
また、様々なモデルを利用可能な「Amazon Bedrock Marketplace」も発表されました。
※上記リンクは英語版で閲覧ください。

生成 AI 活用における AWS の強みは「様々なモデルから自分に合ったモデルを選択できること」であると様々な場で語られていますが、それを体現するような発表ですね。
もしかしたら、日本語に特化したモデルがマネージドで提供されることも今後あり得るかもしれませんね！！

こちらもフルでアーカイブ動画が公開されていますので、ぜひ見てみてください！
AWS re:Invent 2024 – Keynote with Dr. Swami Sivasubramanian

4. セッション

私が現地で参加したセッションでも、生成 AI を本番ワークロードへ移行することを意識した内容が語られていました。

• Designing generative AI workloads for resilience (COP332)
  生成 AI ワークロードを本番へ移行する際に考えるべき「可用性」や「レイテンシ」などについて語られています。
  複数の利用者（部署や顧客）に対し単一のベクターデータベースでサービスを提供すると依存関係が生まれるなど、「生成 AI ワークロードも普通のインフラ環境と考えるべきことは共通なんだ！」ということに気づかされるとても素晴らしいセッションでした。

• Revolutionizing sports with generative AI: The Bundesliga trailblazer (SPT207)
  ドイツのプロサッカーリーグである「ブンデスリーガ」における生成 AI 活用についてのセッションです。
  人が行っている業務をどう生成 AI に置き換えて、それがどういう優位性があるのかについて語られており、非常に興味深いセッションでした。
  また、業務で「PartyRock」を活用しているという内容にも驚きました。
  「簡単かつ無料で生成 AI 環境が使える」というアプリケーションで本番業務で利用するというよりは
  「お試し」のイメージが強かったので、この機会に刺さりそうなユースケースなどを見直してみたいなと感じました！
  こちらのブログでも様々な事例が紹介されているので、サッカー好きの方、生成 AI 好きの方はぜひ見てみてください！！
  AWS によるブンデスリーガインサイト

5. EXPO(企業出展ブース)

AWS re:Invent の大きな魅力の一つは EXPO コーナーで様々な企業の情報を収集できることだと思います。
私も様々な生成 AI 関連企業を見させていただいたのですが、下記のタイプに分けられると感じました。

• 生成 AI （モデル）を作る企業
  Anthropic や AI21 Labs、Cohere などの基盤モデルを提供する企業が出展していました。
  日本のイベントでは見ることができないので、私自身非常にテンションが上がりました！

• 生成 AI を使ったアプリケーションを作りやすくする SaaS を提供する企業
  RAG アプリケーションを簡単に構築できる、といった SaaS を提供する企業がいくつかありました。
  ただ、こういった企業は日本のイベントに比べると少なかった印象です。
  「生成 AI がここまで有名になる前から検索精度において研究や研鑽を重ねていたんだ！」と語る企業の方がいたり、この分野は「検索精度」が非常に重要みたいですね。
  emma や glean というツールが個人的にはすごくよさそうだなと思いました。

• 生成 AI を組み込んだ SaaS を提供する企業
  監視やセキュリティ、コスト分析系のツールで生成 AI を組み込むことで、利用者体験を向上する企業が非常に多かった印象です。
  生成 BI と呼ばれる、生成 AI を使ってデータのインサイトを得る機能が提供されていたり、どんどん生成 AI が「当たり前」になっているなと感じました。

• ベクトル DB
  Pineconeなどのベクトル DB を提供しているような企業もいくつか出展していました。
  モデルと同様、様々な特長を持ったベクトル DB を比較しないといけないタイミングが来そうですね！

6. 今回のイベントを通したその他の気づき

ここまでは、生成 AI にフォーカスしてどう感じたか、という内容をご紹介しました。
ここからは個人的に学んだことや感じたことを書いていきたいと思います。

(1) 必要なのは発信力

こういった場でセッションなどで発表している方々は共通して「会社で評価されている人」だと思います。
私が見たすべてのセッションにおいて「発信力の高さ」を感じました。
相手に伝わるような言葉選びや間の使い方、表情管理など、すべてにおいて自分よりも圧倒的に実力があると感じました。
会社から評価されているということは「技術力が高い」人なはずです。
そういった人たちが当たり前のように「高い発信力」を兼ね備えていて、驚きました。

技術だけができればよい、うまく話せればよい、ではなく総合力がビジネスパーソンとして必要なのだと改めて感じる良い機会になりました！

(2) やはり英語力は大事

2024 年は人生で一番英語を勉強した年でした。

ブログでは3か月となっていますが、同じコースをもう一回受講したので、6か月間毎日3時間英語を勉強する日々を過ごしました。

その結果かなり英語が上達し、現地ではわりと英語でコミュニケーションを取れました。
「翻訳機があるのだから、英語ができなくてもコミュニケーションは取れるよ」とおっしゃる方もいらっしゃると思いますが、個人的には英語が話せたほうが圧倒的に良いと思っています。
英語をあまり話せなかった去年と比べ、下記の点でよかったなと感じています。

• EXPO の企業ブースでより深い話を聞ける
  機能についてわからないことがあれば質問できますし、説明する側も「この人はある程度長文でしゃべっても大丈夫」と思ってくれるので、より深く内容を教えてくれます。
• 積極的に話しかけることができる
  「英語が話せない」というコンプレックスを抱えていると、話しかけるのが怖くなると思います。
  英語が話せるようになった今年のほうがイベントを満喫することができたかなと思っています。
• セッションで得られる情報が上がる
  これは言うまでもないですね。英語にしか対応していないセッションがほとんどですので、リスニング力はある程度必要になってきます。
  翻訳機でレコーディングして後で内容を知る、というのもありですが、たくさんセッションがある中で毎回それをするのは大変ですよね？
  去年よりも聞いた内容を理解し、自身で考える時間を多くとれた印象です。

今年同行したメンバーの中にも「来年は英語を頑張る！」と決意したメンバーも複数人いたので、そういったきっかけとして海外イベントへの参加はとても大きそうですね。
私も再び気合いを入れなおして、さらに学習していきたいと思っています！

7. まとめ

本ブログでは、生成 AI にフォーカスしたイベントの振り返りをしていきました。
世界のトレンドを知ることができるという点で、やはり re:Invent の現地参加は価値があるなと感じました。
これからは、紹介されたアップデートやトレンドを深堀し、身に着ける期間を過ごしたいと思います！