[AWS re:Invent 2023]Building Falcon LLM: A top-ranked open source language model (WPS209)

2023.12.13

Topics

1. はじめに
2. 本セッションの概要
3. 本セッションのおすすめポイント
4. まとめ

1. はじめに

こんにちは、フクナガです。これまで、2本re:Invent関連の感想記事を投稿してきました！
AWS re:Invent 2023に行ってきました！
AWS re:Invent 2023でEXPO出展企業ブースを50社回った話

AWS re:Invent 2023の熱気をお伝えすることはできたかなと思います！
ここからの記事数本では、私が実際に会場に足を運んだBreakout Sessionについてご紹介できればと思います。
初回である今回の記事では、「Building Falcon LLM: A top-ranked open source language model (WPS209)」についておすすめポイントなどをご紹介します。

なぜBreakout Sessionに絞って記事化するの？

AWS re:Invent 2023で行われたBreakout Sessionは全てYouTube上にアーカイブが残っています。なんてすばらしい！！
ただ、膨大な量がありますので、「このセッションは面白かったから見てみてね！」といったご紹介ができれば皆さんにとって有益な記事になるかなと思い、Breakout Sessionに絞っております。

2. 本セッションの概要

本セッションでは、Falcon LLMの性能や開発上の課題、解決策、実際のプロンプト例に焦点を当て、AWSのマネージドサービスが大規模言語モデルの開発にどう役立ったのかが解説されます。大規模なデータ処理における課題への対処方法や性能向上の手法についても具体的に紹介されておりますので、AWSのマネージドサービスを活用した開発プロセスに興味がある方にとって有益なセッションです。開発に使用されたアーキテクチャについても基本から理解できるように解説されています。

Falcon LLMとは

オープンソースの大規模言語モデルです。最新のモデル「Falcon 180 B」は、1800億のパラメーターと3.5兆のトークンによって学習されたモデルです。その性能は、Googleが提供するPaLM 2と並ぶほどであると公式HPには記載されております。

3. 本セッションのおすすめポイント

(1) Dr. Ebtesam Almazrouei 冒頭セッション

動画内：5:15 ~ 19:00

Dr. Ebtesam Almazrouei is the Executive director and acting Chief AI researcher for the Al-Cross Center Unit at the Technology Innovation Institute (TII). She is a renowned leader and visionary in the field of artificial intelligence (AI) and technology. With a wealth of knowledge and experience, she has made significant contributions to AI research, development, and innovation in a short time, earning her a distinguished reputation in the industry.
Ebtesam Almazrouei

本セッションでは、Dr. Ebtesam Almazroueiという女性のスピーカーの方が登場します。
Technology Innovation InstituteのAl-Cross Center Unitを設立された方だそうです。
こういった世界で功績を上げている方のスピーチを生で聞けたのは素晴らしい経験だったなと痛感します。

AI開発における想いや自身が携わるFalcon LLMの性能についてのスピーチは必見です！

(2) 大規模言語モデル構築に採用されたアーキテクチャ

動画内：30:30 ~ 45:00

Falcon LLMを開発するにあたり、どういった技術的障壁を乗り越える必要があるのかをまとめ、どう解決したのかをひたすら解説していきます。大規模なデータを扱うにあたり、AWSのマネージドサービスが性能面の課題を解決するのにいかに役立ったのか知ることが出来ます。とても難しい内容ですが、非常にわかりやすく解説されているので、専門外の方もぜひ見てみてください！