Lightblueは商用利用可能な140億パラメータ日本語LLMを公開

既存の日本語公開モデルの中で最高性能を達成、オンプレミス環境でのLLM利用を実現可能に

生成AIの研究開発LLabを運営し、日本語LLMの開発・提供を手掛ける株式会社Lightblue(以下Lightblue)は、商用可利用可能な日本語LLM「Karasu」「Qarasu」を公開したことをお知らせします。

公開した「Karasu/Qurasu」モデルは下記のリンクからご利用いただけます
https://huggingface.co/collections/lightblue/karasu-658e78e9188f3934c6fb701e

Karasu/Qarasuシリーズについて

• Karasuシリーズ：70億パラメータのShisa（https://huggingface.co/augmxnt/shisa-7b-v1）に対して、日本語と英語の学習データを用いて70億トークンで継続事前学習とファインチューニングを実施したモデルです。
• Qarasuシリーズ：140億パラメータのQwen-14B（https://huggingface.co/Qwen/Qwen-14B）に対して、Karasuシリーズで培ったノウハウを活かしファインチューニングをしたモデルです。
  
  モデルの開発においては、Googleの「Google for Startups　クラウドプログラム」とアマゾン ウェブ サービス ジャパン（AWSジャパン）の「AWS開発支援プログラム」を活用しました。

モデルの特徴

• Karasuシリーズ：70億のパラメータモデルとして、非常に軽量であり、一部の13Bのモデルとして同等の性能を示します。
• Qarasuシリーズ：140億のパラメータモデルであり、既存の日本語公開モデルの中で最高性能を達成しgpt-3.5に迫る性能を示します。
  日本語言語モデルの性能を評価するためのベンチマークの一つであるMT-Benchの6タスク平均スコアはKarasuが6.70、Qarasuが7.60となっています（表1）。
  また、モデル名の由来は日本神話に登場するカラスであり、導きの神「八咫烏（ヤタガラス）から来ています」
  公開した各種モデルの詳細は以下のnote記事に記載しております。
  ■「データサイエンティストによるnote記事（英語版）」はこちら
  ■「日本語に翻訳したnote記事」はこちら

また、Qurasuについてはチャット形式のデモについても公開しております。下記URLより確認できます。
https://lightblue-qarasu.serveo.net
※アクセス方によりリクエストが処理されるまで待ち時間が発生することがあります。

Karasu/Qarasuシリーズの性能

図1　日本語言語モデルのベンチマークMT-Benchでの評価結果

表1 日本語言語モデルベンチマークMT-Benchのスコア一覧

• Kerasuシリーズ：ライセンスはApache2.0であり、商用利用可能です。
• Qurasuシリーズ：ライセンスはQwenのTongyi Qianwen LICENSE AGREEMENTを継承しており、利用条件によっては商用利用することが可能です。詳細はライセンスの公式情報（https://github.com/QwenLM/Qwen/blob/main/Tongyi%20Qianwen%20LICENSE%20AGREEMENT）をご確認ください
• プレスリリースの詳細はこちら

LLabについて

Lightblueの生成AI特化開発チーム「LLab」では、生成AI活用を目指す現場において真に実用的なLLM実装をサポートします。 「LLab」では、オンプレミスで個社に合わせた独自モデルを提供することはもちろん、DXコンサルティングおよび受託開発で培ったノウハウをフル活用し、各社・各部署・現場ごとの業務理解を基盤としたカスタマイズを実施します。 

【独自開発が有効な現場】 

1. 専門性が高い現場：
   建設、製薬など、業界・法人ごとの専門用語が多い
2. 情報セキュリティレベルが高い現場：
   金融、医療など、高レベルのデータ侵害対策が必要
3. インターネットにアクセスしづらい現場：
   工場や建設現場など、通信環境の整備が難しい

「LLab」および本モデルを用いた企業内でのAI活用推進に興味のある方は、こちらのリンクからお問い合わせください。

株式会社Lightblueについて

Lightblueは、AIの民主化を目指し、画像解析・自然言語処理AIを軸にソリューションを開発している東大発スタートアップ企業です。生成AI・LLMの研究開発に特化したチーム「LLab」を設立し、安全性と透明性を重視したAIモデルの開発に取り組んでいます。AI技術の活用範囲を広げ、社会にポジティブな変革をもたらすことを目指しています。

▼人にフォーカスした画像解析技術「Human Sensing」の詳細はこちら

▼生成AIの社内活用を加速させるワークショップの詳細はこちら

▼社内連携ツール×ChatGPTで生産性向上「Lightblue Assistant」の詳細はこちら