• Facebook
• X
• Bluesky
• Hatena
• Copy

先日PFNで開発しているPLaMo 3の事前学習モデルの小規模なモデルが公開されました。

https://huggingface.co/collections/pfnet/plamo-3

どのようなモデルなのかはPFNのブログのほうに書かれています。

簡単にPLaMo 3がどういうモデルか説明すると、PLaMo 2のときと同様、日本語のデータを大量にいれつつ、PLaMo 3では海外勢のLLMと差が大きかった学術的な部分の知識を増やすような取り組みをして、精度が上がったよというモデルになっています。

まだ、小規模モデルの検証段階のモデルが公開されているだけですが、最終的なモデルはもっとよくなる（はず）。

今回はPLaMo 2のとき少し面倒だった推論環境構築がPLaMo 3になったことで簡単になったので、2Bを使ってGoogle Colabで簡単に推論できる例を示そうと思います。

PLaMo 3は高速な推論が可能なvLLMでも簡単に動かせる仕組みが用意されているので、今回はhugging faceの仕組みを使った推論に加えて、vLLMによる推論の例も示します。

コードに関してはgithub上に置いてあります。コード全体を見たい方はこちらをご覧ください。

https://github.com/shu65/plamo-3-inference/blob/main/plamo_3_hf_inference_example.ipynb

https://github.com/shu65/plamo-3-inference/blob/main/plamo_3_vllm_inference_example.ipynb

注意点としては、事前学習を触ろうと思っている人ならご存じだと思いますが、精度が高いモデルでも事前学習モデルは結構めちゃくちゃなことを言います。このため、めちゃくちゃな推論結果でも事前学習モデルならそうだよね、という感じで流してもらえればと思います。ある程度指示を聞くようにするSFTのやり方も後日公開予定です。指示をちゃんと聞かせたいという方はそちらもご覧ください。

PLaMo 3を使うための事前準備

PLaMo 3はダウンロードする前にライセンスに承認が必要になります。今回例で示す、PLaMo 3の2Bモデルである「PLaMo 3 NICT 2B Base」だと初めてアクセスする場合は以下のような画面になっています。

こちらHugging Faceにログインし、ライセンスを確認のうえ、acceptをおしてください。

次にGoogle Colabで使うランタイムを変更します。

Google Colabでnotebookを開いたあと、右上の下矢印をクリックすると以下のようなメニューがでてきます。

このうち、「ランタイムのタイプを変更」をクリックしてください。するとこのようなポップアップが出てきます。

私の画面では有料のクレジットがある状態なので、T4以外にもL4が選択できるようになっていますが、無料の方は選択できないようになっていると思います。Hugging Faceのみの推論を試す場合は、無料で使えるT4で、vLLMを試したい方はL4にしてください。

ランタイムの設定が終わればここからはHugging FaceとvLLMで少し違うので個別に説明していきます。

PLaMo 3の推論 Hugging Face編

Hugging Faceの仕組みで実行するのはすごく簡単で、Google Colabで必要なパッケージはデフォルトで入っているので、基本的にpipインストールなどは必要ありません。ただ、Hugging Faceはすごい勢いで後方互換を壊していくので、最新のHugging Faceのtransformersなどのバージョンでは動かないということが発生する可能性があります。その時はnotebookにあるtransformers==4.57.1 にしてみるなど試してみてください。

pipインストールが必要ないので、まずはHugging Faceにアクセスするためのトークンを設定します。やり方としては以下のコマンドをnotebook上でたたきます。

!hf auth login

これをたたくとtokenを生成するページのURLが表示されるので、サイトにアクセスして、tokenを作り、tokenを入力するということをしてください。

tokenを入力したら、Hugging Faceからモデルをダウンロードができるようになります。やり方は以下の通りです。

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("pfnet/plamo-3-nict-2b-base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("pfnet/plamo-3-nict-2b-base", trust_remote_code=True)

ここでエラーがでたらモデルの承認ができていない、Google Colab上でHagging Faceのtokenが指定できてないなどが考えられますので、戻って確認してください。

ダウンロードできれば以下のように推論することが可能です。

text = "これからの人工知能技術は"
input_ids = tokenizer(text, return_tensors="pt").input_ids
generated_tokens = model.generate(
    inputs=input_ids,
    max_new_tokens=32,
    do_sample=True,
    top_k=50,
    top_p=0.95,
    temperature=1.0,
)[0]
generated_text = tokenizer.decode(generated_tokens)
print(generated_text)

出力としてはこのようなものが出てくると思います。

<|plamo:bos|>これからの人工知能技術はAIの進化系であり、音声の文字起こしや翻訳といった従来の用途の枠を超えた、全く新しい可能性を切り拓いていくことでしょう。
10年以上、ディープラーニング

これでHugging FaceのAPIを使ったPLaMo 3の推論ができました。

PLaMo 3の推論 vLLM編

次にPLaMo 3のvLLMを使った推論のやり方を示します。vLLMを使う場合はまずは以下のようにPLaMo 3用のvLLMのpluginをインストールします。

!pip install --no-cache git+https://github.com/pfnet-research/vllm-plamo3-plugin.git

ここで--no-cache を付けないと、Google Colabのイメージに変なキャッシュがあるのか、pipインストールでエラーがでるので注意してください。

インストールが終わったらHugging Face編と同じようにHugging Faceのtokenを設定するために以下のようにコマンドをたたきます。

!hf auth login

その後、出力されたtokenの生成サイトに行き、tokenを作ったあとできたtokenを入力するということをします。

次にvLLMでモデルをダウンロードしてロードします。コードとしては以下の通りです。

import vllm
model = vllm.LLM("pfnet/plamo-3-nict-2b-base", trust_remote_code=True)

ダウンロードできればあとは以下のように推論することができます。

response = model.generate(
    prompts=["これからの人工知能技術は"],
    sampling_params=vllm.SamplingParams(
        n=1,
        max_tokens=32,
        top_k=50,
        top_p=0.95,
        temperature=1.0,
    ),
)[0]
generated_text = response.outputs[0].text
print(generated_text)

出力例としては以下の通り。

AIによる画像認識が主流になるといわれている。自動運転などはすでに実用化されている自動車が事故にあわない為の技術として人工知能が使われている。 例えば自動車が障害物を

これでvLLMを使った推論もすることができました。

終わりに

今回はPLaMo 3の推論方法にのみ注目して紹介しました。ただ、最初に述べたように今回のモデルは事前学習モデルなので、そのままで使うことは難しいと思っています。このため、簡単にSFTする方法も後日紹介できればと思っています。

The post PLaMo 3 の事前学習モデルを推論させてみる first appeared on まったり勉強ノート.

• Facebook
• X
• Bluesky
• Hatena
• Copy

今回は「数学ガール」というシリーズの最終巻である「数学ガール リーマン予想」を1回読み終えたのでこのタイミングで紹介を書こうと思い記事にしました。

数学ガール／リーマン予想 [ 結城 浩 ]

楽天ブックス

Amazon

楽天市場

ポチップ

どんな内容の本か？

みなさん、数学はお好きですか？修士や博士を取った友人なら一定数「好き」と答える気もするのですが、大部分の人間は「普通」か「嫌い」と答えると思います。数学が楽しいものであると知る機会は普通に生活しているとほとんどない印象です。そしてその機会を得られるかで、勉強への取り組み方が変化するため、結構人生が変わると思っています。
そんな重要な機会を得られる可能性があるのが「数学ガール」というシリーズです。
数学ガールは高校生の「僕」が「ミルカさん」や「テトラちゃん」などと一緒に数学の様々な分野について勉強していく青春ストーリーとなっています。
ここまで聞くと普通の高校生の青春もの小説と思われるかもしれませんが、その中身は参考書かな？と思うくらい数式が大量にでてきます。
ただ、テトラちゃんを中心に普通の人が考える質問を数学に詳しい「ミルカさん」などに質問してくれるおかげで、私が読んだことある数学書の中では圧倒的なわかりやすさを誇っているシリーズとなっています。
加えて、登場人物が数学について楽しそうに話しているのを見ることで、学校で習ってた数学が実はこんなにも楽しいものであるというのが徐々に思っていきます。
今回紹介する「数学ガール リーマン予想」がこのシリーズの最終巻となっていて、素数や複素数を通じてリーマン予想までつなげる話になっています。
正直、過去の数学ガールでも最終章だけは難易度が婆く上がりする関係でほぼ置いてけぼりになるのですが、リーマン予想に関しては中盤くらいから難易度が高いので過去一難しい本になっている印象ではあります。ただ、それでも数学の楽しさは伝わる１冊になっています。
なので、ぜひ手に取ってほしい１冊です。

どんな人にお勧めか？

今回は数学ガールというシリーズがどういう人にお勧めなのか紹介したいと思います。
私が考えるお勧めな人は以下のような人です。

1. 数学が楽しいと思ったことがない人
2. 数学を高校や大学生からあまり勉強してない人

特に１の人がお勧めで、数学を思えるかどうかで数学の勉強時間だったり集中力が段違いに変わると思っています。一方、高校や大学の数学を講義で聞いていてもなかなか楽しいという感覚を味わうのは難しい印象です。
一方、数学ガールはこのような「数学は楽しい」というのを教えてくれる素晴らしいコンテンツであり、この本を読むことで数学の楽しさを知ることができれば、その後の数学への取り組む姿勢が大きく変わるのではないかと思っています。
また、２に関して、数学ガールは序盤は高校レベルの数学からスタートするものの、そこから大学レベルへとつながっていきます。特に大学レベルの数学は専門でもないと触れる機会が極端に減ると思われるので、そのあたりを触れられる機会が得られるいい機会になるのではないかと思っています。

個人的に良かった点

1. 複素数についてほとんど勉強してこなかったのでいろいろ知るいい機会になった。
2. リーマン予想は名前だけ知っているけどどういう予想なのか知らなかったので、知る良い機会になった

終わりに

今回は「数学ガール リーマン予想」を読んだので、その紹介でした。数学ガールはこれまでたくさんの数学の楽しさを教えてくれるいい本だったので終わったことは非常に残念ですが、感動の最終巻だったので、まだ読んでない方は是非手に取ってもらえればと思います。
定期的にこのように本の紹介記事を書いてます。もし興味があれば他の本の記事も見ていただければ幸いです。

The post [書評] 数学ガール リーマン予想 ー 数学の楽しさを教えてくれる名著の感動の最終巻 first appeared on まったり勉強ノート.

• Facebook
• X
• Bluesky
• Hatena
• Copy

今回は初めて基板から自作キーボードを作りました。もともと基板から作る気はなかったのですが、同僚が「基板から作るのも難易度高くないですよ」とアドバイスしてくれて踏ん切りがついたので、挑戦しました。今回の記事はそんな基板から作る自作キーボードに初チャレンジする昔の自分のような人向けに、基板から作りたかったらどうすればいいのか？を紹介する記事になります。

そもそもなぜ自作キーボードを基板から作ったか？

Youtubeでたまに自作キーボードの紹介を見て、自分も欲しくなったため、今年になっていくつか自作キーボードのキットを買って自作キーボードを作るということをしています。

ただ、自作キーボードのキットは個人が作っているものが多く、人気なキットは入手難易度が高い印象です。

例えば、roBaやmoNa2 などの無線＋分割+トラックボールのような人気のキットは、開発者の方が結構定期的に在庫補充してくれている印象ですが、在庫が入ったら数分で売り切れてまったく買える気配がありません。

また、この手の小型の分割キーボードは「自分ならここにキーがほしい！」という要求が使っているといろいろでてきます。

そんなわけで5月か6月ごろから「もうこれは自分でつくるか」ということで基板から設計をすることにしました。

2025年8月現在、基板から自作キーボードを作りたくなったらどうすればいいか？

自作キーボードに何を求めるか？で大分話が変わりますが、自分は以下のような要素がほしくて自作キーボードを作りました。

1. 分割キーボード
2. 完全無線（分割キーボード間も無線だし、PCとキーボードの間も無線）
3. 最低片側6カラム、合計12カラム
4. トラックボールあり（できればスクロールとカーソル操作を別々のボールで操作したいので二つ）

自分と同じような要素を盛り込もうと思った場合、実は2025年8月現在はnoteで最高の資料が公開されています。

それが先ほど紹介したmoNa2を開発している白湯さんが書いたnoteの記事になります。

https://note.com/pooh_polo/m/me4a885480f75

このnoteのマガジンの記事では無線分割キーボードであるTweakbitというキーボードを作る流れなどが紹介されています。一部有料記事ではあるりますが、すごく安い＋キーボードを基板から自作した場合にかかる費用からすると誤差みたいな金額です。

このため、キーボードを作りたいと思った場合、現在なら有料記事も含めて全部1読することがまず1歩かと思います。

それ以外の要素のキーボードを作りたいときの参考になりそうな資料は？

要素ごとに参考になりそうな資料が微妙に違うのでカテゴリーわけして紹介していきます。一部重複する資料があります。

Tweakbitからレイアウトを変えたい

写真を見ればわかりますが、Tweakbitは格子状にスイッチを配置するオーソリニア配列です。これは基板から作る場合、作成の難易度が下がるので初心者向けのキーボードとしては作りやすくてよいのですが、ここを変えたいという要求がまずでてくると思います。

この場合、スイッチのレイアウトを事前に考えてからキーボードの基板を作るという流れになると思います。この辺の流れは以下の本が一番詳しく載っていました

• 自作キーボード設計入門(電子版) (https://booth.pm/ja/items/1044084)

ケースにこだわりたい

同じ基板でもケースが違うと印象がガラリと変わります。このため、ケースにこだわりたいという要求は出てくると思います。その場合はこちらの本がお勧めです。

• 自作キーボード設計ガイド Vol2 ケース設計編 (https://salicylic-acid3.booth.pm/items/4982088)

Lipoバッテリーが怖いので有線にしたい

無線のキーボード向けのマイコンでよく使われるのはSeeed XIAO BLE nRF52840なのですが、多くの場合Lipoバッテリーが使われます。これは万が一を考えると火事の原因になりえるので、怖いということを考えます。この場合は以下の資料がお勧めです。

• 自作キーボード設計入門(電子版) (https://booth.pm/ja/items/1044084)
• 自作キーボード設計入門2(電子版) (https://booth.pm/ja/items/1315935)

注意点としては2025/8現在、公開されているサンプルが少し違うなどの問題があるので、適宜現状に合わせて読み替える必要があります。

初心者が基板から自作キーボードを作る際の注意点

注意点としては以下の二つです

1. 2025年8月から大分あとの場合、いろいろ情報が古くなっている可能性がある
2. 自分が盛り込みたい要素がTweakbitと違う部分がある場合、この記事の情報だけでは実現できない場合がある

まず1についてです。これはもうどうしようもないと思いますが、情報が古くなった場合、例えばツールの使い方が変わっていて、初めて触る人は苦労するみたいなことが発生する可能性があります。

例えば、基板の設計時に使われるKiCadや3D CADのFusionはちょっと前の資料と今とで使い方が変わっている部分がありました。このような変化はある程度知識がある人にとっては特に問題ないことが多いと思いますが、初心者は苦労するポイントかと思います。

二つ目として白湯さんが題材にしているTweakbitと違う要素を盛り込みたいという場合です。例えばキー数は同じでキー配置を変えたいなどであればそれほど問題ないのですが、キー数を増やしたいは実は難易度がすごく上がります。

この話自体はnoteの記事に書かれていますが、Seeed XIAO BLE nRF52840というマイコンを使って、かつトラックボールありだと、普通にやったらTweakbitと同じキー数が限界になります。いろいろ裏技はあるので、増やせないことはないのですが、難易度は高くなると思います。

このようにキーボードに盛り込みたい要素に応じて難易度が変わるので、この点は注意してどのようなキーボードを作るか考える必要があります。

基板から自作キーボードを作る際の苦労ポイント

どの辺が大変なのかわかると参考になると思ったので、基板から作ることが初めての自分がどこに苦労したのか紹介しておこうと思います。

1. キースイッチとトラックボールのレイアウトの試行錯誤に時間がかかった

多分一番時間がかかったのがこの部分です。実は当初は全く知識がなかった基板の設計に一番時間がかかるのでは？と思ってたのですが、基板の設計は実は数時間できました。一方、予想よりもはるかに時間がかかったのがこのキースイッチとトラックボールのレイアウトです。

予想ではこの部分は自分が今使っている「KeyBall」シリーズを参考にして変えるつもりがほとんどなかったので、すぐ終わると思っていました。

ただ蓋をあけると、KeyBallとキー数が違うので、その部分の調整をしていたら、いろいろ調整したくなり、3D プリンターで試作をしていたら、だんだんトラックボールの位置を変えたくなり、調整してたら思った以上に時間がかかりました。

おそらく自分はキースイッチのレイアウトにある程度要望があったため、この部分に時間がかかったと思われるので、盛り込みたい要素の部分に時間がかかるのを覚悟するのが良いかともいます。

2. ファームウェアの調整に時間かかった

これは基板から作らない自作キーボードでもある程度時間がかかるところですが、できたキーボードのキーマップやトラックボールの設定に結構時間がかかりました。

普通の自作キーボードの場合、開発者の方が練りこんだキーマップをデフォルトにしてくれているおかげで、ユーザーは結構キーマップ作製の時間短縮ができる印象ですが、基板から作るとなると、参考にするキーマップがないので、いろいろ考えて結局時間がかかるということがありました。

トラックボールに関しても同様で、感度をいろいろ調整するのに時間がかかった印象があります。

終わりに

今回は基板から自作キーボードを作ったので、自分と同じように基板から作ってみたいと思っている人向けに記事を書いてみました。

この記事を見て「自分もできそう！」と思ってもらえれば幸いです。

The post 基板から自作キーボードを作ったので自分も基板から作りたいと思った人へ first appeared on まったり勉強ノート.

• Facebook
• X
• Bluesky
• Hatena
• Copy

今回は「原論文から解き明かす生成AI」という生成AIに関する技術を重要な論文を深く解説している本を献本でいただいたので、紹介します。

原論文から解き明かす生成AI

著:菊田 遥平

Amazon

楽天市場

ポチップ

どんな内容の本か？

ChatGPTをはじめとしたいろいろな生成AIが出てきている中、どのような仕組みで動いているか？をみなさんどの程度理解しているでしょうか？
私自身、生成AIはいろいろな要素が組み合わさっているため、1つ１つは知っているけど、全部を網羅的に理解するというのはかなり難しいと感じています。しかも、発展のスピードが速く関連論文が毎日のように数十本公開されたりしています。
このような現状を受けて、この本では重要な原論文をベースに生成AIの基礎を紹介し、かつ、論文を独力で読み解く技術を解説し、自分で論文を読む際の役に立つ技術を紹介している本になります。
生成AIといってもいろいろありますが、この本ではChatGPTをはじめとするテキストを中心に画像生成にも触れられている本になっています。
このため、テキストと画像に関する基礎部分は大体抑えられる印象です。

どんな人にお勧めか？

以下のような人にお勧めな本かと思っています。

1. 生成AIを勉強したいけど何から手を出したらいいかわかってない人
2. 論文の読み方について他の人がどうやっているかを知りたい人

各論文の解説記事はいろいろwebに公開されている一方、資料がバラバラなのと、生成AIの知識が浅い人にとってはどの論文が重要なのか調べるのも大変な印象です。このため、重要な論文だけに焦点を当ててくれているこの本をまず読むのは最初の手としては良いと感じました。
また、論文の読み方は研究室などで他の人のやり方をたまに聞く程度で、他の人がどのように読んでいるかを知る機会はそれほど多くないと思っています。
この本では最初に１章かけてこの論文の読み方を解説していて、私のように他の人がどう読んでいるかを知る機会がなかった人には良い参考情報になるのではないかと思っています。

個人的に良かった点

個人的には以下の点が良かったです。

1. 他の人の論文の読み方を知ることができた
2. 生成AIで抜けていた技術について知ることができた

1は先ほどお勧めの人で書いた通り、この本では論文の読み方を１章かけて紹介しており、他の人がどう読んでいるか知る機会がなかった自分にとっては非常に有用でした。
また、これに加えて、生成AIは要素が本当にいろいろあり、私自身、さらっとしか知らなかった部分がいくつかあるのですが、その部分についても深く知ることができてよい機会になりました。

終わりに

今回は献本でいただいた「原論文から解き明かす生成AI」の紹介記事でした。生成AIに関する本はいろいろありますが、深く理解したいと思っている人には非常に良い本だと感じました。
定期的にこのように本の紹介記事を書いてます。もし興味があれば他の本の記事も見ていただければ幸いです。

The post [書評] 原論文から解き明かす生成AI ー 話題のAIを深く理解したいと思ったら読む一冊 first appeared on まったり勉強ノート.

• Facebook
• X
• Bluesky
• Hatena
• Copy

今回は有隣堂のYoutubeのプロデューサーの方が書いた「愛される書店を作るために僕が2000日間考え続けてきたこと」の記事になります。
ちなみに先に書いておきますが、私自身有隣堂のYoutubeチャンネルを毎回欠かさず見ているファンのなので、それを織り込んで以下の紹介を読んでもらえるといいかなと思っています。

愛される書店をつくるために僕が2000日間考え続けてきたこと　キャラクターは会社を変えられるか？

著:ハヤシユタカ

Amazon

楽天市場

ポチップ

どんな内容の本か？

みなさん、オウンドメディアという言葉を聞くようになってしばらくたちますが、突然会社でYoutubeチャンネルをやるぞ！と言われたら、どうするでしょうか？
この本では、有隣堂という書店が始めたYoutubeチャンネルである「有隣堂しか知らない世界」がどのように誕生し、どのように成長していったかをプロデューサー視点で書かれた本になっています。
以前も「有隣堂しか知らない世界」の以下の本の紹介記事も書きましたが、違う点としては、何を気を付けているかがより書かれている印象なので、企業Youtubeをするうえで参考になるのはこちらの本だと思います。

また、発売が2025/6なので、最近の話題、例えば日本橋の誠品生活で行われた24時間生配信の話なんかも書かれています。
それ以外の部分、例えば「有隣堂しか知らない世界」の大筋の誕生の歴史みたいなのは視点が違うだけでかぶっている部分は多い印象です。
ただ、「有隣堂しか知らない世界」が好きな方は読んでみるのがお勧めです。あとがきで「有隣堂しか知らない世界」のキャラクターであるブッコローの中の人が2回泣いたといっているところがありますが、私も2, 3回泣きましたｗ

どんな人にお勧めか？

この本は以下のような人におすすめかと思います。

1. 会社のYoutubeチャンネルを作ろうと思っている人
2. 「有隣堂しか知らない世界」のファンの人

1のようなYoutubeチャンネルを作りたいと思っている人は特にお勧めで、人が見たいと思うチャンネルを作る際に何を考えたのかやどれくらいの覚悟が必要なのか、この辺のことがわかるいい本だなと思いました。特に今回の本は失敗した話もいろいろ書かれており、参考になる部分が多いと思います。
また、2のようなファンの人はお勧めです。懐かしい古文訳J-POPシリーズの話だったり、いろいろな動画について言及があって懐かしい気持ちになれます。

個人的に良かった点

個人的に良かった点は以下のところです。

1. 有隣堂の社長の覚悟とYoutubeチャンネルの成功がどうつながっているのかより理解できた
2. 成功しているチャンネルの失敗について知ることができた

特に良かったのは1で、有隣堂の社長が「責任はとるけど口は出さない」ということを言っているという話についてです。この発言自体は前の本でも書かれていたので、こういうことを言っていると知っていたのですが、その覚悟がどのようにYoutubeチャンネルの成功とつながっているのか理解できてない部分がありました。これについて、今回の本でどのようなつながりがあったのかわかりやすく解説があって良かったです。
また、今回の本は失敗についてもいろいろ分かりやすく書いてあり、例えば再生数が少ない動画として、良くチャンネルでもこすられているプロレスの回があるのですが、実はあの回について撮影のとき何があったのかも言及されていました。プロレスがニッチという以外にも原因があることが知れて個人的には良かったです。

終わりに

今回は「愛される書店を作るために僕が2000日間考え続けてきたこと」の紹介記事を書きました。
企業Youtubeの難しさなどが知れる良い本であると同時にビジネス本で泣くというおそらく人生初の経験をした本となりました。

定期的にこのように本の紹介記事を書いてます。もし興味があれば他の本の記事も見ていただければ幸いです。

The post [書評] 愛される書店を作るために僕が2000日間考え続けてきたこと ー 有名企業Youtubeチャンネルの裏側が知れる一冊 first appeared on まったり勉強ノート.

• Facebook
• X
• Bluesky
• Hatena
• Copy

今回は日本の半導体の未来に関しての本で「2040年 半導体の未来」という本を紹介してもらい、読み終わったのでその書評になります。

２０４０年　半導体の未来

著:小柴 満信

Amazon

楽天市場

ポチップ

どんな内容の本か？

みなさん、「ラピダスという日本の半導体企業について耳にしたけど、なんでいまさら日本で半導体？」と思ったことはないでしょうか？
この本ではこのラピダスをはじめとした、日本の半導体情勢や未来についていろいろ説明してくれている本になります。
これまでも半導体企業の本を何冊か紹介していますが、どの本も日本に関しては半導体業界の衰退のストーリーしか語られず、明るい未来の内容が書いてある本はあまりない印象です。
これらの本と比較してこの本では、半導体業界の動きと日本の勝機、そしてなぜラピダスという会社ができたのか、いままでの日本の半導体の企業と何が違うのかなどを詳しく紹介してくれている本になります。

どんな人にお勧めか？

今回の本は以下のような人にお勧めな本です。

1. 日本の半導体の勝ち筋があるのかどうか知りたい方
2. ニュースでラピダスの話は聞いたことあるけど、なぜラピダスができたのかわかってない方

1に関して半導体関係の本は日本にとって暗い内容の話が多い印象です。一方、この本ではどのような勝ち筋があるのかまでちゃんと説明しているため、日本の勝ち筋を知りたい方にはお勧めな本かと思います。
また、2に関して、ニュースで時々、ラピダスの話を耳にする機会はあると思いますが、飛び飛びの情報であるため、よくわからないということが多いと思っています。この本ではラピダスの設立の考えから流れで説明してくれるため、ニュースではわかりにくかったことをわかりやすく知ることができると思います。このため、ラピダスについて知りたい人もお勧めかと思います。

個人的に良かった点

個人的には以下の点が良かったです。

1. ニュースだとよくわからないラピダスの設立の考えを知ることができた
2. 自分の会社の言及がいろいろあり、周りからどう見られているかを知ることができた

本を読み始めた目的は1に関してでした。ニュースでは飛び飛びでその日の出来事について知ることはできるのですが、なぜラピダスを作らなければならないのかはあまり見る機会がなかったため、これまで知りませんでした。このあたりの情報をこの本で得られたので読んで良かったと思っています。
これに加え、2の観点で、何か所か自分が働いている会社への言及があり、外からどういう期待を持たれているのか知ることができたのは良かったと思っています。

終わりに

今回は「2040年 半導体の未来」という日本の半導体の未来に関して教えてくれる本の書評でした。日本の半導体をこれからどうすればよいかを知るきっかけになったので読んで良かったと思います。
定期的にこのように本の紹介記事を書いてます。もし興味があれば他の本の記事も見ていただければ幸いです。

The post [書評] 2040年 半導体の未来 ー なで今日本で半導体を作るのか知りたくなったら読む一冊 first appeared on まったり勉強ノート.

• Facebook
• X
• Bluesky
• Hatena
• Copy

今日は最近、本屋さんに並んでいるので手にとった「NVIDIA 半導体の覇者が作り出す2040年の世界」という本を読んだので、その書評になります。

エヌビディア 半導体の覇者が作り出す2040年の世界

著:津田 建二

Amazon

楽天市場

ポチップ

どんな内容の本か？

みなさん、NVIDIAと聞いてピンとくるでしょうか？
PCに詳しい人であれば結構昔からGPUでお世話になっていたと思いますが、一般の人にとってはちょっと前は「謎の半導体企業」なんていわれるくらい馴染みのない会社だったのではないかと思います。ただ、最近は普通の経済ニュースでもよくNVIDIAの名前を見る気がするくらい一般の人でも知られる企業になったのではないかと思っています。
この本ではそんなNVIDIAについて、創業から現在に至るまでどのように成長し、そして今後についてどのように考えられていそうかが紹介されています。
個人的にNIVIDAは2000年後半から研究でGPUを使ってたこともあり、それ以降はそこそこ知っているつもりですが、創業当時の話はあまり知りませんでした。この本ではそのような時期についてもどのような苦労があったのか、そもそもなぜNVIDIAがGPUを作り始めたのかなどが簡単にですが紹介されています。
また、半導体事業がどのように変化していったのかも書かれているので、半導体事業についての歴史が知りたい人も読むと参考になる部分はあるかと思います。

どんな人にお勧めか？

今回の本は以下のような人にお勧めな本です。

1. NVIDIAという会社について知りたいと思った方
2. 半導体事業の歴史について知りたい方

1に関しては特に創業期の話なんかは、本でしか見ることがないと思うので、その部分が知りたい方はお勧めだと思います。一方、NVIDIAが考える未来の部分はNVIDIAのイベントのGTCなどで語られている部分とかぶる部分が多く、GTCのkeynoteなどを見ている人は新しい部分はない気がしました。
2に関しては、NVIDIAの成長と半導体事業の変化がかなり密接に関係していることもあり、この本でもそこそこページを割かれて説明されています。この前紹介したTSMCの本と合わせて読むと理解がより深まると思います。

個人的に良かった点

今回の本で個人的には以下の点が良かったです。

1. NVIDIAの創業期の話が知れた
2. 日本の半導体事業の衰退要因として考えられるものが何なのか知れた

1に関しては内容の紹介でも書いた通り、創業期でどのような考えがあり、どのような失敗があったのか、実はあまり知りませんでした。
この本ではそのようなエピソードも語られていて、非常に参考になりました。
また、この本はちょこちょこ日本の半導体事業の批判が書かれているのですが、その中でなぜ日本の半導体事業が衰退していったのか、アメリカと何が違ったのかが書かれています。このあたり、ちゃんと調べようと思ったことがなかったので、このような意見もあるのかと勉強になりました。

終わりに

今回は「NVIDIA 半導体の覇者が作り出す2040年の世界」という本を読んだのその紹介になります。NVIDIAは知っているようで知らない部分も多くあり、興味深い本でした。
定期的にこのように本の紹介記事を書いてます。もし興味があれば他の本の記事も見ていただければ幸いです。

The post [書評] NVIDIA 半導体の覇者が作り出す2040年の世界 ー NVIDIAという会社がどういう会社なのか知りたくなったら読べき一冊 first appeared on まったり勉強ノート.

• Facebook
• X
• Bluesky
• Hatena
• Copy

今回は「独習Pythonバイオ情報解析」の改訂版「改訂独習Pythonバイオ情報解析」が出たということで読んだので、その紹介になります。

改訂 独習Pythonバイオ情報解析　生成AI時代に活きるJupyter、NumPy、pandas、Matplotlib、Scanpyの基礎を身につけ、シングルセル、RNA-Seqデータ解析を自分の手で

著:先進ゲノム解析研究推進プラットフォーム

Amazon

楽天市場

ポチップ

どんな内容の本か？

年度が変わり、新しい研究室に入ったり、就職した方で「このバイオのデータを解析して」って言われたらどうしますか？
私は今の会社に入った最初、いきなりヒトのとあるテーブルデータを渡されて解析の仕事をすることになり、「困ったぞ」となった記憶があります。
そんな私のような「困ったぞ」となったと思った人にお勧めなのが「独習Pythonバイオ情報解析」で、Pythonを使って特にテーブルデータを扱う人は共通して使える知識が詰まった本になっています。

特に改訂版になってLLMを使った解析の流れの説明や注意点などが増えていて、これから初めて解析をするぞという人は読んでおくとよさそうなことがいろいろ書いてあります。
一方、この本に向かない人はどんな人かというと、テーブルデータではない解析、例えば最近ありそうなのはタンパク質の立体構造系の話などはこの本はあまり参考にならないと思うので別の本を読んだほうが良いかと思います。
例えば最近私もこの辺では以下の本を読んで勉強しています。

どんな人にお勧めか？

今回は以下のような人にお勧めかと思います。

1. Pythonがわからないというプログラム初心者
2. テーブルデータ解析の注意点がわからないという人

この本ではPythonに関して、かなり初級者向けに詳しく紹介してくれています。このため、プログラムが初心者という人が最初に読むにはちょうどよさそうに感じます。また、後半ではsingle cellデータを対象にテーブルデータを解析する上で使いそうな検定の話やクラスタリングの話などが出てきます。このような技術はただ使うのであれば大した知識もなく使えるのですが、結果をちゃんと解釈するとなると、今回のケースで適切な検定方法なのかや、適切なパラメータが使われているのかなど、幅広いことを考える必要があります。
このようなことが今回の本ではちゃんと書いてある印象なので、この辺を詳しくないという人は一度読んでみることをお勧めします。

個人的に良かった点

個人的に良かった点としては以下の点です。

1. 改訂版になってLLMを使った例が最初に入っていて参考になった
2. 忘れがちな解析の注意点を思い出せた

特に良かったのが1が個人的には良かったです。第２章のLLMを使った章を書いた東君のXを時々見て、そんな使い方できるだーというのは飛び飛びで知ってたのですが、今回ちゃんと本にまとめてくれたおかげで、理解しやすかった印象です。
また、後半の検定やクラスタリングなど私自身最近使ってないので、忘れてたことが多かったのですが、そういえばこういう注意点があったということが思い出せたので良かったです。

終わりに

今回は「改訂独習Pythonバイオ情報解析」が出たので紹介の記事を書きました。バイオインフォマティクス周りは変化が激しく、古い本では知識が古くて使い物にならないケースもあるのですが、今回のように改訂版がでて、ちゃんと新しい知識が増えた本がでて非常にうれしく思います。
定期的にこのように本の紹介記事を書いてます。もし興味があれば他の本の記事も見ていただければ幸いです。

The post [書評] 改訂独習Pythonバイオ情報解析 ー バイオのテーブルデータ解析することになったら読む一冊 first appeared on まったり勉強ノート.

• Facebook
• X
• Bluesky
• Hatena
• Copy

少し前になりますが、PFNが開発しているLLM、PLaMo 2の8Bモデル（事前学習モデル）が公開されました。こちら特殊なライセンスになっていますが、個人が使う分には商業利用も可能なライセンスで公開されています。

このモデルは事前学習モデルなので、そのままではChataGPTなどの普通の人が良く使うLLMと違ってうまく指示を聞くようになっていませんがSFTなどの事後学習を行えばいろいろなタスクをこなせるようにすることが可能です。

この記事では、このような事後学習のやり方の一つとしてGoogle Colabで比較的安く使えるL4というGPUを使って、LoRAという方法で学習するやり方を紹介します。

今回紹介するコードは以下のところにありますので、参考にしてください。

https://github.com/shu65/plamo-2-8b-lora-sft-example/blob/main/PLaMo_2_8B_LoRA_SFT.ipynb

LoRAとは

LoRAとは「Low-Rank Adaptation」の略で、大規模言語モデルのような大きなモデルの学習を、メモリが小さいGPU１枚など小規模な計算機環境で学習するために提案された手法です。

具体的にはモデルの一部のLayerに対して低ランクの行列を導入し、低ランクの行列のみ学習することでモデル全体を学習するのと比べて非常に少ないメモリで学習できるようにしています。

このLoRAを使った学習はライブラリがそろっていることもあり、簡単なものはかなり短いコードで書くことができます。

PLaMo 2 8B のLoRA

ここからPLaMo 2 8BでLoRAを使って学習する方法を説明していきます。

PLaMo 2 8B 利用規約への同意

先ほども説明した通りPLaMo 2 8Bは特殊なライセンスということもあり、事前に同意しておく必要があります。

これにはまず、Hugging FaceのサイトのPLaMo 2 8Bのページに行きます。URLは以下の通りです。

https://huggingface.co/pfnet/plamo-2-8b

このページに行くとまだライセンスに同意していない場合は以下のようにライセンスの一部が表示されていると思います。

この場合はライセンスを確認の上、同意してください。同意すると以下のような表示になります。

これでPLaMo 2 8Bを使う準備ができました。

Google ColabのランタイムでL4を使うようにする

次に、Google ColabでL4を使う準備をします。Google ColabでL4が使えるように課金が必要になりますので、まずは課金をします。

課金についてはこちらをご覧ください。

https://colab.research.google.com/signup?hl=ja

今回のコードを動かすだけであれば「Pay As You Go」で100 コンピューティング ユニットを購入すれば十分です。この記事を執筆時点では1200円に満たない程度で購入できます。

課金が済んだら、メニューバーから「ランタイム」→「ランタイムのタイプを変更」をクリックします。すると無料枠では選択できないL4 GPUが選択できるようになっていると思うので、L4 GPUを選択します。

これでGPUを使う準備ができました。

必要パッケージのインストール

次に今回の学習で必要なパッケージをインストールします。コマンドとしては以下の通りです。

!pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 --index-url https://download.pytorch.org/whl/cu124
!pip install trl numba>=0.60.0 mamba-ssm>=2.2.2 causal-conv1d>=1.4.0 transformers>=4.44.2

最初にPytorchのバージョンを少し下げていますが、これはPLaMo 2の中で使われているライブラリの一部が最新のPyTorchに対応させるのが結構大変なため、簡単に実行できるようにするために少し古いPyTorchを入れています。

上記のコマンドを実行したあとは、以下のバージョンになっていました。

causal-conv1d                      1.5.0.post8
mamba-ssm                          2.2.4
numba                              0.60.0
numba-cuda                         0.2.0
sentence-transformers              3.4.1
torch                              2.4.1+cu124
torchaudio                         2.4.1+cu124
torchsummary                       1.5.1
torchvision                        0.19.1+cu124
transformers                       4.50.0

LoRAのコード

パッケージをインストールしたら次は以下のようにHugging Faceにログインします。

from huggingface_hub import login

login()

これを実行するとHugging Faceのtoken を聞かれますのでHugging Faceのtokeを入力してください。

次に各パッケージをimportしておきます。

from transformers import AutoModelForCausalLM
from transformers import AutoTokenizer
import datasets
import string
from trl import DataCollatorForCompletionOnlyLM
from trl import SFTConfig, SFTTrainer
from peft import LoraConfig
import torch

そして、PLaMo 2 8Bのモデルとtokenizerを以下のようにロードします。

model_name = "pfnet/plamo-2-8b"
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, torch_dtype=torch.bfloat16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

「PLaMo 2 8B 利用規約への同意」の部分の手順ができていなかったり、Hugging Faceのログインがうまくできていないと、この部分でエラーがでると思われます。その場合は利用規約の同意ができているかや、正しくHugging Faceのログインができているかなどを確認してください。

次に今回使うinstructionデータをダウウンロードして、前処理します。今回はkunishou/databricks-dolly-15k-ja のinputがないデータだけを取り出して利用します。

dataset = datasets.load_dataset("kunishou/databricks-dolly-15k-ja")
train_dataset = dataset["train"].filter(lambda data: "instruction" in data and "output" in data and data["input"] == "").select(range(2000))

data_collator = DataCollatorForCompletionOnlyLM(
    response_template=tokenizer.encode(" Answer:\n", add_special_tokens=False),
    tokenizer=tokenizer
)

次にLoRAとSFTの引数を指定します。PLaMo 2特有の部分としてLoraConfig でLoRAを使って学習するレイヤーを指定するtarget_modules という引数があります。ここでLLaMa系のようなTransformerの場合、AttensionのQeury, Keyを作るLinearレイヤーをLoRAで学習することが多い印象なので、PLaMo 2でも同じようにAttensionのQueryとKeyを作るLinearレイヤーをLoRAで学習するようにします。PLaMo 2の場合は、Qeury, Key、Valueを作るLinearレイヤーをすべてまとめたqkv_proj というLinearレイヤーがありますので、このqkv_proj をtarget_modules に指定しています。

peft_config = LoraConfig(
    task_type="CAUSAL_LM",
    target_modules=[
        "qkv_proj",
    ],
)

sft_args = SFTConfig(
    output_dir="./outputs",
    evaluation_strategy="no",
    per_device_train_batch_size=1,
    gradient_accumulation_steps=4,
    learning_rate=5e-5,
    num_train_epochs=1.0,
    lr_scheduler_type="cosine",
    warmup_ratio=0.3,
    logging_steps=10,
    save_strategy="epoch",
    report_to="tensorboard",
    bf16=True,
    max_seq_length=1024,
    gradient_checkpointing=True,
)

あとはデータのサンプルに対してフォーマットに合わせて１つのテキストを生成するformatting_func を定義します。今回は以下のようなものを使います。

INSTRUCTION_TEMPLATE = string.Template(
    """### Question:
{input} ### Answer:
{response}<|plamo:eos|>
"""
)

def formatting_func(example):
  text = INSTRUCTION_TEMPLATE.substitute(input=example["instruction"], response=example["output"])
  return text

最後に、ここまで用意したものをSFTTrainer に渡して学習を開始します。

trainer = SFTTrainer(
    model=model,
    args=sft_args,
    peft_config=peft_config,
    data_collator=data_collator,
    train_dataset=train_dataset,
    formatting_func=formatting_func,
)

trainer.train()
trainer.save_model()
     

今回の設定では500イテレーション回ることになるはずです。私が試した限りは15分程度で処理が完了しました。

できたモデルの出力が正しいかは以下のコードで確認できます。

import torch

# プロンプトの準備
prompt = "### Question:\n埼玉の県庁所在地は何市？\n\n### Answer:\n"

# 推論の実行
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
generated_tokens = trainer.model.generate(
    **inputs,
    max_new_tokens=64,
    pad_token_id=tokenizer.pad_token_id,
)[0]
generated_text = tokenizer.decode(generated_tokens)
print(generated_text)

おそらく以下のような出力がでるはずです

<|plamo:bos|>### Question:
埼玉の県庁所在地は何市？

### Answer:
さいたま市<|plamo:eos|>

終わりに

いかがだったでしょうか？今回はPLaMo 2 8Bに対してLoRAによって学習する方法を紹介しました。LoRAを使えばメモリが少ないL4のようなGPUでも8Bモデル程度で学習することができます。今回のコードを使えば事後学習が簡単にできると思われますので、みなさんもいろいろ試していただければと思っています。無料枠で使えるGPUのT4でも量子化などを頑張れば8Bモデルも学習できる気がしますが、うまくできそうであればそちらも記事にしようと思います。

この他にもPLaMoを含めたLLMの技術も紹介できればと思っています。

The post PFNの最新LLM PLaMo 2 8BをGoogle ColabでLoRAで学習してみる first appeared on まったり勉強ノート.

• Facebook
• X
• Bluesky
• Hatena
• Copy

今回の書評は子育て本で、「引き算の子育て」を同僚に勧められて読んだので、その紹介になります。

どんな内容の本か？

子育てをしていると「あれもやったほうがいい、これもやったほうがいい」という話にあふれていて、結局何をやったらいいかわからない、ということはないでしょうか？私自身、子供が生まれてから子育て本を何冊か読んでいますが、結局どうすればいいのかわからなくなる時があります。
今回の「引き算の子育て」では「親が先回りしてやることなんてなにもない」ということを二人の有名な教育者がインタビュー形式で紹介してくれている本になります。
子育てはあれこれやってあげたくなることが多いですが、この本ではむしろ何かしてあげることにより、子供が家畜化してよくなく、むしろ余計なことはしないほうがいいということが書かれています。
また、このような考え方に至った経緯なども書かれていて、特に経緯がなかなかぶっ飛んでいるので、面白かったです。

どんな人にお勧めか？

今回は以下のような人におすすめな本になるかと思います。

1. 子育てについてあれこれ調べて悩んでいる方
2. 子供に何かしてあげたいと思っている方

特に1のようなあれこれ調べて結局どうしよう？ってなっている方が特にお勧めな気がします。
また、これから何かしてあげたいと思い始めている人も考え方の指針の一つとなると思うので読んでもよいかもしれないと思っています。
ただ、この本はインタビュー形式をとっていることもあり、よくあるハウツー的な教育本とは全然雰囲気が違うので、ハウツー本みたいな本を想像していると「思っているのと違った」となりそうなので、注意してください。

個人的に良かった点

個人的にこの本を読んで良かったこととしては以下の通りです。

1. あれこれ考える前に子供をよく見るという当たり前のことをちゃんとやろうという考えに至った
2. あれこれ悩んでも子供が自分ごとに考えなくて良くないという考え方を知った

1は当たり前といえば当たり前ですが、この本を読んで改めて思ったことです。結局子供はいろいろ違うので、その子はどうなのかを見てちゃんと考えることが重要なんだということを改めて感じました。
また、2は子育てじゃなくて部下の教育という文脈にも近い話ですが、結局あれこれ考える必要があるのは本人で、本人が考えることができる環境を用意することが重要なんだということを再確認しました。

終わりに

今回は同僚から紹介された「引き算の子育て」を読んだので、その記事になります。久しぶりにこの手のインタビュー形式の本を読んだおともあり、少し新鮮で面白かったです。
定期的にこのように本の紹介記事を書いてます。もし興味があれば他の本の記事も見ていただければ幸いです。

The post  [書評] 引き算の子育て ー 子育てで思い悩んでたらお勧めな一冊 first appeared on まったり勉強ノート.