3月 24, 2022 / 最終更新日時 : 3月 27, 2022 Shuji Suzuki (shu) プログラミング [勉強ノート] 「線形計算の数理」 7.2.1 べき乗法 基本形 今日の記事では「線形計算の数理」の7.2.1で紹介されているべき乗法について解説とPythonによる実装を紹介します。基本的には自分があとで見返したときに納得できるように説明を書いたので、かなり基本的なところから書いてあ […]
11月 17, 2021 / 最終更新日時 : 11月 17, 2021 Shuji Suzuki (shu) プログラミング JAXとPyTorch、どっちが速いのか検証してみた 高速化が趣味＆仕事なので、最近よく目にするJAXの速度が気になってました。このため、今回は日ごろ使っているPyTorchと比較したので、その結果のまとめを紹介します。 結論 結果だけ知りたい方が多いだろうと思ったので先に […]
11月 8, 2021 / 最終更新日時 : 11月 8, 2021 Shuji Suzuki (shu) プログラミング JAXによる微分可能Smith Watermanアルゴリズムのパフォーマンス測定 最近微分可能な Smith Waterman アルゴリズムというものとJAXのコードが公開されました。今回はこれらを参考に、JAXの勉強がてら何パターンかSmith Watermanアルゴリズムを実装して測定してみたので […]
10月 23, 2021 / 最終更新日時 : 10月 23, 2021 Shuji Suzuki (shu) プログラミング PyTorch 1.10の新機能「CUDA Graphs」のパフォーマンスを測定してみる はじめに 10/21にPyTorch 1.10がリリースされ、今回も面白そうな機能が追加されました。個人的には楽しみにしていた「CUDA Graphs」のAPIのベータ版が追加されたということで早速試してみました。今回は […]
5月 10, 2021 / 最終更新日時 : 5月 10, 2021 Shuji Suzuki (shu) プログラミング PyTorchのPERFORMANCE TUNING GUIDEの効果を確認してみる その2 「Fuse pointwise operations」 PyTorchには「PERFORMANCE TUNING GUIDE」という学習を速くするためのテクニック集があります。このドキュメントでは個々のテクニックでどれくらい速くなるか具体的な数値が示されていないので、それを確 […]
4月 27, 2021 / 最終更新日時 : 5月 10, 2021 Shuji Suzuki (shu) プログラミング PyTorchのPERFORMANCE TUNING GUIDEの効果を確認してみる その1 「parameter.grad = Noneを使う」 PyTorchには「PERFORMANCE TUNING GUIDE」という学習を速くするためのテクニック集があります。ただ、このドキュメントでは個々のテクニックでどれくらい速くなるのかまでは書いていません。このため、気 […]
4月 3, 2021 / 最終更新日時 : 4月 3, 2021 Shuji Suzuki (shu) プログラミング PyTorch 1.8.1で入ったPyTorch Profilerを使ってみた 3月終わりごろ、PyTorch の1.8.1がリリースされました。1.8.0から1.8.1でsmall bugfixだけかと思ってたら、元々あったautograd profilerの次のバージョンのprofilerという […]
4月 1, 2021 / 最終更新日時 : 4月 1, 2021 Shuji Suzuki (shu) プログラミング Optunaを使ったおいしいコーヒーの淹れ方探索 (2021年4月版) 昨年終わりに機械学習のハイパーパラメータ探索で良く用いられるOptunaを使って、おいしいコーヒーの淹れ方を探索する方法についてQiitaの記事を書きました。この記事が思ったよりも好評で、これをきっかけに勉強会でも発表さ […]
3月 21, 2021 / 最終更新日時 : 3月 21, 2021 Shuji Suzuki (shu) プログラミング PyTorchでGPUの計算時間を正しく計測する 今回の記事ではPyTorchでGPUで実行した関数の計算時間を正しく測定する方法とその後に詳しい説明をしていきます。 はじめに 仕事がらPyTorchで高速な学習方法をいろいろ調べることがよくあります。その際、blog記 […]
