11月 17, 2021 / 最終更新日時 : 11月 17, 2021 Shuji Suzuki (shu) プログラミング JAXとPyTorch、どっちが速いのか検証してみた 高速化が趣味＆仕事なので、最近よく目にするJAXの速度が気になってました。このため、今回は日ごろ使っているPyTorchと比較したので、その結果のまとめを紹介します。 結論 結果だけ知りたい方が多いだろうと思ったので先に […]
10月 23, 2021 / 最終更新日時 : 10月 23, 2021 Shuji Suzuki (shu) プログラミング PyTorch 1.10の新機能「CUDA Graphs」のパフォーマンスを測定してみる はじめに 10/21にPyTorch 1.10がリリースされ、今回も面白そうな機能が追加されました。個人的には楽しみにしていた「CUDA Graphs」のAPIのベータ版が追加されたということで早速試してみました。今回は […]
5月 10, 2021 / 最終更新日時 : 5月 10, 2021 Shuji Suzuki (shu) プログラミング PyTorchのPERFORMANCE TUNING GUIDEの効果を確認してみる その2 「Fuse pointwise operations」 PyTorchには「PERFORMANCE TUNING GUIDE」という学習を速くするためのテクニック集があります。このドキュメントでは個々のテクニックでどれくらい速くなるか具体的な数値が示されていないので、それを確 […]
4月 27, 2021 / 最終更新日時 : 5月 10, 2021 Shuji Suzuki (shu) プログラミング PyTorchのPERFORMANCE TUNING GUIDEの効果を確認してみる その1 「parameter.grad = Noneを使う」 PyTorchには「PERFORMANCE TUNING GUIDE」という学習を速くするためのテクニック集があります。ただ、このドキュメントでは個々のテクニックでどれくらい速くなるのかまでは書いていません。このため、気 […]
4月 3, 2021 / 最終更新日時 : 4月 3, 2021 Shuji Suzuki (shu) プログラミング PyTorch 1.8.1で入ったPyTorch Profilerを使ってみた 3月終わりごろ、PyTorch の1.8.1がリリースされました。1.8.0から1.8.1でsmall bugfixだけかと思ってたら、元々あったautograd profilerの次のバージョンのprofilerという […]
3月 21, 2021 / 最終更新日時 : 3月 21, 2021 Shuji Suzuki (shu) プログラミング PyTorchでGPUの計算時間を正しく計測する 今回の記事ではPyTorchでGPUで実行した関数の計算時間を正しく測定する方法とその後に詳しい説明をしていきます。 はじめに 仕事がらPyTorchで高速な学習方法をいろいろ調べることがよくあります。その際、blog記 […]
