Kaggleに挑む深層学習プログラミングの極意 （KS情報科学専門書）

小嵜耕平, 秋葉拓哉, 林孝紀, 石原祥太郎

Amazon

楽天市場

ポチップ

こちらの本を先日読んだのでこの記事で紹介したいと思います。

どんな内容か？

こちらの本は、最近のKaggleで重要な画像やテキストデータのコンペで勝つために、画像やテキストデータを扱う深層学習のモデルを使う際、どういう手順で改良していくかを紹介した本になります。

この本の特徴としては実際のコンペを想定して、コンペに参加したらこういう手順で改良していくという流れがわかるというのが一番の魅力かなと思いました。例えば、コンペに参加したら探索的データ分析に始まり、ベースライン作り、そこから改良という流れを踏むと思います。まさにこの流れで説明がされていくので、実際にコンペを想定して何をすればよさそうかのイメージが付きやすい印象です。

また、本で紹介されているコードはちゃんとgithubで公開されていて、本を読んだだけではわからない部分に関してもコードを読めばわかるようになっています。

https://github.com/smly/kaggle-book-gokui

本の構成としては最初に機械学習コンペの基礎知識、その後、探索的データ分析と深層学習の基本的な部分、3章以降は画像分類、画像検索、テキスト分類個別の内容になります。

3章以降の画像分類、画像検索、テキスト分類に関しては各問題の基本的な問題設定やベースライン、ベースラインからの改良方法などが書いてあります。

どんな人におすすめか？

画像やテキストデータを使ったコンペで勝つために、これらのデータを使った深層学習モデルを作りたいけどよくわからないという人におすすめです。特に深層学習モデルについて実際にちょっと試したけど、「精度でないわー」という方はベストかなと思います。

というのも、深層学習はすごい勢いで進歩していて、昔は良いとされてたけど最近はこっちのほうがいい、みたいな話が大量にあります。ただ、こういう話は使ってみたら微妙だったという話も多いです。

一方、もうKaggleで勝てる人たちには一般的に使われる技術は、みんな知っているので目新しい部分もないため、強調して言及する人が少ない印象です。ただ、こういう技術は勝つためには必須になっているものも多く、みんな当たり前に使っているので、知らないとこの部分の差で負けるということが発生します。

例えばこの本で書かれていて私もよく使うものとして学習率のwarmupやdecayに関しては当たり前で、どこかで手法に関して説明するときに「何使ったか？」くらいは言うかもしれませんが、「これのおかげで勝ちました！」という人は少ないと思います。一方、精度が上がることが多いので、使ってないとその分他の参加メンバーに後れを取ります。

こういう知識がちゃんと書いてある印象なので、深層学習モデルの経験が少ない方にお勧めです。

ちなみに著者の小嵜さんと秋葉さんのお二人にはKaggle初心者のときに、Kaggleについていろいろ教えてもらいました。このおかげもあり、昨年私もGrandmasterになれました。お二人に教えてもらったアドバイスのいくつかはこの本にも書かれているので初心者の方は参考になると思っています。

個人的によかった点

個人的によかったと思う点を列挙していきます。

• Kaggleで活躍している人たちが試行錯誤でどういうことを考えているのか書いてあるので参考になる
• 深層学習で当たり前になって強調して言及することが少ないが、重要な技術についていろいろ紹介してある

あたりかなと思います。あとはテキスト分類は私も未経験なので、テキスト分類はいろいろ勉強になりました。

また、5.2.3で紹介されている魔法の特徴量は面白かったです。魔法の特徴量は飛躍的にスコアが上昇する特徴量を指すらしいのですが、Kaggleってこういうことあるよねーというあるあるネタな一方、Kaggleの経験が浅い方は特にこういうことがあるということを知っておく必要があるという意味でいいことが書いてあると思いました。

終わりに

今回、「Kaggleに挑む深層学習プログラミングの極意」をご厚意でいただいたので読んで紹介しました。元々この本は買う気満々で、読んだらブログにも書こうと思ってたのでちょうどよかったです。

今後も機械学習などに関する本は読んだらちょいちょい記事にしていこうと思います。

The post [書評] Kaggleに挑む深層学習プログラミングの極意 ー これからKaggle頑張るぞ！って人におすすめな1冊 first appeared on まったり勉強ノート.

ちなみに、自分の手法に関してはこちらをご覧ください。

https://www.kaggle.com/competitions/open-problems-multimodal/discussion/366961

Open Problems – Multimodal Single-Cell Integration とは？

コンペのサイトのoverviewに書かれていることをざっくり日本語に訳すと「骨髄幹細胞が血液細胞になるにつれて単一の細胞のDNAとRNA、タンパク質がどのように変化するかを予測するコンペ」ということになります。もう少し専門家の人がわかりやすいように説明すると以下の二つのsingle-cellのデータを使ったモデルを構築するコンペです。

1. Chromatin accessibility(peak countをTF-IDFで変換したデータ)からRNAの発現量 (library-sizeでノーマライズされたcountデータ)の予測
2. RNAの発現量 (library-sizeでノーマライズされたcountデータ)からsurface protein levels (dsb でノーマライズされたデータ)の予測

そもそもなぜ参加したのか？

参加してがんばろうと思ったきっかけをせっかくなので書いておくと

1. Bioチームの同僚がこういうコンペがあるよとslackで教えてくれた (参加したきっかけ)
2. 育休に入る前にやっておくべきことは？ということを会社の先輩パパさんに相談したら、「solo gold medalは取っておけ」と言われた (がんばったきっかけ)

ということがあります。特に2つ目は「確かに！」と思いました。なので、今回が初ソロ参加にして、solo gold medalを取る最後のチャンスということで頑張りました。アドバイスをくれた先輩パパさんには感謝しかありません。

やってよかったこと

さて、ここからやってよかったことについて忘れないように書いておきます。

まずはとにかく簡単な方法でいいのでsubmitする

社内のkaggle強い人に前に言われた気がするので、まず意識したことがこれです。やってみて思ったのですが以下のような効果があることを実感しました。

1. submitして順位やスコアがでるようになるとモチベーションが上がる。
2. 何かベースラインがあると手法開発がしやすい

特に1の効果がすごかった気がします。ちなみに私の場合、KaggleのCodeで公開されてたシンプルな手法をそのままコピペしてsubmitして一番最初のスコアを出しました。シンプルな手法だったため、最初は200位にも入れなかったと記憶していますが、それでもモチベーションはそれまでと比べてすごく上がりました。

毎日決めた数の改良を試す

これはコンペに限らず重要なことだと思いますが、とにかくコンスタントに改良を続けていき、最低限local CV scoreを出すということを意識してました。

今回のコンペでは3，4個の改良を毎日試すことを目標にしてやってました。私の場合、gitの1 branchが1改良になっていて、9/1からがんばり始めて11/15までに最終的には351個branchができていました。なので、通算4から5個くらいの改良を毎日試していたことになります。

このとき改良としてうまくいきそうなものはもちろんですが、思いついたタイミングではあまり筋が良くなさそうだけど他にやることがないというときは、筋が良くないアイディアもダメ元で試すようにしてました。

結果として、やってよかったと感じた理由としては、仮説を立てて試すとうまくいかなかったときの問題への理解度がすごい上がるため、とにかくいろいろ試すことで、そこからいいアイディアをひらめくということが多くあったからです。

今回のコンペで何度か大きくスコアを上げたタイミングがありましたが、総じて何かの失敗から気が付いたアイディアをもとにしたことが多かった印象です。ちなみにどれくらい失敗し続けたのかの体感ですが、1週間スコアが上がらないということがよくあったので、うまくいった改良というのはこれだけ試しても数えるくらいしかなかった印象です。

ensembleはすぐに試さない

これも社内のkaggle強い人に前に言われたことなのですが、ensembleをすぐに試さないというのはやってよかったなと思います。
今回はensembleを試さなくてよかったなと感じた理由としては、ensembleはやれば簡単にスコアが上がるのでいいように感じますが、ensembleは始めるとすごいいろいろ試せることがある一方、おそらくそこまで高いスコア上昇をしていなかったような印象があります。

このためensembleを頑張ることに時間使うよりも1つのモデルのスコアが上がるように頑張るという作戦でいたのですが、結果としてそれが良かった印象です。

最後まで諦めない

最後はこれです。特に今回はsolo gold medalが欲しかったので、一人で出ていたのですが、途中全然順位が上がらず何度ももうやめようかなぁと思うタイミングがありました。結果としてそのときダメもとで試した改良やそこから思いついたアイディアがうまくいってスコアを伸ばすということが何度もあったので諦めなくてよかったです。

課題

次にコンペの参加中、もしくは終わったあと振り返って感じた課題的な部分も列挙しておきます。

モチベーションの維持が大変（特に一人のとき）

「最後まで諦めない」のところに似たようなことを書きましたが、とにかくモチベーション維持が大変でした。今まではチームででていたのと、すごい応援してくれる上司がいてくれたりとこの部分はそこまで問題にならなかった印象でした。

今後一人ででるならこの部分はまだまだどうにかしないと最後まで戦うのは難しい気がしています。

public scoreがどうしても気になってしまう

今回のコンペはデータセットの説明を読んだ段階でpublic scoreとprivate scoreのギャップが激しそうだなぁということを思ってたので、それほどpublic scoreを気にしないほうがいいかも？ということを最初思ってました。ただ、それでも最後はpublic scoreを気にしてモデルの改良をしてしまっていました。

コンペのサイトのデータセットの説明のところに詳しくかかれていますが、今回public scoreは4人中一人の最終日一つ前までのデータを、private scoreは4人全員の最後の日のデータを予測するというものでした。この説明を見ると予測する対象が全然違うことがわかります。実際、public scoreの上位陣が軒並みprivate scoreでは順位を落としていました。なので、後から振り返るとやっぱり最初に思った通りpublic scoreをそれほど気にせずモデルの改良をしていて正解だったと思います。ただ、そうはいっても、public scoreの順位が気になってしまって、結局最後はpublic scoreを気にして最終submittionを決めていました。ただ、ふたを開けたらlocal CVがベストなものがprivate scoreも一番よかったので、public scoreを気にしすぎたなぁと思っていました。

ただ、この部分はふたを開けてみないとわからないところなので、難しいポイントな気がしています。

論文を読んで最新研究をコンペの期間中に試すことが心理的に難しい

期間の前半ならまだましですが、どうしても後半になればなるほど、心理的に追い込まれていきます。なので、試すアイディアがないと思いつつも、自分の全然読んだことない論文の手法を試すということが難しかったです。この結果、特に後半はアイディアが前に試したもののちょっと変更したものばかりになり、結果としてそれほど精度が向上しないということが起きました。ただ、この部分一人でやっていると意識しても難しい部分な気がしています。

このため、日ごろから論文を読んでいろいろ手法を勉強し、できれば実装を動かして感触を確かめておくことが重要かなと思いました。実際、今回のコンペではReactomeのpathwayデータを使ったのですが、これは論文の追試のついでにいろいろ試したことがあったからこそできたことだったと思っています。

ちなみにその時の記事はこちらにあります。

ensembleの準備をせずにいると最後の土壇場で困る

ensembleをすぐに試さないことを意識していた結果、実は今回期間最後のほうでensembleをしようとしたときにいろいろ準備できてないことに気が付いてすごい慌てました。具体的には以下の二つが締め切り1週間前の段階でできていませんでした。

1. 予測結果をどのように集計して最終的なファイルを作るか？
2. ensembleした結果をどのように評価するか？

結局、1はギリギリできたのですが、2の評価方法はとても間に合いそうになかったのでpublic scoreを見てうまくいっているかいっていないか？を判断していました。ただ、これは評価としては微妙なので、次からはそんなに頑張らないにしても中盤くらいにはensembleの準備はしておこうと思います。

最後に

折角なので個人的な振り返りをblog記事にしました。仕事ではない状態でのkaggle参加は初めてだったのですが、思ったよりも疲れたのと、無事子供がコンペ締め切りの前日に生まれて、これから子育てもあるのででしばらくはコンペにでない気がします。ただ、次出たときに今回のコンペで何を思ったのか忘れないようにしておければと思っていたので、記事にできてよかったです。

これが他の人の参考になれば幸いです。

The post Kaggleの「Open Problems – Multimodal Single-Cell Integration」の振り返り first appeared on まったり勉強ノート.