このPreferential OptimizationはOptunaとOptuna Dashboardによって、複数のtrialの出力のうちどれがよいかを人が判断して入力し、最適化していく機能です。

この機能がどういうときにうれしいかというと、コーヒーの味の良し悪しのような主観的な評価でしか評価できないとき、二つを比べてどちらがいいのかという評価で最適化を実行することができます。

以前書いたOptunaを使ったおいしいコーヒーの淹れ方を探索するときにはレシピごとに絶対評価のスコアをつける必要がありました。この絶対評価をつけるのがやっかいで、全体を通して矛盾のない評価を人がするのはかなり難しいと考えています。一方、Preferential Optimizationであれば、二つのレシピでどっちがおいしいかを比べればよいだけになり、簡単な評価で探索を行うことができるようになりました。

ちなみに以前のOptunaを使ったコーヒーの淹れ方はこちらになります。

今回の記事ではOptunaのPreferential Optimizationを利用してよりよくした新しくなった「おいしいコーヒーの淹れ方探索」の方法について紹介します。

今回のコードはこちらに上げてあります。

https://github.com/shu65/coffee_blog_2023

普段はGoogle Colabで動くようなコードを作るのですが、今回はOptuna DashboardというOptunaの探索結果をWebUIで確認できるツールもセットで使う必要があるため、localで動かすことを想定したコードを示します。

Preferential Optimizationを使ったおいしいコーヒーの淹れ方の概要

OptunaのPreferential Optimizationを使う場合、コーヒーの淹れ方の探索するには以下の4つのステップを繰り返していきます。

1. Optunaに２個になるまでtrial(コーヒーのレシピのこと)を提案してもらう
2. ２つのレシピでコーヒーを淹れる
3. 美味しくなかったほうがどちらなのかOptunaに登録する
4. 次のレシピをOptunaに提案してもらい、2に戻る

Preferential Optimizationじゃない普通のOptunaの最適化との違いとしては次の通りです。

1. 複数のtrialを提案
2. trailごとにスコアを登録するのではなく、複数のtrailのどれが良いか、悪いかをOptunaに登録する

最初にも述べたようにPreferential Optimizationを使うことで絶対評価ではなく、相対的な評価でOptunaの探索ができようになります。

コーヒーを淹れるための道具

Optunaでコーヒーの淹れ方を探索してもらう際、どの道具を使うかで探索できるパラメータが変わります。Preferential Optimizationをするなら個人的には以下のものを使うのが良いと考えているので簡単に紹介します。

特徴的な道具として、今回はフラワードリッパー DEEP27を使いました。これは9月に発売したばかりの1杯用のドリッパーで、紹介されている記事や動画を見ると皆さん思い思いのレシピを公開している様子です。このため、個人的には何がいいのかわからん状態なので、探索するにはちょうどいいということで選びました。

実際のOptunaのパラメータ探索

ここからは実際にOptunaを使ったコーヒーの淹れ方のコードを説明していきます。

まずはどのように今回レシピを探索していくのか説明するためにベースとなる淹れ方から説明していきます。

ベースのレシピ

コーヒーのレシピの探索の前にベースとなるレシピを決めます。

ベースのレシピはかなり重要で、ベースとなるレシピに基づいてどの部分をOptunaで探索するかはもちろん、ベースのレシピが難しすぎると同じレシピでも味が不安定なったり、Optunaで探索するパラメータが多すぎてうまく探索できないということが起きます。

今回はかなり簡単に淹れることができる以下の「暮らしとコーヒー」のチャンネルの動画のレシピを参考にベースのレシピを作ります。

ベースのレシピは以下の通りです。

• 豆の量: 12g
• お湯の温度: 86℃
• 抽出量: 150g
•  ミルのクリック数: 18
•  蒸らし時間: 20秒
•  蒸らしのお湯の量: 20g

今回のレシピは一定速度でお湯を注ぎ続ければよいので再現しやすいレシピかと思っています。さらに今回使ったスケールのように流量を見れるものであれば、同じレシピであれば毎回似たような味にすることができると思います。

探索するパラメータ

次にベースのレシピに基づいて探索するパラメータについて説明していきます。

基本はベースのレシピの値を中心にある程度の範囲を探索することにします。ただし、豆の量と抽出量に関してだけは二つを同時に探索するのではなく、抽出量を150gに固定したうえで、豆の量(g)/抽出量を探索することにします。こうすることで、探索する項目を一つ減らせ、またできるコーヒーの量が同じになるというメリットがあります。

また、お湯の量や時間は1g、1秒単位できっちりやるのは難しい印象です。このため、10g、5秒単位のようにある程度の幅で探索していきます。

上記のことをコードにすると以下のようになります。

        temperature = trial.suggest_float("お湯の温度(℃)", 80, 95, step=1.0)
        bean_per_water = trial.suggest_float("豆の量 (g)/お湯の量(g)", 0.053, 0.1, step=0.01) # 8/150-15/150
        click_count = trial.suggest_float("ミルのクリック数", 16, 24, step=1.0)
        steaming_time = trial.suggest_float("蒸らし時間(sec)", 0, 40, step=5.0)
        steaming_water_weight = trial.suggest_float("蒸らしのお湯の量(g)", 10, 30, step=10.0)

update 2024/02/28: suggest_int() と suggest_float() が混ざっていると一部のパラメータが毎回同じ値になってしまったのですべて suggest_float() に変更し、step を指定するように変更しました。

これに加えて必ず探索してほしいパラメータとして、ベースのレシピに基づく値をenqueue_trial() で入れておきます。何もしないと、最初から完全にランダムなレシピで探索してしまい、まともなレシピが出てくるまで時間がかかる印象です。このため、一つはまともなレシピを最初に入れておくと、まともなレシピと新しく提案されたレシピの二つを比べるような状態になるので、最初のほうは楽に比較ができる印象です。

コードとしては以下のようになります。

    if len(study.get_trials()) == 0:
        # add default trial.
        # ref: https://www.youtube.com/watch?v=G7vxam3T5mQ&t=68s
        params = {
            "お湯の温度(℃)": 86,
            "豆の量 (g)/お湯の量(g)": 12/150,
            "ミルのクリック数": 18,
            "蒸らし時間(sec)": 20,
            "蒸らしのお湯の量(g)": 20,
        }
        study.enqueue_trial(params)

Optuna Dashboardで表示するnoteの生成

次に新しいtrialで提案されたパラメータをOptuna Dashboardで表示する部分です。今回は提案されたパラメータからレシピ文章を作り、noteに追加し、noteをOptuna Dashboardで表示するということをします。このnoteの内容を見てコーヒーを淹れることになるので、以下のことを意識してnoteにレシピをまとめることにします。

1. 提案された値が必要になる順にnoteに列挙する
2. 探索は豆の量 (g)/お湯の量(g)だが、実際に必要なのは豆の量なので、豆の量を計算してnoteに列挙する

特に重要なのが1で、コーヒーを淹れる際、例えばお湯を沸かすのは時間がかかるので、最初にお湯の温度が必要になります。これがれnoteの真ん中にあると少し手間取ります。このため、最初に書いてあると私の経験上スムーズなので、お湯の温度は最初に出力します。他のパラメータも同様に必要になる順番で列挙していくことでコーヒーをスムーズに淹れることができ、また間違いが減らせる印象です。

コードとしては以下の通りです。

        bean_weight = int(bean_per_water*water_weight)
        note = textwrap.dedent(
            f"""\
        ## レシピ
        - お湯の温度(℃): {int(temperature)}
        - ミルのクリック数: {int(click_count)}
        - 豆の量(g): {int(bean_weight)}
        - 蒸らしのお湯の量(g): {int(steaming_water_weight)}
        - 蒸らし時間(sec): {int(steaming_time)}
        - 抽出量(g): {int(water_weight)}
        """
        )
        save_note(trial, note)

複数trialの提案

先ほどまでのパラメータ探索部分は従来のOptunaとほぼ同じでした。ここからPreferential Optimizationのときに必要な部分について説明していきます。まずは複数trialの提案部分です。

Preferential Optimizationは複数のtrialをOptuna Dashboard上でどちらが良かったのかを記録していくので、コード的には新しいtrialを作るask() を呼んでパラメータを提案させるところまでやり、tell() を呼びません。そして比較のときに必要なtrialの数に足りなければ次のtrialを作り、十分な数があれば待つという動作をすることになります。

コードとしては以下の通りです。

    STORAGE_URL = "sqlite:///example.db"
    study = create_study(
        n_generate=2,
        study_name="GUATEMALA recipe",
        storage=STORAGE_URL,
        sampler=PreferentialGPSampler(seed=42),
        load_if_exists=True,
    )

    register_preference_feedback_component(study, "note")
    # add default parameters
    ... 
    while True:
        if not study.should_generate():
            time.sleep(0.1)  # Avoid busy-loop
            continue

        trial = study.ask()

        # Ask new parameters
        ... 
        # Add note
        ...

実行方法

ここまでのコードを組み合わせたrecipe_generator.py とOptuna Dashboardを組み合わせて実行します。それぞれ以下のように実行します。

python recipe_generator.py &
optuna-dashboard sqlite:///example.db

これで http://127.0.0.1:8080/dashboard/studies/1/ にアクセスして以下のような画面がでてくれば成功です。

Trial 0 が最初に入れたベースのレシピ、Trial 1がOptunaが提案してきた新しいレシピになります。あとはこのレシピに従ってコーヒーを淹れて評価して、美味しくなかったほうを「WORST」にしてまたコーヒーを淹れるというのをひたすら繰り返すだけです。

終わりに

今回はPreferential Optimizationを使ったコーヒーのレシピ探索について書きました。Optunaのデフォルトだと10回まではランダム探索で、まだ探索を開始してから1週間なので実はまだランダム探索の状態です。これから実際に探索が行われてからどうなるか楽しみです。

ある程度探索できたらデータを解析して記事にしようと思います。

The post OptunaのPreferential Optimizationを使ったおいしいコーヒーの淹れ方探索 first appeared on まったり勉強ノート.

1. Optunaのドキュメントにはないprivateな関数を使って無理やり実装していて微妙
2. 味に影響する重要なパラメータが使っていた道具の影響で探索できていなかった
3. 探索させるパラメータを工夫したほうが良かった

今回はこれらを解決した今現在の2021年4月版のコーヒーの淹れ方の探索を紹介していきたいと思います。Qiitaの記事を読んでない方も多くいらっしゃると思うので、この記事では最初から説明をしていきます。

コーヒーの淹れ方の探索方法の概要

Optunaを使ったコーヒーの淹れ方の探索では以下の4つのステップを繰り返すことで実現します。

1. 過去のコーヒーの淹れ方とその時の評価値をOptunaに登録
2. 過去の淹れ方の履歴を基に次に試すべき淹れ方をOptunaで提案
3. 提案された淹れ方を実際に試して味を評価
4. Optunaが提案したパラメータと評価値を記録（今回はGoogleスプレッドシートを利用）

普通のOptunaを利用例の場合、すべてコンピューター上で完結させますが、今回は人力（3の部分）があるのが特徴的です。

ただ、この特徴的な3の部分の所為で、前回のQiitaの記事ではOptunaのprivateな関数を使って実装せざるをえませんでした。しかし、v2.5.0で追加されたAsk-and-Tellのask()でこの問題が解決されました。この記事ではAsk-and-Tellも簡単に紹介していきたいと思います。

Optunaのv2.5.0の新機能：Ask-and-Tell

v2.5.0のリリースで追加されたAsk-and-Tellは、簡単にいえばOptunaのパラメータの提案する部分 (ask())とOptunaに提案されたパラメータのスコアを教える部分(tell())の2つの部分に分けて実行するためのAPIです。

これにより、従来は面倒だった、あるプロセスでパラメータを提案させて、その後、別のプロセスでスコアを計算してOptunaに登録するというような分離が簡単に書けるようになりました。今回のコーヒーの淹れ方の場合は、パラメータの提案とスコアを出すところがコンピュータ上での実行と人力とで別れているため、このAsk-and-TellはぴったりなAPIになっています。

より詳しくAsk-and-Tellについて知りたい方はOptunaのリリースノートをご覧ください。

Optunaで探索する上で必要なものとコーヒーの淹れ方の場合の例

Optunaでパラメータの探索をする際には主に以下の二つが必要になります。

1. パラメータ毎の探索空間
2. 提案されたパラメータを受け取って目的変数の値を返す目的関数

パラメータ毎の探索空間とは提案をしてほしいパラメータ毎に提案をしてほしい値の範囲を指定したものになります。Optunaがよく使われているニューラルネットワークの例で言うと、以下のようなものになります。

また、目的関数とは、指定されたパラメータで学習した結果の精度を返す関数となります。

では、コーヒーの淹れ方の場合はパラメータに対応するものと、目的関数をどうすればよいでしょうか？

後ほど詳しく紹介しますが、今回はパラメータとして豆の量やお湯の温度など、コーヒーの淹れ方で重要なものをパラメータとして扱います。探索範囲は各パラメータ毎に基準とした値を中心にして現実的な範囲で広げたものを利用します。

また、目的関数ですが、実際に提案されたパラメータに基づいて自分でいれて、おいしかったかどうかを自分で1-10点で評価して返すという人力のものを利用します。

現在のコーヒーの入れる環境

使う道具によってパラメータとして扱えるものが変化するので、使う道具についても紹介します。

今回は以下の道具で淹れるとして紹介しています。

• ミル： ポーレックス コーヒーミル･Ⅱ (調節ねじのクリック数によってコーヒーの粒度を変えられる)
• ポット：山善 電気ケトル NEKM-C1280 (温度設定可能)
• 抽出器： BODUM CHAMBORD（フレンチプレス）

前回との大きな変更はミルとポットです。ミルのほうは粒度が安定するようなものに変えました。また、ポットのほうは以前のものだと温度調節ができなかったのですが、温度調節ができるものに変更しました。これにより、コーヒーの粒度の安定性が増し、再現性があがったのに加え、コーヒーで重要なお湯の温度を制御できるようになりました。

また、今回もフレンチプレスを使ったコーヒーの抽出を行います。コーヒーを淹れる方法として有名なものはペーパードリップだと思いますが、ペーパードリップは探索したほうがよさそうなパラメータが多すぎるのと、お湯の注ぎ方など素人では安定させるのが難しい要素が多いという問題があります。このため、素人でも安定して入れられるフレンチプレスを利用します。

フレンチプレスを使った淹れ方をご存知ない方に簡単に説明すると

1. 挽いた豆をフレンチプレスの中に入れる
2. （少量のお湯を入れてしばらく置いて蒸らす）
3. お湯を入れる
4. （スプーンかき回す）
5. 時間になったら金網フィルターを下ろして完成

という流れでコーヒーを抽出します。カッコのところは、淹れ方の説明をいろいろ読むとあったりなかったりする部分です。

もっと詳しく知りたいという方はこちらのページを参考にしてください。

実際のOptunaのパラメータ探索

ここからは実際にOptunaを使ったコーヒーの淹れ方のコードを説明していきます。今回のコードはこちらに上げてあります。

https://github.com/shu65/coffee-tuning/blob/main/coffee_tuning_2021_04.ipynb

計算環境

環境としては手軽にできるようにということで以下のサービスを利用します。

• プログラム実行：Google Colab
• データ管理：Google スプレッドシート

Optunaの探索範囲

今回は基準となる淹れ方を決め、それにある程度範囲を持たせたものを探索範囲とします。

本やネットを参考にして以下のような値を今回の基準としました。

• 豆の量 (g): 9
• ミルのクリック数: 15
• お湯の温度(℃)：92
• 抽出時間 (sec): 240
• 蒸らし時間 (sec): 30
• お湯の量 (g): 200

さて、これを基準にプラスマイナスいくつかの範囲で探索すればいいのですが、豆の量とお湯の量に関しては少し工夫をします。

今回はお湯の量を200gに固定して、「豆の量 (g) / お湯の量 (g)」 という値をOptunaでは探索します。一時期、お湯の量も毎回探索していたのですが、お湯の量を変えると、できるコーヒーの量も変化してしまうという問題がありました。これを防ぐためにお湯の量を固定して、それに合った豆の量をOptunaに提案してもらうという形とするために「豆の量 (g) / お湯の量 (g)」を提案してもらいます。このように豆の量とお湯の量の比にして探索しておくと、お湯の量が微妙に変えたくなったときの探索にも今のデータをそのまま活用することができます。

以上に加え、蒸らしがあったほうがいいかととスプーンでかき混ぜたほうがいいかも探索させます。

これをまとめると以下のような探索範囲になります。

• 豆の量 (g) / お湯の量 (g): 0.038-0.08
• ミルで豆を挽く時間 (sec): 4-24
• お湯の温度(℃)：80-99
• 抽出時間 (sec): 180-300
• スプーンでかき混ぜる：あり or なし
• 蒸らし：あり or なし
• 蒸らし時間 (sec): 20-40

Google スプレッドシートによるデータのまとめ方

淹れ方とその時の評価値 (スコア) をまとめる方法として今回はGoogle スプレッドシートを利用しました。表としてはこのような形です。

Optunaで使わない値に関しても後々のデータ解析ように入れてあります。

Optunaによるパラメータ提案

ここまで準備できればいよいよOptunaで探索範囲に従ってコーヒーの淹れ方を提案してもらいます。

この部分の基本的な流れとしては以下の通りです。

1. 過去のコーヒーの淹れ方とその時の評価値をOptunaに登録
2. 過去の淹れ方の履歴を基に次に試すべき淹れ方をOptunaで提案

順番に説明していきます。

1. 過去のコーヒーの淹れ方とその時の評価値をOptunaに登録

まず、過去のコーヒーの淹れ方とその時の評価値をOptunaの Study に登録していきます。

最初にGoogleスプレッドシートからデータを取ってきます。コードとしては以下の通りです。

# Google スプレッドシートの承認

from google.colab import auth
from oauth2client.client import GoogleCredentials
import gspread

auth.authenticate_user()
gc = gspread.authorize(GoogleCredentials.get_application_default())

# スプレッドシートからデータを取ってくる
import numpy as np
import pandas as pd

ss_name = "mattari-benkyo-note coffee tuning 202104"
workbook = gc.open(ss_name)
worksheet = workbook.get_worksheet(0)
df = pd.DataFrame(worksheet.get_all_records())
df[df == ''] = np.nan
df['かき混ぜる'] = df['かき混ぜる'].astype(np.bool)
df['蒸らし'] = df['蒸らし'].astype(np.bool)
df = df.set_index('淹れた日')
df

Google スプレッドシートの承認をしたあと、0番のシートから情報を取ってきて、pandasのDataFrameにするということをしています。その後適切な値や型の変換をします。

その後、読み込んだデータをOptunaのStudyを作り、add_trial() を使って登録していきます。

import optuna

study_search_space={
    "豆の量 (g)/お湯の量(g)": optuna.distributions.UniformDistribution(0.025, 0.08),
    "ミルのクリック数": optuna.distributions.IntUniformDistribution(4, 26),
    "抽出時間 (sec)": optuna.distributions.IntUniformDistribution(180, 300),
    "かき混ぜる": optuna.distributions.CategoricalDistribution([True, False]),
    "蒸らし": optuna.distributions.CategoricalDistribution([True, False]),
    "蒸らし時間 (sec)": optuna.distributions.IntUniformDistribution(20, 40),
    "保存方法": optuna.distributions.CategoricalDistribution(["冷凍", "冷蔵"]),
    "お湯の温度(℃)": optuna.distributions.IntUniformDistribution(80, 99),
    }
score_column = 'スコア'



sampler = optuna.samplers.TPESampler(multivariate=True, n_startup_trials=10)
study = optuna.create_study(direction='maximize', sampler=sampler)

for record_i, record in df.iloc[::-1].iterrows():
  is_record_null = record.isnull()
  params = {}
  trial_search_space = {}
  for key in study_search_space.keys():
    if not is_record_null[key]:
      params[key] = record[key]
      trial_search_space[key] = study_search_space[key]
  if  not is_record_null[score_column]:
    try:
      trial = optuna.trial.create_trial(
        params=params,
        distributions=trial_search_space,
        value=record[score_column])
      study.add_trial(trial)
    except ValueError as e:
      print("pass trial:", trial)
      print(e)

print("sample size:", len(df))

Study に登録する際もパラメータの分布が必要になりますが、これは提案するときの分布とは別ものです。add_trial() する際の注意点としてはadd_trial()のparamsに入っているパラメータの値がdistributionsで指定した探索範囲外だとエラーになります。時々お湯を少し多く入れてしまうというようなミスがあるので本来探索するよりも一部広い範囲を利用しています。

2. 過去の淹れ方の履歴を基に次に試すべき淹れ方をOptunaでパラメータで提案

さて、いよいよOptunaのAsk-and-Tellのask() を使ってパラメータを提案していきます。

trial = study.ask()

new_params = {}
new_params["蒸らし"] = trial.suggest_categorical("蒸らし", [True, False])
if new_params['蒸らし']:
  new_params["蒸らし時間 (sec)"] = trial.suggest_int("蒸らし時間 (sec)", 20, 40)

new_params["豆の量 (g)/お湯の量(g)"] = trial.suggest_uniform("豆の量 (g)/お湯の量(g)", 0.038, 0.08)
new_params["ミルのクリック数"] = trial.suggest_int("ミルのクリック数", 4, 24)
new_params["抽出時間 (sec)"] = trial.suggest_int("抽出時間 (sec)", 180, 300)
new_params["かき混ぜる"] = trial.suggest_categorical("かき混ぜる",  [True, False])
new_params["お湯の温度(℃)"] = trial.suggest_int("お湯の温度(℃)",  80, 99)

# わかりやすい順番で表示
water=200
for key in  ["お湯の温度(℃)", "豆の量 (g)/お湯の量(g)", "豆の量(g)", "ミルのクリック数", "かき混ぜる", "蒸らし", "蒸らし時間 (sec)","抽出時間 (sec)"]:
  if key in new_params:
    if key == "豆の量 (g)/お湯の量(g)":
      beans = int(water * new_params[key])
      print(key, new_params[key], beans / water)
      print("豆の量 (g)", beans)
    else:
      print(key, new_params[key])</code></pre>

これでコーヒーの淹れ方のパラメータを提案できます。試しに現状のパラメータで提案させると次のような結果が得られました。

お湯の温度(℃) 88
豆の量 (g)/お湯の量(g) 0.05400951154389384 0.05
豆の量 (g) 10
ミルのクリック数 9
かき混ぜる True
蒸らし True
蒸らし時間 (sec) 24
抽出時間 (sec) 205

すでに約40trial分のデータがあるので、それっぽいものを提案してきている印象です。

あとは実際に入れてみて評価値をGoogle スプレッドシートに入れて次の提案に活かすということを繰り返しおこなっていくことで、徐々においしいコーヒーの淹れ方を提案してくれるようになります。

実際に3か月やってみた感想

実際に3か月やってみた印象としては、本やネットで調べたものよりもおいしい淹れ方が見つかった印象です。別の記事でデータ解析した結果の際にも紹介すると思いますが、酸味が強い豆と苦味が強い豆とではおいしいと思うパラメータが違うため、この辺りを素人がいろいろ探索する際には役立つかなと思っています。

ただ、コーヒーに詳しい方はおいしくない時にどう変更すればわかるような場合も多いと思われるため、そういう方は必要ないかなという印象です。

あとは、ネットや本で調べた知識に基づくと絶対変というような淹れ方になるときも当然あるのですが、「こんな味になるのか」という驚きがあって面白かったです。

現状でも残っている課題としては、おいしさをどう評価値にするかの部分かなと思っています。味はその日の体調やコーヒーのちょっとした温度の違いでも変化してしまいます。また、実際に同じタイミングで飲み比べているわけではないので、どうしても絶対評価が難しいという問題があります。この部分もいずれ解決できればと思っています。

終わりに

2021年度4月版のOptunaを使ったおいしいコーヒーの淹れ方の探索について紹介しました。

昨年末のころと比較して、大筋はそれほど変化してませんが、使う道具やその道具を使って何のパラメータをOptunaで提案させるかの部分はかなり変化した印象です。

そのうち、Optunaの可視化機能の紹介やそれらを活用したデータ解析を実際の3か月分のデータに適用した記事も書ければと思っています。また、現在はペーパードリップで同じように探索できないか挑戦していますので、そちらもある程度形になったら紹介記事を書きたいと思っています。

The post Optunaを使ったおいしいコーヒーの淹れ方探索 (2021年4月版) first appeared on まったり勉強ノート.