ペパボ研究所 研究員／プリンシパルエンジニアの三宅(@monochromegane)です。 2020年12月3日から2日間に渡って開催された、第13回インターネットと運用技術シンポジウム(IOTS2020)で、ペパボ研究所から発表を行いましたので論文と発表資料と共に紹介します。
変化検出と要約データ構造を用いた利用者の嗜好の変化に迅速に追従する多腕バンディット手法
Webサービス利用者の情報過多問題を解決するため、推薦システムが導入される一方で、開発運用者は最適な推薦アルゴリズムの選定に多くの時間とコストを割いています。 今年、我々は状況に応じた推薦アルゴリズムの選定を文脈付き多腕バンディット問題とみなし、線形な解法を用いてこれを解く推薦システムとして実装、導入を行い、結果を発表しました。
しかしながら、従来の線形な解法では、多様かつ継続的に変化する利用者の嗜好の変化への追従性が十分発揮できません。 そこで、本研究では、このような多様かつ継続的に変化する環境を想定した多腕バンディット問題の解法を提案しています。
提案手法では、変化検出の手法を用いて腕となる利用者の嗜好の変化を検出し、変化以前に蓄積された情報をクリアすることで、過去の情報にひきづられることなく変化へ追従します。 また、多様な文脈に対してそれぞれ変化検出を試みることで問題となる、追従性の低下と履歴データサイズの肥大化に対処します。 まず、追従性の低下について、個々の多様な文脈ではなく、この文脈を構成する要因パラメータを推定し、文脈の数と比べて小さな要因数から算出した二つの代表値の時間変化を監視します。 これにより全試行回数に対する評価の分散を防ぎ、追従性の課題を解決します。 次に、履歴データサイズについて、指数ヒストグラムと呼ばれるデータ構造で管理することで、肥大化を防ぎます。 また、標準的な指数ヒストグラムは1次元の時系列しか扱えないこと、各次元に対してメタデータが必要なことから、本研究では多次元の履歴データを格納するよう小さな拡張を施しています。 提案手法では、これらの変化検出と要約データ構造を用いることで、利用者の嗜好の変化に迅速に追従します。
シミュレーションによる評価では、従来の解法と比較して、突発的な要因パラメータの変化にいち早く追従できること、履歴データサイズの肥大化を抑えることを確認しました。
今後は、同様の問題設定に対する従来手法の調査を深め、実システムでの新規性有用性に関する評価を進めていきます。
論文
発表資料
優秀プレゼンテーション賞
本研究の発表で、優秀プレゼンテーション賞を受賞することができました。 投票していただいたみなさま、誠にありがとうございます。 研究活動において初めての表彰です。本当に嬉しいです。
発表を終えて
今年はオンラインで行われたシンポジウムでしたが、発表だけでなくポスターセッションや企業展示についてもオフラインの経験をオンラインに再現する様々な工夫がされており、昨年までと同じように様々な意見交換を行うことができ、非常に有意義な時間となりました。
研究について、昨年のポスター発表に続いて、今年は論文投稿を行い、さらに優秀プレゼンテーション賞を受賞することができました。 研究を支えてくれた、共著者である研究所の所長(@kentaro)、ならびに研究所の皆さんに心より感謝します。
受賞のコメントでも触れましたが、本研究は従来のIOT研究会の分野とは少し離れた研究に思えたかもしれません。 しかしながら、機械学習や強化学習を用いた運用の判断や自動化は弊社を始め、取り組みが既に始まっていると考えます。 今回の研究発表が、これらと運用技術との橋渡しの一端として、今後の研究会の発展に少しでも貢献できたのであれば幸いです。
来年は、優秀論文賞を狙います！
【PR】パートナー積極採用中！
ペパボ研究所では、新しいパートナーを求めています。詳細については、当研究所のトップページをご覧ください。
