ペパボ研究所 研究員／シニア・プリンシパルエンジニアの三宅（@monochromegane）です。 VRAMに収まらない規模のMixture-of-Experts（MoE）モデルを手元のGPUで動かすために、2つのvLLMプラグインを開発しました。 本記事では、その仕組みと性能について紹介します。

はじめに

高性能なオープンウェイトモデルが相次いで公開され、これを自組織の環境で動かす選択肢が広がっています。

一方で、規模の大きなモデルを動かすためのGPUの確保は難しいままです。 例え...

ペパボ研究所 研究員／シニア・プリンシパルエンジニアの三宅（@monochromegane）です。 2026年6月9日に開催された、第40回人工知能学会全国大会（JSAI2026）で、ペパボ研究所から発表を行いましたので論文とスライドと共に紹介します。

適応的スパムフィルタのための軽量な類似メッセージカウンタ

本研究では、メッセージ機能を有する情報システムにおいて、スパム検知のための機械学習モデルの再学習・反映までの時間差を補う、軽量な類似メッセージカウンタを提案しました。機械学習モデ...

ペパボ研究所 研究員／シニア・プリンシパルエンジニアの三宅（@monochromegane）です。 本記事では、Googleから発表されたベクトル量子化手法 TurboQuant（arxiv 2504.19874）について、ベクトル検索における量子化の観点から読み解いていきます。ベクトル検索の基礎については、以前開催した「ベクトル検索システムの気持ち」で扱っていますので、興味のある方はそちらもご参照ください。

はじめに

ベクトル検索は、高次元ベクトル空間において、あるクエリベクトル...

ペパボ研究所 研究員／プリンシパルエンジニアの三宅（@monochromegane）です。 本記事では、ベクトル検索システムに機械学習モデルで算出した指標を組み合わせることで、検索結果を柔軟に制御し、サービス指標に沿った最適化を実現するアプローチについて紹介します。

はじめに

情報システムとAIの統合において、互いの知識を効率的に引き出すための、ベクトル検索システムの重要性が増しています。ベクトル検索は、画像やテキストなどの多様なデータを高次元の埋め込みベクトル空間に写像し、その距離に...

ペパボ研究所 研究員／プリンシパルエンジニアの三宅（@monochromegane）です。

2025年8月、OpenAIよりオープンウェイトモデルとしてgpt-ossが公開されました。 これらのモデルは、軽量ながら既存の強力なモデルに匹敵する性能を示しており、gpt-oss-120bはo4-miniと、gpt-oss-20bはo3-mini と同水準のベンチマーク結果を達成したと報告されています。 また、これらはApache 2.0ライセンスのもとで提供され、単一GPUで効率的な推論が可...

ペパボ研究所 研究員／プリンシパルエンジニアの三宅(@monochromegane)です。 2025年3月25日に、ベクトル検索システムの社内勉強会を開催しました。 発表資料と共に内容を紹介します。

発表概要

RAGを始めとする情報システムとAIの統合において、互いの知識を効率的に引き出すための、ベクトル検索システムの重要性が増しています。ベクトル検索システムは、データとクエリをベクトルで適切に表現し、類似するデータを高速に検索することが目的です。この実現においては、ベクトルの特性・表...

ペパボ研究所 研究員／プリンシパルエンジニアの三宅(@monochromegane)です。 2024年7月2日から4日に渡って大阪で開催されたIEEE COMPSAC 2024において、Online Nonstationary and Nonlinear Bandits with Recursive Weighted Gaussian Processという標題で、フルペーパー採択論文の発表を行ってきました。発表資料と共に内容を紹介します。

IEEE COMPSAC 2024

IEEE...

ペパボ研究所 研究員／プリンシパルエンジニアの三宅(@monochromegane)です。 2024年3月27日に、AIを前提とした体験の実現に向けての社内勉強会を開催しました。 発表資料と共に内容を紹介します。

背景

ペパボではAIを前提とした新しい体験の実現に向けて、全社的な取り組みが加速しています¹。 この動きに伴い、ペパボ研究所はAIを前提とした体験、すなわちAI体験について、職種を超えた共通理解を醸成することの重要性を認識しています。 そのため、社内外の実践例や最新の動向を調...

ペパボ研究所 研究員／プリンシパルエンジニアの三宅(@monochromegane)です。 2023年10月1日から4日に渡ってハワイで開催されたIEEE SMC 2023において、Contextual and Nonstationary Multi-armed Bandits Using the Linear Gaussian State Space Model for the Meta-Recommender Systemという標題で発表を行ってきました。発表資料と共に内容を紹介します...

ペパボ研究所 研究員の渡辺（@ae14watanabe）です。

先日、ペパボ研究所（以降、ペパ研）が社内で実施した新卒エンジニア向け機械学習研修についてご紹介します。 ペパボでは毎年新卒エンジニア向けの研修を実施していますが、2020年からその研修の一環としてペパ研が機械学習研修を担当しています。 毎年、その時々の社内外の状況を考慮しつつ研修コンテンツをアップデートしているのですが、今年はChatGPTを始めとする大規模言語モデル（Large Language Model: LLM）の発...