optimization

目次 最適化（Optimization）の世界は非常に奥が深いですが、その根底にあるのは「限られたリソースの中で、最善の結果を導き出す」というシンプルな目的です。 数学や工学、あるいはビジネスの文脈で最適化を理解するために、特に重要な概念と、事実上の「公理」として扱われる考え方を整理の上、問題の具体例で説明してみます。 概念 最適化を行う上で重要な概念について整理します。 1. 最適化の3要素（定式化の基本） どんな最適化問題も、まずは以下の3つの要素に分解して考えることから始まります。これらを定義できないと、最適化はスタートしません。 意思決定変数（Variables）: 自分がコントロール…

目次 入力と出力を持つものは関数と呼ばれます。 ニューラルネットワークも勿論関数です。 そして関数には絶えず、ベストはどこだ？という探索の要求があります。 このベストを探索する分野は最適化と呼ばれます。 関数の最適化において重要な性質に凸性の有無があります。 今日は凸性がどんなことか説明します。 概要 最適化の世界において、「凸（Convexity）」は 「問題が解ける（解が保証される）かどうかの分水嶺」 といわれるような判断基準となる役割を果たします。 そして、最適化全体における「凸」とは、 「アルゴリズムが迷子にならず、見つけた答えが最高のものであると確信を持てるための保証書」 のような性…

目次 最適化を扱っていると凸最適化の文脈の後に双対変数なる考え方が出てきます。 話だけ聞くと最適化関数を複雑にすることにつながるので、"おやっ"と思うのですが、実はメリットがあります。 そんな双対変数について説明していきます。 双対変数とは 最適化における双対変数（dual variable） は、主問題（primal problem） の制約条件に対応して現れる、双対問題（dual problem） における変数のことです。 1. 双対変数の位置づけ 多くの最適化問題（線形計画、凸最適化など）では、 元の問題を「主問題」 それから導かれる別の最適化問題を「双対問題」 として扱います。 主問題…

はじめに こんにちは、カンムでバンドルカードの機械学習部分を担当している fkubota です。(ちなみに機械学習エンジニアめっちゃ探してます👀) 前回の記事から日が経ってしまいました。 あれから、沖縄に移住する(2月に)などプライベートで大きめのイベントが多発して忙しく過ごしていました。 そのせいもあり新しい技術に触れるような時間が少なくてなかなかテックブログネタが思いつかなかったのですが、朝会で不便を感じていたのでテックでいい感じにしたろ！と思い立ち勢いで書きます。 前回の記事も朝会についてでした。 カンム流『朝会』をやってみたら予想以上にウケが良かった件 ざっと概要を話すと、 リモートで…