인공지능 수학 - 컨벡스 최적화(Convex Optimization) 공부 자료 및 학습 순서 추천 정리

※ 본 글은 필자의 경험에 근거하여 작성되었으며, 잘못된 정보가 포함될 수 있습니다. ※

 

  머신러닝/딥러닝을 공부할 때 컨벡스 최적화(convex optimization)를 공부하면 굉장히 많은 도움이 됩니다. 컨벡스 최적화 교재는 여러 가지가 있지만, 그중에서도 스탠퍼드 대학교(Stanford University)에서 교수로 재직 중인 Stephen Boyd 교수가 쓴 convex optimization 교재가 유명합니다. 그래서 필자 또한 컨벡스 최적화를 공부하고 싶다면 이 교재를 추천합니다.

 

  ▶ Stephen Boyd 컨벡스 최적화 교재: https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf

 

  교재를 확인해 보면 목차가 나와 있는데요. 각 장(Chapter)은 다음과 같이 구성됩니다.

 

  1. 소개(Introduction): 컨벡스 최적화에서 배우게 되는 내용 전반에 대한 소개

  2. 컨벡스 집합(Convex sets)

  3. 컨벡스 함수(Convex functions)

  4. 컨벡스 최적화 문제(Convex optimization problems)

  5. 쌍대성(Duality)

  6. 근사와 피팅(Approximation and fitting)

  7. 통계적 추정(Statistical estimation)

  8. 기하학 문제(Geometric problems)

  9. 무제약 최소화(Unconstrained minimization)

  10. 상등 제약 최소화(Equality constrained minimization)

  11. 내점 방법론(Interior-point methods)

 

 

※ 연습 문제(Exercise)와 정답(Solution) ※

 

  ▶ 연습 문제 및 정답: https://see.stanford.edu/Course/EE364A

Stanford Engineering Everywhere | EE364A - Convex Optimization I

 

  스탠퍼드(Stanford) 대학교에서 강의할 때 출제되었던 숙제(homework) 문제들과 솔루션을 확인할 수 있습니다. 따라서 실제로 스탠퍼드에서의 강의 진도에 맞게 공부를 하면서 적절한 문제를 풀어 보는 것을 추천합니다.

 

 

※ 학습 순서 ※

 

  필자가 컨벡스 최적화(convex optimization) 스터디를 할 때는 다음과 같은 순서로 진행했습니다.

 

  ▶ 1주 차: Chapter 2 Convex sets

  ▶ 2주 차: 문제풀이(Homework 1) - 2.1, 2.2, 2.5, 2.7, 2.8, 2.11, 2.12, and 2.15

  ▶ 3주 차: Chapter 3 Convex functions 3.1, 3.2

  ▶ 4주 차: Chapter 3 Convex functions 3.3, 3.4 / 문제 풀이 - 3.2, 3.5, 3.6, 3.15, 3.16(b-e), 3.18(b), 3.24(f-h)

  ▶ 5주 차: Chapter 4 Convex optimization problems 4.1, 4.2, 4.3 / 문제 풀이 - 4.1, 4.4, 4.8(a-e), 4.17

 

※ 참고 자료 ※

 

  한국어로 된 다양한 참고 자료가 존재합니다. convex optimization 원서에 비해서는 내용이 매우 간소하게 적혀 있긴 하지만, 전반적인 흐름을 이해하는 목적으로는 참고할 수 있습니다.

 

  ▶ 모두를 위한 컨벡스 최적화(위키독스): https://wikidocs.net/book/1896

모두를 위한 컨벡스 최적화 (Convex Optimization For All)

  ▶ 모두를 위한 컨벡스 최적화(최신 버전): https://convex-optimization-for-all.github.io/