2. Pmùi hương pháp nhân tử Lagrange 3. Hàm đối ngẫu Lagrange (The Lagrange dual function) 3.4. lấy ví dụ như 4. Bài toán thù đối ngẫu Lagrange (The Lagrange dual problem) 5. Optimality conditions 5.2. KKT optimality conditions

Trong nội dung bài viết này, chúng ta trả sử rằng các đạo hàm mãi sau.

Bạn đang xem: Duality là gì

Bài viết này đa số được dịch lại tự Chương 5 của cuốn Convex Optimization vào tài liệu xem thêm.

Quý khách hàng phát âm hoàn toàn có thể coi phiên bản pdf tại đây.

Nếu các bạn chạm chán trở ngại trong việc hiểu đạo hàm vào nội dung bài viết này, chúng ta được khuyến nghị hiểu Đạo hàm của hàm nhiều đổi mới. Dường như, các kiến thức trong Bài 16 và Bài 17 là đặc biệt để làm rõ rộng nội dung bài viết này.

1. Giới thiệu

Trong Bài 16, chúng ta đang làm cho quen cùng với những có mang về tập đúng theo lồi cùng hàm số lồi. Tiếp Từ đó, vào Bài 17, tôi đã và đang trình bày về các bài xích toán thù tối ưu lồi, biện pháp dấn dạng cùng cách áp dụng tlỗi viện để giải các bài xích toán lồi cơ bản. Trong bài này, họ sẽ liên tiếp tiếp cận một bí quyết sâu hơn: các điều kiện về nghiệm của các bài toán về tối ưu, cả lồi cùng không lồi; bài xích toán thù đối ngẫu (dual problem) cùng điều kiện KKT.

trước hết, bọn họ lại bước đầu bằng đều nghệ thuật đơn giản dễ dàng cho các bài xích tân oán cơ bản. Kỹ thuật này chắc hẳn rằng chúng ta đã có lần nghe đến: Phương thơm pháp nhân tử Lagrange (method of Lagrange multipliers). Đây là một cách thức góp tìm kiếm những điểm cực trị của hàm kim chỉ nam trên feasible set của bài bác toán thù.

Nhắc lại rằng cực hiếm lớn số 1 với nhỏ tuổi độc nhất (nếu như có) của một hàm số (f_0(mathbfx)) khả vi (và tập xác minh là 1 tập mở) đạt được trên một trong số điểm rất trị của nó. Và điều kiện đề nghị để một điểm là điểm cực trị là đạo hàm của hàm số trên đặc điểm này (f_0’(x) = 0). Crúc ý rằng một điểm vừa ý (f_0’(mathbfx)) = 0 thì được gọi là điểm dừng hay stationary point. Điểm rất trị là một trong những điểm dừng tuy vậy không phải điểm dừng nào cũng là điểm cực trị. lấy ví dụ hàm (f(x) = x^3) tất cả (0) là 1 điểm dừng tuy nhiên chưa hẳn là vấn đề rất trị.

Với hàm nhiều đổi mới, ta cũng có thể vận dụng quan liêu liền kề này. Tức bọn họ buộc phải đi tìm kiếm nghiệm của pmùi hương trình đạo hàm theo mỗi biến bằng 0. Tuy nhiên, sẽ là với các bài bác toán ko buộc ràng (unconstrained optimization problems), với các bài tân oán tất cả ràng buộc nlỗi họ đã gặp gỡ vào Bài 17 thì sao?

Trước hết bọn họ xét bài xích tân oán nhưng ràng buộc chỉ là 1 trong phương thơm trình:<egineqnarray mathbfx=và argmin_mathbfx f_0(mathbfx) extsubject to:~và f_1(mathbfx) = 0~~~~~~~~~(1)endeqnarray>

Bài toán thù này là bài bác tân oán tổng quát, không duy nhất thiết cần lồi. Tức hàm kim chỉ nam với hàm buộc ràng không độc nhất thiết nên lồi.

2. Pmùi hương pháp nhân tử Lagrange

Nếu họ gửi được bài bác toán thù này về một bài bác toán ko ràng buộc thì chúng ta cũng có thể tìm được nghiệm bằng cách giải hệ phương trình đạo hàm theo từng thành phần bởi 0 (đưa sử rằng việc giải hệ pmùi hương trình này là khả thi).

Vấn đề này là rượu cồn lực nhằm bên toán thù học Lagrange sử dụng hàm số: (mathcalL(mathbfx, lambda) = f_0(mathbfx) + lambdomain authority f_1(mathbfx)). Chụ ý rằng, vào hàm số này, chúng ta có thêm một biến chuyển nữa là (lambda), đổi mới này được Gọi là nhân tử Lagrange (Lagrange multiplier). Hàm số (mathcalL(mathbfx, lambda)) được call là hàm hỗ trợ (auxiliary function), xuất xắc the Lagrangian. Người ta đang minh chứng được rằng, điểm optimal value của bài bác toán ((1)) đống ý điều kiện ( abla_mathbfx, lambda mathcalL(mathbfx, lambda) = 0) (tôi xin được làm lơ chứng tỏ của phần này). Vấn đề này tương đương với:

<egineqnarray abla_mathbfxf_0(mathbfx) + lambda abla_mathbfx f_1(mathbfx) &=và 0~~~~(2) f_1(mathbfx) & = và 0 ~~~~(3)endeqnarray>

Để ý rằng điều kiện sản phẩm công nghệ hai chính là ( abla_lambdamathcalL(mathbfx, lambda) = 0), và cũng đó là buộc ràng vào bài toán ((1)).

Việc giải hệ phương thơm trình ((2) - (3)), trong vô số trường hợp, đơn giản và dễ dàng rộng câu hỏi trực tiếp đi kiếm optimal value của bài toán thù ((1)).

Xét những ví dụ đơn giản và dễ dàng sau đây.

Ví dụ

Ví dụ 1: Tìm cực hiếm lớn số 1 với nhỏ độc nhất vô nhị của hàm số (f_0(x, y) = x + y) thoả nguyện điều kiện (f_1(x, y) = x^2 + y^2 = 2). Ta nhận ra rằng trên đây không phải là 1 bài xích toán thù về tối ưu lồi vì chưng feasible set (x^2 + y^2 = 2) không phải là 1 trong những tập lồi (nó chỉ là 1 con đường tròn).

Lời giải:

Lagrangian của bài bác toán thù này là: (mathcalL(x, y, lambda) = x + y + lambda(x^2 + y^2 - 2)). Các điểm rất trị của hàm số Lagrange đề xuất đồng tình điều kiện:

< abla_x, y, lambda mathcalL(x, y, lambda) = 0 Leftrightarrowleft{eginmatrix 1 + 2lambdomain authority x &= 0~~~ (4) 1 + 2lambdomain authority y &= 0~~~ (5) x^2 + y^2 &= 2 ~~~~(6)endmatrix ight.>

Từ ((4)) và ((5)) ta suy ra (x = y = frac-12lambda). Txuất xắc vào ((6)) ta sẽ có (lambda^2 = frac14 Rightarrow lambdomain authority = pm frac12). Vậy ta được 2 cặp nghiệm ((x, y) in (1, 1), (-1, -1)\). Bằng bí quyết cố gắng những quý hiếm này vào hàm phương châm, ta tìm được cực hiếm nhỏ tuổi tuyệt nhất với lớn số 1 của hàm số đề nghị tra cứu.

Xem thêm: Lấy Thân Mình Chèn Pháo Là Ai

Ví dụ 2: Cross-entropy. Trong Bài 10 cùng Bài 13, họ đã làm được nghe biết hàm mất non nghỉ ngơi dạng cross entropy. Chúng ta đã và đang biết rằng hàm cross entropy được dùng để đo sự như là nhau của hai phân păn năn tỷ lệ với mức giá trị của hàm số này càng nhỏ dại thì hai phần trăm càng sát nhau. Chúng ta cũng đã phát biểu rằng quý giá nhỏ dại tốt nhất của hàm cross entropy giành được khi từng cặp phần trăm là như thể nhau. Bây giờ đồng hồ, tôi xin tuyên bố lại cùng minh chứng nhận định và đánh giá bên trên.

Cho một phân bố xác xuất (mathbfp = ^T) cùng với (p_i in <0, 1>) và (sum_i=1^n p_i = 1). Với một phân bố phần trăm bất kỳ (mathbfq = ) với trả sử rằng (q_i eq 0, forall i), hàm số cross entropy được tư tưởng là:Hãy search (mathbfq) để hàm cross entropy đạt quý giá nhỏ tuổi tuyệt nhất.

Trong bài bác toán thù này, ta có buộc ràng là (sum_i=1^n q_i = 1). Lagrangian của bài bác toán là: Ta đề xuất giải hệ phương trình:

< abla_q_1, dots, q_n, lambda mathcalL(q_1, dots, q_n, lambda) = 0 Leftrightarrowleft{eginmatrix -fracp_iq_i + lambdomain authority &=và 0, ~~ i = 1, dots, n ~~~(7) q_1 + q_2 + dots + q_n &=& 1 ~~~~~~ (8)endmatrix ight.>

Từ ((7)) ta tất cả (p_i = lambdomain authority q_i). Vậy nên: ( 1 = sum_i=1^n p_i = lambdasum_i=1^n q_i = lambda Rightarrow lambda = 1 Rightarrow q_i = p_i, forall i).

Qua phía trên, chúng ta sẽ hiểu đúng bản chất vì chưng sao hàm số cross entropy được dùng để ép nhì xác suất sát nhau.

3. Hàm đối ngẫu Lagrange (The Lagrange dual function)

3.1. Lagrangian

Với bài toán tối ưu tổng quát:<egineqnarraymathbfx^* &=& argmin_mathbfx f_0(mathbfx) \textsubject to:~ && f_i(mathbfx) leq 0, ~~ i = 1, 2, dots, m ~~~(9)&& h_j(mathbfx) = 0, ~~ j = 1, 2, dots, pendeqnarray>với miền xác đinh (mathcalD = (cap_i=0^m extdomf_i) cap (cap_j=1^p extdomh_j)). Chụ ý rằng, họ dường như không trả sử về tính chất lồi của hàm tối ưu hay các hàm buộc ràng tại chỗ này. Giả sử tốt nhất ở đây là (mathcalD eq emptyset) (tập rỗng).

Lagrangian cũng rất được chế tạo tựa như với từng nhân tử Lagrange cho 1 (bất) phương trình ràng buộc:

với (lambdomain authority = ; u = < u_1, u_2, dots, u_p>) (cam kết hiệu ( u) này chưa phải là chữ v mà là chữ nu trong tiếng Hy Lạp, hiểu nhỏng từ new) là những vectors và được call là dual variables (biến hóa đối ngẫu) hoặc Lagrange multiplier vectors (vector nhân tử Lagrange). Trong thời điểm này giả dụ đổi thay chính (mathbfx in mathbbR^n) thì tổng thể trở thành của hàm số này sẽ là (n + m + p).

(Thông thường, tôi cần sử dụng những vần âm viết hay in đậm nhằm trình diễn một vector, trong ngôi trường thích hợp này tôi ko quẹt đậm được (lambda) cùng ( u) vì tinh giảm của LaTeX khi viết cùng markdown. Tôi chú ý điều đó để hạn chế lầm lẫn cho chính mình đọc)

3.2. Hàm đối ngẫu Lagrange

Hàm đối ngẫu Lagrange của bài tân oán buổi tối ưu (hoặc gọn là hàm số đối ngẫu) ((9)) là 1 trong những hàm của những biến chuyển đối ngẫu, được có mang là giá trị nhỏ độc nhất theo (mathbfx) của Lagrangian:<egineqnarrayg(lambda, u) &=và inf_mathbfx in mathcalD mathcalL(mathbfx, lambdomain authority, u)&=& inf_mathbfx in mathcalDleft( f_0(mathbfx) + sum_i=1^m lambda_if_i(mathbfx) + sum_j=1^p u_j h_j(mathbfx) ight)endeqnarray>

Nếu Lagrangian không biến thành chặn dưới, hàm đối ngẫu trên (lambdomain authority, u) đã đem quý hiếm (-infty).

điều đặc biệt quan trọng:

(inf) được đem bên trên miền (x in mathcalD), tức miền khẳng định của bài bác toán (là giao của miền xác định của các hàm vào bài xích toán). Miền khẳng định này khác cùng với feasible set. thường thì, feasible set là tập con của miền khẳng định (mathcalD).

3.3. Chặn bên dưới của giá trị về tối ưu

Nếu (p^*) là optimal value (quý giá về tối ưu) của bài bác toán thù ((9)), thì cùng với các biến chuyển đối ngẫu (lambda_i geq 0, forall i) cùng ( u) bất kỳ, bọn họ sẽ có: Tính hóa học này rất có thể được chứng tỏ dễ ợt. Giả sử (mathbfx_0) là 1 trong điểm feasible ngẫu nhiên của bài bác tân oán ((9)), tức thoả mãn các điều kiện buộc ràng (f_i(mathbfx_0) leq 0, forall i = 1, dots, m; h_j(mathbfx_0) = 0, forall j = 1, dots, p), ta sẽ có: Vì điều này đúng với tất cả (mathbfx_0) feasible, ta sẽ có tính chất quan trọng đặc biệt sau đây:

Khi (mathbfx_0 = mathbfx^*), ta gồm bất đẳng thức ((10)).

3.4. Ví dụ

ví dụ như 1

Xét bài tân oán tối ưu sau:<egineqnarray x=& argmin_x x^2 + 10sin(x) + 10 extsubject to:~& (x-2)^2 leq 4 endeqnarray>

Chú ý: Với bài xích toán này, miền xác định (mathcalD = mathbbR) nhưng feasible set là (0 leq x leq 4).

Với hàm phương châm là mặt đường đậm màu xanh lam vào Hình 1 dưới đây. Ràng buộc thực chất (0 leq x leq 4), tuy nhiên tôi viết làm việc dạng này để bài toán thù thêm phần thú vị. Hàm số ràng buộc (f_1(x) = (x-2)^2 - 4) được cho vày đường nét đứt greed color lục. Optimal value của bài bác tân oán này hoàn toàn có thể được nhận thấy là điểm bên trên đồ gia dụng thị bao gồm hoành độ bởi 0. Chụ ý rằng hàm phương châm ở chỗ này chưa hẳn là hàm lồi buộc phải bài tân oán buổi tối ưu này cũng chưa phải là lồi, tuy vậy hàm bất phương trình ràng buộc (f_1(x)) là lồi.

Xem thêm: Polo, Marco Polo Là Ai - Transactions, American Philosophical Society (Vol

Lagrangian của bài bác toàn này có dạng:Các mặt đường dấu chnóng màu đỏ vào Hình một là các mặt đường ứng cùng với các (lambdomain authority ) không giống nhau. Vùng bị ngăn giữa hai tuyến đường trực tiếp đứng color đen bộc lộ miền feasible của bài toán thù về tối ưu.


Chuyên mục: TỔNG HỢP
Bài viết liên quan

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *