date_range 06/04/2020 23:34

1. Lý thuyết quyết định Bayes

• Đặt vấn đề: Một bài toán học có giám sát cho biết:
  • Không gian giả thuyết $H=\{h_1,h_2,...\}$
  • $P(h_i)$, $P(D|h_i)$ với $h_i \in H$, $D$ là dữ liệu quan sát được.

date_range 05/04/2020 16:25

2.3. Tối thiểu rủi ro thực nghiệm với xu hướng quy nạp

• Ở bài viết trước, chúng ta đã chứng minh phương pháp ERM có thể dẫn đến overfitting. Bây giờ chúng ta sẽ tìm cách cải thiện nó bằng việc tìm các điều kiện để đảm bảo ERM không bị overfit.
• Một trong những phương pháp chung khi thực hiện ERM là giới hạn không gian tìm kiếm. Cụ thể, bộ học sẽ chọn trước một tập các hàm dự đoán (trước khi nhìn thấy dữ liệu). Tập các hàm dự đoán này gọi là "không gian giả thuyết" (hypothesis class), ký hiệu là $H$. Mỗi hàm $h\in H$ ánh xạ $X\to Y$. Cho trước $S$ và $H$, bộ học $ERM_H$ sử dụng ERM chọn ra hàm dự đoán $h\in H$ sao cho lỗi trên $S$ nhỏ nhất:
  $$ERM_H(S)\in \arg \min_{h\in H}L_S(h)$$
• Lựa chọn không gian hạn chế lý tưởng khi có hiểu biết trước về vấn đề cần học. Ví dụ, về vấn đề dự đoán trái đu đủ chín hay chưa (đã đề cập ở bài viết trước), chúng ta có thể chọn giả thuyết $H$ là tập các hình chữ nhật (với các cạnh song song với $2$ trục). Ở phần dưới, chúng ta sẽ chứng minh $ERM_H$ cho không gian giả thuyết này không bị overfit.
• Câu hỏi đặt ra bây giờ là: Không gian giả thuyết như nào thì giúp $ERM_H$ tránh được overfitting? Hãy cùng nhau khám phá ở phần còn lại của bài viết.

date_range 04/04/2020 22:52

1.1. Đường cong phù hợp

• Chúng ta bắt đầu bằng một ví dụ hồi quy đơn giản. Giả sử ta quan sát các dữ liệu với đầu vào $x$ và đầu ra là $t$ ($x$, $t$ $\in R$).
  • Ví dụ dữ liệu được sinh ra từ hàm $\sin(2\pi x)$ ($x\in[0;1]$) với giá trị đích ($t$) bị ảnh hưởng bởi nhiễu Gauss.

date_range 03/04/2020 15:25

2.2. Tối thiểu rủi ro thực nghiệm

• Như đã đề cập ở phần trước, một thuật toán học có đầu vào là tập huấn luyện $S$ được lấy mẫu bởi phân bố $D$ không biết trước và được gán nhãn bằng hàm $f$. Đầu ra của thuật toán học là hàm dự đoán $h_S:X\to Y$. Mục đích của thuật toán là tìm hàm $h_S$ với sai số trên $D$ là nhỏ nhất.

date_range 22/03/2020 15:25

2.1 Mô hình Học thống kê

• Input:
  • Miền giá trị đầu vào: Một tập $X$ bất kỳ, tập các đối tượng mà ta muốn gán nhãn.
  • Miền giá trị nhãn: $Y$, gồm hai lớp, thường là $\{0,1\}$ hoặc $\{-1,+1\}$​.
  • Dữ liệu huấn luyện: $S=\{(x_1,y_1)...(x_m,y_m)\}$ là tập hữu hạn các dữ liệu trên miền $X\times Y$.