Lời mnghỉ ngơi đầu

Lúc mới ban đầu bước vào thế giới của ML/DL họ sẽ phát hiện những thuật ngữ Epoch - Batch form size với Iterations. Và sẽ Cảm Xúc hoảng sợ vì chưng chúng rất giống nhau, tuy nhiên thực tiễn là bọn chúng khác xa nhau chừng.

Bạn đang xem: Epoch là gì

Để hiểu rõ sự khác hoàn toàn thân chúng, các bạn nên tìm hiểu một số trong những có mang trong machine learning như Gradient Descent.

Định nghĩa ngắn gọn của Gradient Descent:

Gradient Descent là thuật toán thù lặp về tối ưu (iteractive sầu optimization algorithm) được áp dụng vào machine learning để tra cứu hiệu quả tốt nhất có thể (minima of a curve).

Trong đó:..* Gradient có nghĩa là phần trăm của độ nghiêm của mặt đường dốc.

..* Descent là từ bỏ viết tắt của decending - tức là sút.

Thuật toán đã lặp đi lặp lại những lần để tìm thấy được kết quả buổi tối ưu.

*

https://medium.com/onfido-tech/machine-learning-101-be2e0a86c96a Nguồn ảnh

Thuật toán thù gradient Descent gồm một tđắm say số là learning rate. Nlỗi hình phía trên phía bên trái, lúc đầu bước khiêu vũ khá bự, nghĩa là quý hiếm learning rate bự, và sau đó 1 vài lần lặp, điểm chnóng Đen trở xuống dần dần, và cực hiếm learning rate nhỏ tuổi dần theo.

Chúng ta sử dụng thuật ngữ epochs, batch form size, iterations Lúc dữ liệu của chúng ta thừa (rất) béo (vd 10 triệu mẫu). Lúc bấy giờ các khái niệm bên trên new trsinh sống đề nghị ví dụ, còn cùng với ngôi trường thích hợp tài liệu nhỏ dại thì chúng khá tương tự như nhau.

Khái niện Epoch

Một Epoch được xem là khi chúng ta đưa tất cả tài liệu vào mạng neural network 1 lần.

khi dữ liệu quá to, bọn họ quan yếu đưa không còn mỗi lần tất cả tập tài liệu vào nhằm giảng dạy được. Buộc lòng họ đề nghị phân chia nhỏ tập tài liệu ra thành những batch (form size nhỏ hơn).

Tại sao yêu cầu cần sử dụng rộng 1 Epoch.

Xem thêm: Gold Membership Lol Là Gì - Yêu Cầu Và Quyền Lợi Của Gold Membership

Câu trả lời nghỉ ngơi đây là trên bởi bọn họ sẽ dùng thuật toán thù về tối ưu là Gradient Descent. Thuật toán thù này yên cầu bọn họ nên rước toàn bộ tài liệu qua mạng một vài ba lần để tìm kiếm được kết quả về tối ưu. Vì vậy, dùng 1 epoch thiệt sự không đủ để tìm được công dụng cực tốt.

Với câu hỏi chỉ áp dụng 1 lần lặp, tỷ lệ rất to lớn là dữ liệu sẽ bị underfitting(nlỗi hình biểu lộ bên dưới).

*

lúc số lần lặp tăng mạnh, tâm trạng của mô hình đang chuyển dần dần tự underfitting sang optimal cùng tiếp đến là overfitting (thông thường là vậy, trừ lúc quy mô đào tạo của doanh nghiệp đang thực hiện quá đơn giản và dễ dàng, thừa không nhiều trọng số thì chúng quan yếu nào overfitting nổi).

Chúng ta có thể dùng 1 epoch để giảng dạy mô hình, cùng với ĐK là ta sử dụng thuật toán thù về tối ưu chưa phải là gradient descent.

Số lần lặp về tối ưu là bao nhiêu?

Tiếc rằng không tồn tại câu vấn đáp mang đến thắc mắc này. Prúc ở trong trọn vẹn vào tập dữ liệu của công ty đang xuất hiện.

Batch Size

Batch size là con số chủng loại tài liệu trong một batch.

Tại trên đây, quan niệm batch kích cỡ và số lượng batch(number of batch) là hoàn toàn khác biệt.

Nhỏng đang nói trên, bọn họ chẳng thể đưa hết toàn cục dữ liệu vào huấn luyện trong 1 epoch, vì chưng vậy bọn họ cần được phân chia tập tài liệu thành các phần (number of batch), từng phần bao gồm form size là batch size.

Iterations

Iterations là con số batchs bắt buộc để dứt 1 epoch.

lấy ví dụ chúng ta tất cả tập tài liệu tất cả đôi mươi,000 mẫu mã, batch size là 500, vậy chúng ta phải 40 lần lặp (iteration) nhằm xong xuôi 1 epoch.

Cảm ơn các bạn đang theo dõi và quan sát nội dung bài viết.

Bài viết liên quan

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *