Neural Network Là Gì

     

Bài trước học tập về thuật toán logistic regression với giá trị cổng đầu ra là nhị phân. Mặc dù nhiên, logistic regression là một mô hình neural network đối chọi giản, bài bác này vẫn học mô hình neural network đầy đủ.

Bạn đang xem: Neural network là gì

Bạn nên hoàn thành 2 bài xích trước linear regression và logistic regression trước lúc vào bài này. Trong bài này có rất nhiều kí hiệu và công thức, nên các bạn nên chuẩn bị giấy cây viết để bắt đầu.


Neural network là gì

Con chó rất có thể phân biệt được người thân trong gia đình trong gia đình và người lạ tốt đứa trẻ hoàn toàn có thể phân biệt được những con vật. Số đông việc tưởng chừng như rất dễ dàng và đơn giản nhưng lại rất là khó để thực hiện bằng trang bị tính. Vậy sự khác hoàn toàn nằm sống đâu? Câu trả lời nằm ở khối óc với lượng lớn các nơ-ron thần kinh liên kết với nhau. Vắt thì máy tính xách tay có buộc phải mô rộp lại quy mô ấy để giải những bài toán bên trên ???

Neural là tính tự của neuron (nơ-ron), network chỉ kết cấu đồ thị bắt buộc neural network (NN) là một hệ thống tính toán lấy cảm hứng từ sự buổi giao lưu của các nơ-ron vào hệ thần kinh.

Hoạt động của các nơ-ron


*

Để màn trình diễn gọn lại ta vẫn gộp hai bước trên thành một bên trên biểu đồ


*
Mô hình neural network

Layer trước tiên là input layer, những layer trung tâm được call là hidden layer, layer ở đầu cuối được điện thoại tư vấn là output đầu ra layer. Các hình tròn trụ được hotline là node.

Mỗi mô hình luôn có 1 input layer, 1 output layer, hoàn toàn có thể có hoặc không những hidden layer. Toàn bô layer trong mô hình được quy ước là số layer – 1 (Không tính đầu vào layer).

Ví dụ như ở hình trên có 1 input layer, 2 hidden layer cùng 1 output layer. Số lượng layer của mô hình là 3 layer.

Mỗi node trong hidden layer với output layer :

Liên kết với toàn bộ các node sinh hoạt layer trước kia với các hệ số w riêng.Mỗi node có 1 hệ số bias b riêng.Diễn ra 2 bước: tính tổng linear và vận dụng activation function.

Kí hiệu

Số node trong hidden layer thứ i là l^(i).

Ma trận W^(k) size l^(k-1) * l^(k) là ma trận thông số giữa layer (k-1) với layer k, trong những số đó w_ij^(k) là hệ số kết nối từ node trang bị i của layer k-1 mang lại node máy j của layer k.

Vector b^(k) size l^k * 1 là hệ số bias của các node vào layer k, trong những số ấy b_i^(k) là bias của node thiết bị i vào layer k.

Với node sản phẩm công nghệ i vào layer l bao gồm bias b_i^(l)thực hiện tại 2 bước:

Tính tổng linear: z_i^(l) = sum_j=1^l^(l-1) a_j^(l-1) * w_ji^(l) + b_i^(l) , là tổng tất cả các node trong layer trước nhân với hệ số w tương ứng, rồi cộng với bias b.Áp dụng activation function: a_i^(l) = sigma(z_i^(l))

Vector z^(k) form size l^(k) * một là giá trị các node trong layer k sau bước tính tổng linear.

Vector a^(k) kích thước l^(k) * một là giá trị của các node trong layer k sau khi áp dụng hàm activation function.


*

Tương tự ta có:

z^(2) = (W^(2))^T * a^(1) + b^(2) ewline a^(2) = sigma(z^(2)) ewline z^(3) = (W^(3))^T * a^(2) + b^(3) ewline haty = a^(3) = sigma(z^(3))
*

Do đó


*

Vậy là rất có thể tính giá tốt trị dự đoán của đa số dữ liệu 1 cơ hội dưới dạng ma trận.

Xem thêm: Cách Làm Thời Khóa Biểu Trên Excel 4/2022, Cách Tạo Mẫu Thời Khóa Biểu Tự Động Trong Excel

Giờ từ đầu vào X ta có thể tính được giá trị dự đoán hatY, tuy vậy việc thiết yếu cần làm cho là đi kiếm hệ số W cùng b. Hoàn toàn có thể nghĩ ngay tới thuật toán gradient descent với việc quan trọng đặc biệt nhất trong thuật toán gradient descent là đi tìm đạo hàm của những hệ số so với loss function. Và câu hỏi tính đạo hàm của các hệ số trong neural network được triển khai bởi thuật toán backpropagation, sẽ được giới thiệu ở bài xích sau. Cùng vì bài bác này có rất nhiều công thức sợ mọi tín đồ rối nên code sẽ tiến hành để ở bài bác sau.

Logistic regression cùng với toán tử XOR

Phần này sẽ không bắt buộc, nó giúp lý giải việc có rất nhiều layer hơn thế thì mô hình có vẻ sẽ giải quyết và xử lý được những bài toán phức hợp hơn. Cụ thể là mô hình logistic regresion bài trước không biểu diễn được toán tử XOR nhưng mà nếu thêm một hidden layer với 2 node trung tâm input layer với output layer thì rất có thể biểu diễn được toán tử XOR.

AND, OR, XOR là các phép toán triển khai phép tính bên trên bit. Nỗ lực bit là gì? bạn không cần quan tâm, chỉ cần phải biết mỗi bit nhận một trong 2 quý hiếm là 0 hoặc 1.

NOT

Phép tính NOT của một bit đã tạo ra giá trị ngược lại.

ANOT(A)
10
01

AND

Phép tính & của 2 bit cho giá trị 1 nếu cả 2 bit bằng 1 và đến giá trị bởi 0 trong số trường phù hợp còn lại. Bảng chân lý

ABA và B
000
010
100
111

Giờ muốn máy tính học toán tử AND, ta thấy là hiệu quả là 0 cùng 1, yêu cầu nghĩ ngay mang lại logistic regression cùng với dữ liệu

x_1x_2y
000
010
100
111

*
Hình 1: x_1 và x_2
*
Hình 2: NOT (x_1 và x_2)

OR

Phép tính OR của 2 bit mang lại giá trị 1 nếu 1 trong các 2 bit bởi 1 và đến giá trị bằng 0 trong những trường thích hợp còn lại. Bảng chân lý

ABA OR B
000
011
101
111

Tương từ ta cũng kiếm được w_0 = -0.5, w_1 = 1, w_2 = 1


*
Mô hình XOR

Nhìn có vẻ rối nhỉ, cùng phân tích nhé:

node NOT(x_1 & x_2) đó là từ hình 2, với 3 mũi thương hiệu chỉ tới từ 1, x_1, x_2 với thông số w_0, w_1, w_2 tương ứng là 1.5, -1, -1.node tính x_1 OR x_2 là trường đoản cú hình 3 node trong đầu ra layer là phép tính và từ 2 node của layer trước, giá chỉ trị thông số từ hình 1 mang xuống.

Xem thêm: Trà Giảm Cân Tiến Hạnh Bị Bắt, Lật Tẩy Sự Thật Thảo Mộc Tiến Hạnh Lừa Đảo

Nhận xét: quy mô logistic regression không xử lý được việc XOR tuy vậy mô mình mới thì xử lý được câu hỏi XOR. Đâu là sự việc khác nhau:

Logistic regression chỉ có từ input layer cùng output layerMô hình mới có một hidden layer có 2 node trọng tâm input layer và output layer

=> Có vẻ càng nhiều layer và node thì càng giải quyết và xử lý được các bài toán tinh vi hơn.