The Forward Propagation Algorithm

在本節中，我們將學習如何編寫代碼來爲一個簡單的神經網絡進行正向傳播（預測）&負;

每個數據點都是客戶。第一個輸入是他們有多少帳戶，第二個輸入是他們有多少孩子。該模型將預測用戶在下一年進行多少交易。

輸入數據作爲輸入數據預加載，權重在稱爲權重的字典中。隱藏層中第一個節點的權重數組分別爲權重['node_0']，隱藏層中第二個節點的權重數組分別爲權重['node_1']。

輸入到輸出節點的權重以權重形式提供。

The Rectified Linear Activation Function

「激活功能」是在每個節點工作的功能。它將節點的輸入轉換爲一些輸出。

校正線性激活函數（稱爲ReLU）廣泛應用於高性能網絡。此函數將單個數字作爲輸入，如果輸入爲負，則返回0;如果輸入爲正，則輸入爲輸出。

下面是一些例子;

• relu(4) = 4
• relu(-2) = 0

我們填寫relu（）函數的定義−

• We use the max() function to calculate the value for the output of relu().
• We apply the relu() function to node_0_input to calculate node_0_output.
• We apply the relu() function to node_1_input to calculate node_1_output.

import numpy as np
input_data = np.array([-1, 2])
weights = {
   'node_0': np.array([3, 3]),
   'node_1': np.array([1, 5]),
   'output': np.array([2, -1])
}
node_0_input = (input_data * weights['node_0']).sum()
node_0_output = np.tanh(node_0_input)
node_1_input = (input_data * weights['node_1']).sum()
node_1_output = np.tanh(node_1_input)
hidden_layer_output = np.array(node_0_output, node_1_output)
output =(hidden_layer_output * weights['output']).sum()
print(output)

def relu(input):
   '''Define your relu activation function here'''
   # Calculate the value for the output of the relu function: output
   output = max(input,0)
      # Return the value just calculated
   return(output)
# Calculate node 0 value: node_0_output
node_0_input = (input_data * weights['node_0']).sum()
node_0_output = relu(node_0_input)

# Calculate node 1 value: node_1_output
node_1_input = (input_data * weights['node_1']).sum()
node_1_output = relu(node_1_input)

# Put node values into array: hidden_layer_outputs
hidden_layer_outputs = np.array([node_0_output, node_1_output])

# Calculate model output (do not apply relu)
odel_output = (hidden_layer_outputs * weights['output']).sum()
print(model_output)# Print model output

Output

0.9950547536867305
-3

Applying the network to many Observations/rows of data

在本節中，我們將學習如何定義名爲predict_with_network（）的函數。此函數將生成多個數據觀測的預測，從上述網絡獲取作爲輸入數據。正在使用上述網絡中給定的權重。relu（）函數定義也正在使用。

讓我們定義一個名爲predict_with_network（）的函數，它接受兩個參數-input_data_row和weights-並從網絡返回一個預測作爲輸出。

我們計算每個節點的輸入和輸出值，將它們存儲爲：node_0_輸入、node_0_輸出、node_1_輸入和node_1_輸出。

爲了計算節點的輸入值，我們將相關數組相乘並計算它們的和。

要計算節點的輸出值，我們將relu（）函數應用於節點的輸入值。我們使用「for循環」來疊代輸入的數據;

我們還使用predict_with_network（）爲input_data-input_data行的每一行生成預測。我們還將每個預測附加到結果中。

# Define predict_with_network()
def predict_with_network(input_data_row, weights):
   # Calculate node 0 value
   node_0_input = (input_data_row * weights['node_0']).sum()
   node_0_output = relu(node_0_input)
   
   # Calculate node 1 value
   node_1_input = (input_data_row * weights['node_1']).sum()
   node_1_output = relu(node_1_input)
   
   # Put node values into array: hidden_layer_outputs
   hidden_layer_outputs = np.array([node_0_output, node_1_output])
   
   # Calculate model output
   input_to_final_layer = (hidden_layer_outputs*weights['output']).sum()
   model_output = relu(input_to_final_layer)
# Return model output
   return(model_output)

# Create empty list to store prediction results
results = []
for input_data_row in input_data:
   # Append prediction to results
   results.append(predict_with_network(input_data_row, weights))
print(results)# Print results

Output

[0, 12]

這裡我們使用relu函數，其中relu（26）=26，relu（-13）=0，依此類推。

Deep multi-layer neural networks

在這裡，我們編寫代碼來做兩個隱藏層的神經網絡的正向傳播。每個隱藏層有兩個節點。輸入數據已預加載爲輸入數據。第一個隱藏層中的節點稱爲node_0_0和node_0_1。

它們的權重分別預加載爲權重['node_0_0']和權重['node_0_1']。

第二個隱藏層中的節點稱爲node_1_0和node_1_1。它們的權重分別預加載爲權重['node_1_0']和權重['node_1_1']。

然後，我們使用預先加載爲權重['output']的權重從隱藏節點創建模型輸出。

我們使用節點的權重和給定的輸入數據計算節點的輸入。然後應用relu（）函數獲取node_0_0_輸出。

我們對node_0_1_輸入執行上述操作，以獲取node_0_1_輸出。

我們使用節點的權重和第一個隱藏層的輸出計算節點的輸入。然後我們應用relu（）函數來獲取node_1_0_輸出。

我們對node_1_1_1_輸入執行上述操作，以獲得node_1_1_1_輸出。

我們使用權重[「output」]和來自第二隱藏層hidden_1_outputs數組的輸出計算模型_輸出。我們不對該輸出應用relu（）函數。