TensorFlow笔记之神经网络优化——损失函数

    =0 \\end{Bmatrix}\" class=\"mathcode\" src=\"https://img.it610.com/image/info8/131997855a764884840e7cd88bb96006.gif\" width=\"268\" height=\"44\">
② sigmoid：在TensorFlow中，用tf.nn.sigmoid()表示
    
③ tanh：在TensorFlow中，用tf.nn.tanh()表示
   

#coding:utf-8
#预测多或预测少的影响一样
#0 导入模块，生成数据集
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8
SEED = 23455

rdm = np.random.RandomState(SEED)
X = rdm.rand(32,2)
Y = [[x1+x2+(rdm.rand()/10.0-0.05)] for (x1, x2) in X]

#1 定义神经网络的输入、参数和输出，定义前向传播过程
x = tf.placeholder(tf.float32, shape=(None, 2))
y_= tf.placeholder(tf.float32, shape=(None, 1))

w1 = tf.Variable(tf.random_normal([2,1], stddev=1, seed=1))

y = tf.matmul(x,w1)

#2 定义损失函数及反响传播方法
#定义损失函数为MES，反响传播方法为梯度下降
loss_mes = tf.reduce_mean(tf.square(y_-y))
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss_mes)

#3 生成会话，训练STEPS轮
with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    STEPS = 20000
    for i in range(STEPS):
        start = (i*BATCH_SIZE) % 32
        end = start + BATCH_SIZE
        sess.run(train_step, feed_dict={x:X[start:end], y_:Y[start:end]})
        if i % 500 == 0:
            print \"After %d training steps, w1 is: \" %i
            print sess.run(w1)

    print \"Finam w1 is: \\n\", sess.run(w1)

\"\"\"
Finam w1 is: 
[[0.98019385]
 [1.0159807 ]]
\"\"\"

        可以看到，神经网络模型得到最终参数w1=0.98，w2=1.02，销售预测结果为y=0.98*x1+1.02*x2。由于在生成数据集时，标准答案为y=x1+x2，因此，销售量预测结果和标准答案已经非常接近，说明该神经网络预测酸奶销售量正确。
②自定义损失函数：根据问题的实际情况，定制合理的损失函数。
       例如：对于预测酸奶的销售量问题，如果预测销量大于实际销量，则会损失成本；如果预测销量小于实际销量，则会损失例如。在实际生活中，往往制造一盒酸奶的成本和销售一盒酸奶的利润是不等价的。因此，需要使用符合该问题的自定义损失函数。
       自定义成分段函数：
              


       损失函数表示，若预测结果y小于标准答案y_，损失函数为利润乘以预测结果y与标准答案之差；若预测结果y大于标准答案y_，损失函数为成本乘以预测结果y与标准答案y_之差。
       用TensorFlow函数表示为：loss_mes = tf.reduce_sum(tf.where(tf.greater(y,y_), (y - y_)*COST, (y_-y)*PROFIT))
       若酸奶成本为1元，酸奶销售利润为9元，则制造成本小于酸奶利润，因此，希望预测结果y多一些。采用上述的自定义损失函数，训练神经网络模型。代码如下：
       

#coding:utf-8
#预测多或预测少的影响一样
#0 导入模块，生成数据集
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8
SEED = 23455
COST = 1
PROFIT = 9

rdm = np.random.RandomState(SEED)
X = rdm.rand(32,2)
Y = [[x1+x2+(rdm.rand()/10.0-0.05)] for (x1, x2) in X]

#1 定义神经网络的输入、参数和输出，定义前向传播过程
x = tf.placeholder(tf.float32, shape=(None, 2))
y_= tf.placeholder(tf.float32, shape=(None, 1))

w1 = tf.Variable(tf.random_normal([2,1], stddev=1, seed=1))

y = tf.matmul(x,w1)

#2 定义损失函数及反响传播方法
#定义损失函数为MES，反响传播方法为梯度下降
loss_mes = tf.reduce_sum(tf.where(tf.greater(y,y_), (y - y_)*COST, (y_-y)*PROFIT))
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss_mes)

#3 生成会话，训练STEPS轮
with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    STEPS = 20000
    for i in range(STEPS):
        start = (i*BATCH_SIZE) % 32
        end = start + BATCH_SIZE
        sess.run(train_step, feed_dict={x:X[start:end], y_:Y[start:end]})
        if i % 500 == 0:
            print \"After %d training steps, w1 is: \" %i
            print sess.run(w1)

    print \"Finam w1 is: \\n\", sess.run(w1)
\"\"\"
Final w1 is: 
[[1.020171 ]
 [1.0425103]]
\"\"\"

       若成本为9元，利润为一元，只需更改COST和PROFIT的值即可。运行结果如下：
 

\"\"\"
Final w1 is: 
[[0.9661967 ]
 [0.97694933]]
\"\"\"

③交叉熵：表示两个概率分布之间的距离。交叉熵越大，两个概率分布之间的距离越远，连个概率分布越相异；交叉熵越小，两个概率分布距离越近，两个概率分布越相似。
       交叉熵计算公式：
       用TensorFlow函数表示为：ce= -tf.reduce_mean(y_* tf.log(tf.clip_by_value(y, 1e-12, 1.0)))
       例如：两个神经网络模型解决二分类问题中，已知标准答案为 y_ = (1, 0)，第一个神经网络模型预测结果为
y1=(0.6, 0.4)，第二个神经网络模型预测结果为 y2=(0.8, 0.2)，判断哪个神经网络模型预测的结果更接
近标准答案。
       根据交叉熵的计算公式得：
       H1((1,0),(0.6,0.4)) = -(1*log0.6 + 0*log0.4) ≈ -(-0.222 + 0) = 0.222
       H2((1,0),(0.8,0.2)) = -(1*log0.8 + 0*log0.2) ≈ -(-0.097 + 0) = 0.097
       由于 0.222>0.097，所以预测结果 y2 与标准答案 y_更接近， y2 预测更准确。
④softmax函数：将n分类的n个输出（y1,y2,...,yn）变为满足以下概率分布要求的函数。
       
       softmax函数表示为：
       softmax函数应用：在n分类中，模型会有n个输出，即y1,y2,...,yn，其中 yi 表示第 i 种情况出现的可能性大小。将 n 个输出经过softmax函数，课得到符合概率分布的分类结果。
       【实际运用】在Tensorflow中，一般让模型的输出经过softmax函数，以获得输出分类的概率分布，再与标准答案对比，求出交叉熵，得到损失函数，用余下函数实现：
 

ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))
cem = tf.reduce_mean(ce