机器学习进阶笔记之一 | TensorFlow安装与入门

  引言     TensorFlow是Google基于DistBelief进行研发的第二代人工智能学习系统,被广泛用于语音识别或图像识别等多项机器深度学习领域。其命名来源于本身的运行原理。Tensor(张量)意味...
机器学习进阶笔记之一 | TensorFlow安装与入门 
引言
 
  TensorFlow是Google基于DistBelief进行研发的第二代人工智能学习系统,被广泛用于语音识别或图像识别等多项机器深度学习领域。其命名来源于本身的运行原理。Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow代表着张量从图象的一端流动到另一端计算过程,是将复杂的数据结构传输至人工智能神经网中进行分析和处理的过程。
 
  TensorFlow完全开源,任何人都可以使用。可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。
 
  『机器学习进阶笔记』系列是将深入解析TensorFlow系统的技术实践,从零开始,由浅入深,与大家一起走上机器学习的进阶之路。
 
CUDA与TensorFlow安装
 
  按以往经验,TensorFlow安装一条pip命令就可以解决,前提是有fq工具,没有的话去找找墙内别人分享的地址。而坑多在安装支持gpu,需预先安装英伟达的cuda,这里坑比较多,推荐使用ubuntu deb的安装方式来安装cuda,run.sh的方式总感觉有很多问题,cuda的安装具体可以参考。 注意链接里面的tensorflow版本是以前的,tensorflow 现在官方上的要求是cuda7.5+cudnnV4,请在安装的时候注意下。
 
Hello World
  1.  import tensorflow as tf
  2.  hello = tf.constant('Hello, TensorFlow!')
  3.  sess = tf.Session()
  4.  print sess.run(hello)

   首先,通过tf.constant创建一个常量,然后启动Tensorflow的Session,调用sess的run方法来启动整个graph。

 

  接下来我们做下简单的数学的方法:

  1.  import tensorflow as tf
  2.  a = tf.constant(2)
  3.  b = tf.constant(3)
  4.  with tf.Session() as sess:
  5.      print "a=2, b=3"
  6.      print "Addition with constants: %i" % sess.run(a+b)
  7.      print "Multiplication with constants: %i" % sess.run(a*b)
  8.  # output
  9.  a=2, b=3
  10.  Addition with constants: 5
  11.  Multiplication with constants: 6

   接下来用tensorflow的placeholder来定义变量做类似计算:

 

   placeholder的使用见https://www.tensorflow.org/versions/r0.8/api_docs/python/io_ops.html#placeholder

  1.  import tensorflow as tf
  2.  a = tf.placeholder(tf.int16)
  3.  b = tf.placeholder(tf.int16)
  4.  add = tf.add(a, b)
  5.  mul = tf.mul(a, b)
  6.  with tf.Session() as sess:
  7.      # Run every operation with variable input
  8.      print "Addition with variables: %i" % sess.run(add, feed_dict={a: 2, b: 3})
  9.      print "Multiplication with variables: %i" % sess.run(mul, feed_dict={a: 2, b: 3})
  10.  # output:
  11.  Addition with variables: 5
  12.  Multiplication with variables: 6
  13.  matrix1 = tf.constant([[3., 3.]])
  14.  matrix2 = tf.constant([[2.],[2.]])
  15.  with tf.Session() as sess:
  16.      result = sess.run(product)
  17.      print result

 线性回归

 

  以下代码来自GitHub - aymericdamien/TensorFlow-Examples: TensorFlow Tutorial and Examples for beginners,仅作学习用

  1.  import tensorflow as tf
  2.  import numpy
  3.  import matplotlib.pyplot as plt
  4.  rng = numpy.random

  5.  # Parameters
  6.  learning_rate = 0.01
  7.  training_epochs = 2000
  8.  display_step = 50

  9.  # Training Data
  10.  train_X = numpy.asarray([3.3,4.4,5.5,6.71,6.93,4.168,9.779,6.182,7.59,2.167,7.042,10.791,5.313,7.997,5.654,9.27,3.1])
  11.  train_Y = numpy.asarray([1.7,2.76,2.09,3.19,1.694,1.573,3.366,2.596,2.53,1.221,2.827,3.465,1.65,2.904,2.42,2.94,1.3])
  12.  n_samples = train_X.shape[0]

  13.  # tf Graph Input
  14.  X = tf.placeholder("float")
  15.  Y = tf.placeholder("float")

  16.  # Create Model

  17.  # Set model weights
  18.  W = tf.Variable(rng.randn(), name="weight")
  19.  b = tf.Variable(rng.randn(), name="bias")

  20.  # Construct a linear model
  21.  activation = tf.add(tf.mul(X, W), b)

  22.  # Minimize the squared errors
  23.  cost = tf.reduce_sum(tf.pow(activation-Y, 2))/(2*n_samples) #L2 loss
  24.  optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost) #Gradient descent

  25.  # Initializing the variables
  26.  init = tf.initialize_all_variables()

  27.  # Launch the graph
  28.  with tf.Session() as sess:
  29.      sess.run(init)

  30.      # Fit all training data
  31.      for epoch in range(training_epochs):
  32.          for (x, y) in zip(train_X, train_Y):
  33.              sess.run(optimizer, feed_dict={X: x, Y: y})

  34.          #Display logs per epoch step
  35.          if epoch % display_step == 0:
  36.              print "Epoch:", '%04d' % (epoch+1), "cost=", \
  37.                  "{:.9f}".format(sess.run(cost, feed_dict={X: train_X, Y:train_Y})), \
  38.                  "W=", sess.run(W), "b=", sess.run(b)

  39.      print "Optimization Finished!"
  40.      print "cost=", sess.run(cost, feed_dict={X: train_X, Y: train_Y}), \
  41.            "W=", sess.run(W), "b=", sess.run(b)

  42.      #Graphic display
  43.      plt.plot(train_X, train_Y, 'ro', label='Original data')
  44.      plt.plot(train_X, sess.run(W) * train_X + sess.run(b), label='Fitted line')
  45.      plt.legend()
  46.      plt.show()
  47. 逻辑回归

    1.  import tensorflow as tf
    2.  # Import MINST data
    3.  from tensorflow.examples.tutorials.mnist import input_data
    4.  mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)

    5.  # Parameters
    6.  learning_rate = 0.01
    7.  training_epochs = 25
    8.  batch_size = 100
    9.  display_step = 1

    10.  # tf Graph Input
    11.  x = tf.placeholder(tf.float32, [None, 784]) # mnist data image of shape 28*28=784
    12.  y = tf.placeholder(tf.float32, [None, 10]) # 0-9 digits recognition => 10 classes

    13.  # Set model weights
    14.  W = tf.Variable(tf.zeros([784, 10]))
    15.  b = tf.Variable(tf.zeros([10]))

    16.  # Construct model
    17.  pred = tf.nn.softmax(tf.matmul(x, W) + b) # Softmax

    18.  # Minimize error using cross entropy
    19.  cost = tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred), reduction_indices=1))
    20.  # Gradient Descent
    21.  optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)

    22.  # Initializing the variables
    23.  init = tf.initialize_all_variables()

    24.  # Launch the graph
    25.  with tf.Session() as sess:
    26.      sess.run(init)

    27.      # Training cycle
    28.      for epoch in range(training_epochs):
    29.          avg_cost = 0.
    30.          total_batch = int(mnist.train.num_examples/batch_size)
    31.          # Loop over all batches
    32.          for i in range(total_batch):
    33.              batch_xs, batch_ys = mnist.train.next_batch(batch_size)
    34.              # Run optimization op (backprop) and cost op (to get loss value)
    35.              _, c = sess.run([optimizer, cost], feed_dict={x: batch_xs,
    36.                                                            y: batch_ys})
    37.              # Compute average loss
    38.              avg_cost += c / total_batch
    39.          # Display logs per epoch step
    40.          if (epoch+1) % display_step == 0:
    41.              print "Epoch:", '%04d' % (epoch+1), "cost=", "{:.9f}".format(avg_cost)

    42.      print "Optimization Finished!"

    43.      # Test model
    44.      correct_prediction = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1))
    45.      # Calculate accuracy
    46.      accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
    47.      print "Accuracy:", accuracy.eval({x: mnist.test.images, y: mnist.test.labels})

    48.      # result :
    49.      Epoch: 0001 cost= 29.860467369
    50.      Epoch: 0002 cost= 22.001451784
    51.      Epoch: 0003 cost= 21.019925554
    52.      Epoch: 0004 cost= 20.561320320
    53.      Epoch: 0005 cost= 20.109135756
    54.      Epoch: 0006 cost= 19.927862290
    55.      Epoch: 0007 cost= 19.548687116
    56.      Epoch: 0008 cost= 19.429119071
    57.      Epoch: 0009 cost= 19.397068211
    58.      Epoch: 0010 cost= 19.180813479
    59.      Epoch: 0011 cost= 19.026808132
    60.      Epoch: 0012 cost= 19.057875510
    61.      Epoch: 0013 cost= 19.009575057
    62.      Epoch: 0014 cost= 18.873240641
    63.      Epoch: 0015 cost= 18.718575359
    64.      Epoch: 0016 cost= 18.718761925
    65.      Epoch: 0017 cost= 18.673640560
    66.      Epoch: 0018 cost= 18.562128253
    67.      Epoch: 0019 cost= 18.458205289
    68.      Epoch: 0020 cost= 18.538211225
    69.      Epoch: 0021 cost= 18.443384213
    70.      Epoch: 0022 cost= 18.428727668
    71.      Epoch: 0023 cost= 18.304270616
    72.      Epoch: 0024 cost= 18.323529782
    73.      Epoch: 0025 cost= 18.247192113
    74.      Optimization Finished!
    75.      (10000, 784)
    76.      Accuracy 0.9206







    77. 这里有个小插曲,ipython notebook在一个notebook打开时,一直在占用GPU资源,可能是之前有一个notebook一直打开着,然后占用着GPU资源,然后在计算Accuracy的”InternalError: Dst tensor is not initialized.” 然后找了github上面也有这个问题InternalError: Dst tensor is not initialized.,可以肯定是GPU的memory相关的问题,所以就尝试加上tf.device(‘/cpu:0’),将Accuracy这步拉到cpu上计算,但是又出现OOM的问题,最后nvidia-smi时,发现有一个python脚本一直占用3g多的显存,把它kill之后恢复了,之前还比较吐槽怎么可能10000*784个float就把显存撑爆呢,原来是自己的问题。
    78.  

        这里逻辑回归,model是一个softmax函数用来做多元分类,大概意思是选择10当中最后预测概率最高作为最终的分类。

       

        其实基本的tensorflow没有特别好讲的,语法的课程什么可以去看看基本的文档,之后我会找一点经典有趣的tensorflow的代码应用来看看,毕竟『show me the code 』才是程序猿应有的态度。

       

        本文由『UCloud内核与虚拟化研发团队』提供。

  • 发表于 2020-10-07 19:59
  • 阅读 ( 693 )
  • 分类:默认分类

0 条评论

请先 登录 后评论
admin
admin

7 篇文章

作家榜 »

  1. admin 7 文章
  2. superstar 0 文章