電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程3.2之面向?qū)ο蟮脑O(shè)計實現(xiàn)

PyTorch教程3.2之面向?qū)ο蟮脑O(shè)計實現(xiàn)

2513222 2023-06-05 | pdf | 0.22 MB | 次下載 | 免費

資料介紹

在我們對線性回歸的介紹中，我們介紹了各種組件，包括數(shù)據(jù)、模型、損失函數(shù)和優(yōu)化算法。事實上，線性回歸是最簡單的機器學習模型之一。然而，訓(xùn)練它使用許多與本書中其他模型所需的組件相同的組件。因此，在深入了解實現(xiàn)細節(jié)之前，有必要設(shè)計一些貫穿本書的 API。將深度學習中的組件視為對象，我們可以從為這些對象及其交互定義類開始。這種面向?qū)ο蟮膶崿F(xiàn)設(shè)計將極大地簡化演示，您甚至可能想在您的項目中使用它。

受PyTorch Lightning等開源庫的啟發(fā)，在高層次上我們希望擁有三個類：(i)Module包含模型、損失和優(yōu)化方法；(ii)DataModule提供用于訓(xùn)練和驗證的數(shù)據(jù)加載器；(iii) 兩個類結(jié)合使用該類 Trainer，這使我們能夠在各種硬件平臺上訓(xùn)練模型。本書中的大部分代碼都改編自Moduleand DataModule。Trainer只有在討論 GPU、CPU、并行訓(xùn)練和優(yōu)化算法時，我們才會涉及該類。

						import time
import numpy as np
import torch
from torch import nn
from d2l import torch as d2l

						 

						import time
import numpy as np
from mxnet.gluon import nn
from d2l import mxnet as d2l

						 

						import time
from dataclasses import field
from typing import Any
import jax
import numpy as np
from flax import linen as nn
from flax.training import train_state
from jax import numpy as jnp
from d2l import jax as d2l

						 

						No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

					

						import time
import numpy as np
import tensorflow as tf
from d2l import torch as d2l

						 

3.2.1. 公用事業(yè)

我們需要一些實用程序來簡化 Jupyter 筆記本中的面向?qū)ο?a target='_blank' class='arckwlink_none'>編程。挑戰(zhàn)之一是類定義往往是相當長的代碼塊。筆記本電腦的可讀性需要簡短的代碼片段，穿插著解釋，這種要求與 Python 庫常見的編程風格不相容。第一個實用函數(shù)允許我們在創(chuàng)建類后將函數(shù)注冊為類中的方法。事實上，即使我們已經(jīng)創(chuàng)建了類的實例，我們也可以這樣做！它允許我們將一個類的實現(xiàn)拆分成多個代碼塊。

					def add_to_class(Class): #@save
  """Register functions as methods in created class."""
  def wrapper(obj):
    setattr(Class, obj.__name__, obj)
  return wrapper

					 

讓我們快速瀏覽一下如何使用它。我們計劃 A用一個方法來實現(xiàn)一個類do。我們可以先聲明類并創(chuàng)建一個實例，而不是在同一個代碼塊中A同時擁有兩者的代碼。doAa

					class A:
  def __init__(self):
    self.b = 1

a = A()

do接下來我們像往常一樣定義方法，但不在 classA的范圍內(nèi)。相反，我們add_to_class用類A作為參數(shù)來裝飾這個方法。這樣做時，該方法能夠訪問的成員變量，A正如我們所期望的那樣，如果它已被定義為的A定義的一部分。讓我們看看當我們?yōu)閷嵗{(diào)用它時會發(fā)生什么a。

							@add_to_class(A)
def do(self):
  print('Class attribute "b" is', self.b)

a.do()

							Class attribute "b" is 1

						

							@add_to_class(A)
def do(self):
  print('Class attribute "b" is', self.b)

a.do()

							Class attribute "b" is 1

						

							@add_to_class(A)
def do(self):
  print('Class attribute "b" is', self.b)

a.do()

							Class attribute "b" is 1

						

							@add_to_class(A)
def do(self):
  print('Class attribute "b" is', self.b)

a.do()

							Class attribute "b" is 1

						

第二個是實用程序類，它將類 __init__方法中的所有參數(shù)保存為類屬性。這使我們無需額外代碼即可隱式擴展構(gòu)造函數(shù)調(diào)用簽名。

					class HyperParameters: #@save
  """The base class of hyperparameters."""
  def save_hyperparameters(self, ignore=[]):
    raise NotImplemented

					 

我們將其實施推遲到第 23.7 節(jié)。HyperParameters要使用它，我們定義繼承自該方法并調(diào)用 save_hyperparameters該方法的類__init__。

							# Call the fully implemented HyperParameters class saved in d2l
class B(d2l.HyperParameters):
  def __init__(self, a, b, c):
    self.save_hyperparameters(ignore=['c'])
    print('self.a =', self.a, 'self.b =', self.b)
    print('There is no self.c =', not hasattr(self, 'c'))

b = B(a=1, b=2, c=3)

							 

							self.a = 1 self.b = 2
There is no self.c = True

							# Call the fully implemented HyperParameters class saved in d2l
class B(d2l.HyperParameters):
  def __init__(self, a, b, c):
    self.save_hyperparameters(ignore=['c'])
    print('self.a =', self.a, 'self.b =', self.b)
    print('There is no self.c =', not hasattr(self, 'c'))

b = B(a=1, b=2, c=3)

							 

							self.a = 1 self.b = 2
There is no self.c = True

							# Call the fully implemented HyperParameters class saved in d2l
class B(d2l.HyperParameters):
  def __init__(self, a, b, c):
    self.save_hyperparameters(ignore=['c'])
    print('self.a =', self.a, 'self.b =', self.b)
    print('There is no self.c =', not hasattr(self, 'c'))

b = B(a=1, b=2, c=3)

							 

							self.a = 1 self.b = 2
There is no self.c = True

							# Call the fully implemented HyperParameters class saved in d2l
class B(d2l.HyperParameters):
  def __init__(self, a, b, c):
    self.save_hyperparameters(ignore=['c'])
    print('self.a =', self.a, 'self.b =', self.b)
    print('There is no self.c =', not hasattr(self, 'c'))

b = B(a=1, b=2, c=3)

							 

							self.a = 1 self.b = 2
There is no self.c = True

最后一個實用程序允許我們在實驗進行時以交互方式繪制實驗進度。為了尊重更強大（和復(fù)雜）的TensorBoard，我們將其命名為ProgressBoard。實現(xiàn)推遲到第 23.7 節(jié)。現(xiàn)在，讓我們簡單地看看它的實際效果。

該方法在圖中 draw繪制一個點，并在圖例中指定。可選的僅通過顯示來平滑線條(x, y)labelevery_n1/n圖中的點。他們的價值是從平均n原始圖中的鄰居點。

					class ProgressBoard(d2l.HyperParameters): #@save
  """The board that plots data points in animation."""
  def __init__(self, xlabel=None, ylabel=None, xlim=None,
         ylim=None, xscale='linear', yscale='linear',
         ls=['-', '--', '-.', ':'], colors=['C0', 'C1', 'C2', 'C3'],
         fig=None, axes=None, figsize=(3.5, 2.5), display=True):
    self.save_hyperparameters()

  def draw(self, x, y, label, every_n=1):
    raise NotImpleme
				