Fork me on GitHub
Shortcuts

PyTorch가 무엇인가요?

Python 기반의 과학 연산 패키지로 다음과 같은 두 집단을 대상으로 합니다:

  • NumPy를 대체하면서 GPU를 이용한 연산이 필요한 경우

  • 최대한의 유연성과 속도를 제공하는 딥러닝 연구 플랫폼이 필요한 경우

시작하기

Tensors

Tensor는 NumPy의 ndarray와 유사하며, 추가로 GPU를 사용한 연산 가속도 가능합니다.

from __future__ import print_function
import torch

Note

초기화되지 않은 행렬이 선언되었지만, 사용하기 전에는 명확히 알려진 값을 포함하고 있지는 않습니다. 초기화되지 않은 행렬이 생성되면 그 시점에 할당된 메모리에 존재하던 값들이 초기값으로 나타납니다.

초기화되지 않은 5x3 행렬을 생성합니다:

x = torch.empty(5, 3)
print(x)

Out:

tensor([[1.3946e+29, 0.0000e+00, 0.0000e+00],
        [0.0000e+00, 0.0000e+00, 0.0000e+00],
        [1.5835e-43, 0.0000e+00, 4.3758e-36],
        [0.0000e+00, 1.4871e-36, 0.0000e+00],
        [0.0000e+00, 0.0000e+00, 0.0000e+00]])

무작위로 초기화된 행렬을 생성합니다:

x = torch.rand(5, 3)
print(x)

Out:

tensor([[0.3751, 0.9265, 0.2862],
        [0.7077, 0.3262, 0.5856],
        [0.4290, 0.5400, 0.4927],
        [0.0629, 0.6212, 0.3383],
        [0.8660, 0.5633, 0.1488]])

dtype이 long이고 0으로 채워진 행렬을 생성합니다:

x = torch.zeros(5, 3, dtype=torch.long)
print(x)

Out:

tensor([[0, 0, 0],
        [0, 0, 0],
        [0, 0, 0],
        [0, 0, 0],
        [0, 0, 0]])

데이터로부터 tensor를 직접 생성합니다:

x = torch.tensor([5.5, 3])
print(x)

Out:

tensor([5.5000, 3.0000])

또는 존재하는 tensor를 바탕으로 tensor를 만듭니다. 이 메소드(method)들은 사용자로부터 제공된 새로운 값이 없는 한, 입력 tensor의 속성들(예. dtype)을 재사용합니다.

x = x.new_ones(5, 3, dtype=torch.double)      # new_* 메소드는 크기를 받습니다
print(x)

x = torch.randn_like(x, dtype=torch.float)    # dtype을 오버라이드(Override) 합니다!
print(x)                                      # 결과는 동일한 크기를 갖습니다

Out:

tensor([[1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.]], dtype=torch.float64)
tensor([[ 0.3484,  2.3687,  1.8913],
        [-0.4076,  0.3218,  2.5641],
        [ 0.5478, -0.1723, -0.4435],
        [-0.7180,  1.6165,  1.5621],
        [-0.8697, -0.4903,  0.0836]])

행렬의 크기를 구합니다:

print(x.size())

Out:

torch.Size([5, 3])

Note

torch.Size 는 사실 튜플(tuple)과 같으며, 모든 튜플 연산을 지원합니다.

연산(Operations)

연산을 위한 여러가지 문법을 제공합니다. 다음 예제들을 통해 덧셈 연산을 살펴보겠습니다.

덧셈: 문법1

y = torch.rand(5, 3)
print(x + y)

Out:

tensor([[ 0.7611,  2.4082,  2.0882],
        [-0.0686,  0.7743,  2.6695],
        [ 1.2113,  0.6225,  0.2882],
        [ 0.1564,  1.8914,  1.6344],
        [-0.1153, -0.2768,  0.1673]])

덧셈: 문법2

print(torch.add(x, y))

Out:

tensor([[ 0.7611,  2.4082,  2.0882],
        [-0.0686,  0.7743,  2.6695],
        [ 1.2113,  0.6225,  0.2882],
        [ 0.1564,  1.8914,  1.6344],
        [-0.1153, -0.2768,  0.1673]])

덧셈: 결과 tensor를 인자로 제공

result = torch.empty(5, 3)
torch.add(x, y, out=result)
print(result)

Out:

tensor([[ 0.7611,  2.4082,  2.0882],
        [-0.0686,  0.7743,  2.6695],
        [ 1.2113,  0.6225,  0.2882],
        [ 0.1564,  1.8914,  1.6344],
        [-0.1153, -0.2768,  0.1673]])

덧셈: 바꿔치기(In-place) 방식

# y에 x 더하기
y.add_(x)
print(y)

Out:

tensor([[ 0.7611,  2.4082,  2.0882],
        [-0.0686,  0.7743,  2.6695],
        [ 1.2113,  0.6225,  0.2882],
        [ 0.1564,  1.8914,  1.6344],
        [-0.1153, -0.2768,  0.1673]])

Note

바꿔치기(In-place) 방식으로 tensor의 값을 변경하는 연산은 _ 를 접미사로 갖습니다. 예: x.copy_(y), x.t_()x 를 변경합니다.

NumPy스러운 인덱싱 표기 방법을 사용할 수도 있습니다!

print(x[:, 1])

Out:

tensor([ 2.3687,  0.3218, -0.1723,  1.6165, -0.4903])

크기 변경: tensor의 크기(size)나 모양(shape)을 변경하고 싶다면 torch.view 를 사용합니다:

x = torch.randn(4, 4)
y = x.view(16)
z = x.view(-1, 8)  # -1은 다른 차원들을 사용하여 유추합니다.
print(x.size(), y.size(), z.size())

Out:

torch.Size([4, 4]) torch.Size([16]) torch.Size([2, 8])

만약 tensor에 하나의 값만 존재한다면, .item() 을 사용하면 숫자 값을 얻을 수 있습니다.

x = torch.randn(1)
print(x)
print(x.item())

Out:

tensor([0.8994])
0.8994463682174683

더 읽을거리:

전치(transposing), 인덱싱(indexing), 슬라이싱(slicing), 수학 계산, 선형 대수, 난수(random number) 등과 같은 100가지 이상의 Tensor 연산은 여기 에 설명되어 있습니다.

NumPy 변환(Bridge)

Torch Tensor를 NumPy 배열(array)로 변환하거나, 그 반대로 하는 것은 매우 쉽습니다.

(CPU 상의) Torch Tensor와 NumPy 배열은 저장 공간을 공유하기 때문에, 하나를 변경하면 다른 하나도 변경됩니다.

Torch Tensor를 NumPy 배열로 변환하기

a = torch.ones(5)
print(a)

Out:

tensor([1., 1., 1., 1., 1.])
b = a.numpy()
print(b)

Out:

[1. 1. 1. 1. 1.]

NumPy 배열의 값이 어떻게 변하는지 확인해보세요.

a.add_(1)
print(a)
print(b)

Out:

tensor([2., 2., 2., 2., 2.])
[2. 2. 2. 2. 2.]

NumPy 배열을 Torch Tensor로 변환하기

NumPy(np) 배열을 변경하면 Torch Tensor의 값도 자동 변경되는 것을 확인해보세요.

import numpy as np
a = np.ones(5)
b = torch.from_numpy(a)
np.add(a, 1, out=a)
print(a)
print(b)

Out:

[2. 2. 2. 2. 2.]
tensor([2., 2., 2., 2., 2.], dtype=torch.float64)

CharTensor를 제외한 CPU 상의 모든 Tensor는 NumPy로의 변환을 지원하며, (NumPy에서 Tensor로의) 반대 변환도 지원합니다.

CUDA Tensors

.to 메소드를 사용하여 Tensor를 어떠한 장치로도 옮길 수 있습니다.

# 이 코드는 CUDA가 사용 가능한 환경에서만 실행합니다.
# ``torch.device`` 를 사용하여 tensor를 GPU 안팎으로 이동해보겠습니다.
if torch.cuda.is_available():
    device = torch.device("cuda")          # CUDA 장치 객체(device object)로
    y = torch.ones_like(x, device=device)  # GPU 상에 직접적으로 tensor를 생성하거나
    x = x.to(device)                       # ``.to("cuda")`` 를 사용하면 됩니다.
    z = x + y
    print(z)
    print(z.to("cpu", torch.double))       # ``.to`` 는 dtype도 함께 변경합니다!

Out:

tensor([1.8994], device='cuda:0')
tensor([1.8994], dtype=torch.float64)

Total running time of the script: ( 0 minutes 0.079 seconds)

Gallery generated by Sphinx-Gallery

Docs

Access comprehensive developer documentation for PyTorch

View Docs

Tutorials

Get in-depth tutorials for beginners and advanced developers

View Tutorials

Resources

Find development resources and get your questions answered

View Resources