torch.tensor를 모델의 파라미터로 쓰고 싶을 때

nn.Parameter를 활용하면 된다.

예시

self.lora_A = nn.Parameter(torch.randn((self.base_layer.in_features,r)))
self.lora_B = nn.Parameter(torch.randn((r,self.base_layer.out_features)))

위와 같이 torch의 tensor로 matrix를 계산하기 위해서 nn.parameter로 학습가능한 형태로 만들어줬다.

실행결과

위와 같이 layer의 파라미터로 모델이 받아들인다.