Azure ML Studio에서 huggingface library를 사용하는데 mlflow 오류가?!

회사 동료분의 허락(?)을 맡고 오류가 발생한 케이스를 전달받아 블로그에 기록하게 되었습니다 😆

Azure Cloude Platform에서 ml-studio를 이용한 작업을 하던도중 huggingface의 sft trainer로 모델 학습을 시키던 상황이었습니다. 아래와 같은 상황을 마주했는데요,

raise RestException(json.loads(response.text))   
mlflow.exceptions.RestException: INVALID_PARAMETER_VALUE:  
Response: 
{'Error': 
    {'Code': 'ValidationError',
    'Severity': None, 
    'Message': 'A field of the entity is over the size 
    limit. FieldName=Parameters, Limit=200, Size=208. 
    See https://aka.ms/azure-machine-learning-limits for 
    service limits documentation.', 
    'MessageFormat': None, 
    'MessageParameters': None, 
    'ReferenceCode': None, 
    'DetailsUri': None, 
    'Target': None, 
    'Details': [], 
    'InnerError': None, 
    'DebugInfo': None, 
    'AdditionalInfo': None
    },
 'Correlation': 
     {'operation': 'd6c6ec886860326b98e3a710cd2763f2',
      'request': 'af24d01ede845074'}, 
      'Environment': 'koreacentral', 
      'Location': 'koreacentral', 
      'Time': '2024-06-19T08:53:56.7877992+00:00',
      'ComponentName': 'mlflow', 
      'statusCode': 400, 
      'error_code': 'INVALID_PARAMETER_VALUE'
     }
}

처음 마주했을 때는 굉장히 당황스러웠습니다...! mlflow는 사용한적도 없는데 갑자기 오류가 나다니요...?! 진정하고 원인분석을 했습니다. 곰곰히 생각해보니 mlflow를 어디서 사용했는지는 모르겠지만 sft trainer가 학습시킬 때 log를 tracking하지 않게 해주면 될 것 같아서 log_level을 조정해보심이 어떻겠느냐!라고 전달드렸습니다... 하지만 실패했죠,,ㅋㅋ후ㅜ 그렇게 골머리를 앓던중 mlops 하시는 분이 보시고는 Azure ml studio에서 기본적으로 mlflow가 탑재되어 있다, ml studio에서 tracking하지 않게 옵션을 꺼주면 되지 않겠냐고 하셔서 그렇게 해보았더니...! 성공했습니다. 아래 사진과 같은 옵션입니다!

DISABLE_MLFLOW_INTEGRATION이라고 하는 옵션을 활성화줌으로써 해결할 수 있었습니다! 관련된 자료를 찾아보아도 잘 나오지 않길래..! 저라도 기록해놓으면 다른분들께서 보지 않을까 해서 동료분 허락을 맡고 기록합니다 🥹🥹