어떻게 머신러닝 엔지니어로 피봇할 수 있을까요?

xguru · 2024-07-02T11:16:02+09:00

데이터 집약적 어플리케이션을 10년 넘게 구축해본 소프트웨어 엔지니어임. 주로 백엔드(레거시, 클라우드) (1) 피봇하는게 좋을까요? (2) 해보신 분? (3) 내 업무에 ML이 없는데 어떻게 할 수 있을까요? 모델 구축에 중점을 두지 않고, 모델 관리/배포/스케일링에 더 중점을 두는 ML 엔지니어링 실무가 있나요? 즉, 그 기반에 있는 모든 수학을 배우지 않아도 될까요? arnabgho Snap에서 MLE 테크 리드로 일하며 스냅의 제너레이티브 AI 인프라의 기초를 닦았음 매우 보람 있는 커리어 경로로 MLE 경로를 적극 추천하고 싶음 "Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications" 책은 프로덕션용 머신러닝 시스템 설계에 대한 매우 좋은 입문서 해당 저자(Chip Huyen)가 작성한 이 블로그는 프로덕션급 AI 및 ML 시스템 구축에 대한 입문서로 적극 추천 프로덕션용 LLM 어플리케이션 구축하기 (요약본 및 번역글 링크 포함) 질문에 대한 답 (1) 예, 특히 지금과 같은 시대정신의 변곡점에서 이러한 전환을 하는 것이 현명함 (2) 예 (3) ML 엔지니어링 기술을 시작하고 숙달하는 방법에 대한 리소스는 위를 참조 breckenedge 약 7개월 전에 ML을 사용하여 콘텐츠 추천을 만드는 3개월짜리 프로젝트에 발을 들여놓았음 기성 협업 필터링 라이브러리로 시작해서 PyTorch로 끝냈고, ChatGPT가 큰 도움이 되었음 계속 그 길을 가도 괜찮았지만 경영진은 더 빠르고 더 나은 결과를 원했고, 경험이 없는 상태에서 시작할 때 3개월은 흐름을 잡기에 충분한 시간이었음 많은 ML은 데이터 세트를 정리하고 준비하는 것이었는데, 그다지 재미있지 않았음 한 임원이 Amazon Personalize를 사용해보라고 권유했고, 좋은 시도는 해봤지만 결국에는 성공하지 못했음. 데이터 문제였는지 기본 모델 문제였는지 블랙박스 ML 서비스를 사용할 때 발생하는 문제의 핵심은 무슨 일이 일어나고 있는지 분석할 수 없다는 점 Amazon Personalize는 데이터 레이어를 변경하는 것을 어렵게 만들기 때문에 더 나은 솔루션에 가까워지고 있는지 알 수 없음 숙련된 ML 전문가가 개인화를 사용하면 더 나은 솔루션에 가까워질 수 있음 따라서 ML을 다룰 수 있다면 경력으로 삼기 전에 ML 평가판 프로젝트를 수행하여 마음에 드는지 확인해 보는 것이 좋음 nsyptras 모델 구축에 중점을 두지 않고 모델 관리/배포/확장에 더 중점을 두는 ML 엔지니어링이 있을까? 내가 2018년에 이쪽으로 전환함. MLOps라고 불림. 그 전에는 모바일 개발자였음 그 당시에는 전환이 꽤 쉬웠음(지금은 경쟁이 더 치열할 수도 있겠지만) 내가 한 일: 혼자서 집중적인 ML 프로젝트를 진행하면서 ML 스택 전반에서 일하는 것이 즐겁다는 것을 깨달음 이 프로젝트에 대한 [블로그 포스팅]((https://www.nicksypteras.com/blog/aisu.html)도 작성 그런 다음 MLOps 팀에 지원하여 이 프로젝트를 활용하여 기술/경험을 입증 수학을 피할 수도 있겠지만 기본을 배우면 모든 것이 훨씬 쉬워질 것 기본적인 ML 수학이 없었다면 매우 맹목적으로 비행했을 것이라고 생각함 ilaksh "MLOps"를 생각하고 있는 듯. MLOps도 중요함 HuggingFace와 RunPod으로 Python으로 모델을 배포하는 연습을 해볼 것 또한 LLM 사전 학습, 미세 조정 및 평가에 대한 튜토리얼도 찾아보고, Predibase도 확인할 것 현재 가장 중요한 것은 확산 트랜스포머라고 생각 이를 위한 트레이닝 작업을 실행하는 방법을 설명하는 문서를 찾을 수 있다면 사람들에게 도움이 될 수 있을 것 "치트"를 원한다면 replicate.com을 확인. cog는 replicate.com 외부에서 ML 모델을 자체 호스팅하는 데도 유용할 수 있음 nottorp 나는 "ML 엔지니어로 전환"하지는 않았지만 지난 2.5개월 동안 공개 모델을 사용하고, 도구와 API를 사용하여 훈련하고 실행하는 방법을 어느 정도 배웠음 코드 작성은 거의 하지 않고 많은 책을 읽었음 소규모 조직(역할에 갇히지 않고 할 일만 주는)과 함께 일하면 도움이 됨 trybackprop 실제로 ML로 전환을 고려하고 있는 숙련된 소프트웨어 엔지니어를 위해 이에 대한 블로그 게시물을 작성해서 공유함 You Don't Need a Masters/PhD – How These 9 Engineers Broke Into ML 메타, 구글, 아마존, 오픈AI에서 근무하는 다양한 엔지니어들이 전환한 사례를 소개하는 글 그들이 어떤 전략과 전술을 사용했는지 확인할 수 있음 답변 개인 시간에 해킹을 즐기고 있다면 '현명하다'고 할 수 있음. 나는 전환하기 전 1년간 밤과 주말에 자료를 공부하면서 이 일을 풀타임으로 하고 싶다는 생각을 처음으로 하게 되었음 네, 그리고 전환 후 7년째 ML 엔지니어로 일하고 있음. 현재 FAANG의 ML 기술 책임자임. 그 전에는 인프라와 제품 분야에서 일했음 몇 년 전에 내가 받은 조언 중 하나는 ML 업무와 인접한 팀에 합류하여 프로덕션 ML이 어떻게 생겼는지 익숙해질 수 있도록 하라는 것. Kaggle.com에서 ML 씽킹 연습을 시작할 수도 있움 제 블로그의 다른 게시물에서 AI/ML과 이 직업에 필요한 수학을 배울 수 있는 리소스를 확인 가능 Linear Algebra 101 for AI/ML – Part 1 (대화형 퀴즈, 벡터/행렬의 기초, 업계에서 널리 사용되는 오픈 소스 ML 프레임워크인 PyTorch에 대한 간단한 소개 포함). deepGem fast.ai 의 "Practical Deep Learning for Coders 를 살펴 볼 것 2022년에 나온 자료지만 여기서 배우는 원리는 오늘날에도 매우 유효하며 매우 유용 특히 Self Attention, 트랜스포머 및 이러한 개념에 기반한 최신 아키텍처가 특히 그러함 fast.ai 과정을 수료한 많은 사람들이 ML 엔지니어뿐만 아니라 연구 과학자로 커리어를 전환했음 말하자면 쉬운 과정이 아니기 때문에 여가 시간에 시간을 내서 수강해야 함 배포/확장에 관심이 있으시다면 파트 1의 2강으로 바로 넘어가도 좋음. 제레미는 훌륭한 선생님임 나는 학계 출신이 아니기 때문에 그의 강의 스타일이 매우 건강하다고 생각

(news.ycombinator.com)

38P by xguru 2024-07-02 | ★ favorite | 댓글 2개

데이터 집약적 어플리케이션을 10년 넘게 구축해본 소프트웨어 엔지니어임. 주로 백엔드(레거시, 클라우드)
(1) 피봇하는게 좋을까요? (2) 해보신 분? (3) 내 업무에 ML이 없는데 어떻게 할 수 있을까요?
모델 구축에 중점을 두지 않고, 모델 관리/배포/스케일링에 더 중점을 두는 ML 엔지니어링 실무가 있나요?
- 즉, 그 기반에 있는 모든 수학을 배우지 않아도 될까요?

arnabgho

Snap에서 MLE 테크 리드로 일하며 스냅의 제너레이티브 AI 인프라의 기초를 닦았음
- 매우 보람 있는 커리어 경로로 MLE 경로를 적극 추천하고 싶음
"Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications" 책은 프로덕션용 머신러닝 시스템 설계에 대한 매우 좋은 입문서
해당 저자(Chip Huyen)가 작성한 이 블로그는 프로덕션급 AI 및 ML 시스템 구축에 대한 입문서로 적극 추천
프로덕션용 LLM 어플리케이션 구축하기 (요약본 및 번역글 링크 포함)
질문에 대한 답
- (1) 예, 특히 지금과 같은 시대정신의 변곡점에서 이러한 전환을 하는 것이 현명함
- (2) 예
- (3) ML 엔지니어링 기술을 시작하고 숙달하는 방법에 대한 리소스는 위를 참조

breckenedge

약 7개월 전에 ML을 사용하여 콘텐츠 추천을 만드는 3개월짜리 프로젝트에 발을 들여놓았음
기성 협업 필터링 라이브러리로 시작해서 PyTorch로 끝냈고, ChatGPT가 큰 도움이 되었음
계속 그 길을 가도 괜찮았지만 경영진은 더 빠르고 더 나은 결과를 원했고, 경험이 없는 상태에서 시작할 때 3개월은 흐름을 잡기에 충분한 시간이었음
많은 ML은 데이터 세트를 정리하고 준비하는 것이었는데, 그다지 재미있지 않았음
한 임원이 Amazon Personalize를 사용해보라고 권유했고, 좋은 시도는 해봤지만 결국에는 성공하지 못했음. 데이터 문제였는지 기본 모델 문제였는지
블랙박스 ML 서비스를 사용할 때 발생하는 문제의 핵심은 무슨 일이 일어나고 있는지 분석할 수 없다는 점
Amazon Personalize는 데이터 레이어를 변경하는 것을 어렵게 만들기 때문에 더 나은 솔루션에 가까워지고 있는지 알 수 없음
숙련된 ML 전문가가 개인화를 사용하면 더 나은 솔루션에 가까워질 수 있음
따라서 ML을 다룰 수 있다면 경력으로 삼기 전에 ML 평가판 프로젝트를 수행하여 마음에 드는지 확인해 보는 것이 좋음

nsyptras

모델 구축에 중점을 두지 않고 모델 관리/배포/확장에 더 중점을 두는 ML 엔지니어링이 있을까?
내가 2018년에 이쪽으로 전환함. MLOps라고 불림. 그 전에는 모바일 개발자였음
그 당시에는 전환이 꽤 쉬웠음(지금은 경쟁이 더 치열할 수도 있겠지만)
내가 한 일:
- 혼자서 집중적인 ML 프로젝트를 진행하면서 ML 스택 전반에서 일하는 것이 즐겁다는 것을 깨달음
- 이 프로젝트에 대한 [블로그 포스팅]((https://www.nicksypteras.com/blog/aisu.html)도 작성
- 그런 다음 MLOps 팀에 지원하여 이 프로젝트를 활용하여 기술/경험을 입증
- 수학을 피할 수도 있겠지만 기본을 배우면 모든 것이 훨씬 쉬워질 것
- 기본적인 ML 수학이 없었다면 매우 맹목적으로 비행했을 것이라고 생각함

ilaksh

"MLOps"를 생각하고 있는 듯. MLOps도 중요함
HuggingFace와 RunPod으로 Python으로 모델을 배포하는 연습을 해볼 것
또한 LLM 사전 학습, 미세 조정 및 평가에 대한 튜토리얼도 찾아보고, Predibase도 확인할 것
현재 가장 중요한 것은 확산 트랜스포머라고 생각
- 이를 위한 트레이닝 작업을 실행하는 방법을 설명하는 문서를 찾을 수 있다면 사람들에게 도움이 될 수 있을 것
"치트"를 원한다면 replicate.com을 확인. cog는 replicate.com 외부에서 ML 모델을 자체 호스팅하는 데도 유용할 수 있음

nottorp

나는 "ML 엔지니어로 전환"하지는 않았지만 지난 2.5개월 동안 공개 모델을 사용하고, 도구와 API를 사용하여 훈련하고 실행하는 방법을 어느 정도 배웠음
코드 작성은 거의 하지 않고 많은 책을 읽었음
소규모 조직(역할에 갇히지 않고 할 일만 주는)과 함께 일하면 도움이 됨

trybackprop

실제로 ML로 전환을 고려하고 있는 숙련된 소프트웨어 엔지니어를 위해 이에 대한 블로그 게시물을 작성해서 공유함
- You Don't Need a Masters/PhD – How These 9 Engineers Broke Into ML
- 메타, 구글, 아마존, 오픈AI에서 근무하는 다양한 엔지니어들이 전환한 사례를 소개하는 글
- 그들이 어떤 전략과 전술을 사용했는지 확인할 수 있음
답변
- 1. 개인 시간에 해킹을 즐기고 있다면 '현명하다'고 할 수 있음. 나는 전환하기 전 1년간 밤과 주말에 자료를 공부하면서 이 일을 풀타임으로 하고 싶다는 생각을 처음으로 하게 되었음
- 1. 네, 그리고 전환 후 7년째 ML 엔지니어로 일하고 있음. 현재 FAANG의 ML 기술 책임자임. 그 전에는 인프라와 제품 분야에서 일했음
- 1. 몇 년 전에 내가 받은 조언 중 하나는 ML 업무와 인접한 팀에 합류하여 프로덕션 ML이 어떻게 생겼는지 익숙해질 수 있도록 하라는 것. Kaggle.com에서 ML 씽킹 연습을 시작할 수도 있움
제 블로그의 다른 게시물에서 AI/ML과 이 직업에 필요한 수학을 배울 수 있는 리소스를 확인 가능
Linear Algebra 101 for AI/ML – Part 1
(대화형 퀴즈, 벡터/행렬의 기초, 업계에서 널리 사용되는 오픈 소스 ML 프레임워크인 PyTorch에 대한 간단한 소개 포함).

deepGem

fast.ai 의 "Practical Deep Learning for Coders 를 살펴 볼 것
2022년에 나온 자료지만 여기서 배우는 원리는 오늘날에도 매우 유효하며 매우 유용
특히 Self Attention, 트랜스포머 및 이러한 개념에 기반한 최신 아키텍처가 특히 그러함
fast.ai 과정을 수료한 많은 사람들이 ML 엔지니어뿐만 아니라 연구 과학자로 커리어를 전환했음
말하자면 쉬운 과정이 아니기 때문에 여가 시간에 시간을 내서 수강해야 함
배포/확장에 관심이 있으시다면 파트 1의 2강으로 바로 넘어가도 좋음. 제레미는 훌륭한 선생님임
- 나는 학계 출신이 아니기 때문에 그의 강의 스타일이 매우 건강하다고 생각