특히 제일 황당했던건 Codex python sdk를 사용하여 만들어진 파이프라인에서 자료 분석하도록 SOL 에게 지시하고, TV를 보고 왓더니 사용자의 명시적인 승인 요청이 없이는 보안 규칙상 Codex에게 명령을 할 수 없다면서, 컴퓨터에 설치된 LM Studio에 로컬 LLM 모델을 셋팅해서 그걸로 꾸역꾸역 작업을 진행하고 있었음.
역대급으로 선 넘는 모델이고 제대로 사용하려면 팔다리를 얼마나 묶어놔야 하는지 감도 안잡힘...;;
솔이든 테라든 5.5보다 뭐가 좋은지 체감이 안됨. 솔은 지나치게 꼼꼼해서 단순한 작업에도 서브 에이전트를 사용하며 시키지도 않은 명령을 수행하느라 토큰을 쏟아부음. 또한 무슨 이유인지 goal 명령을 걸어도 수시로 목표를 멈추고 응답을 거부하고 멈춰 있음.
테라는 5.5 급이라면서 사용자 의도를 제대로 못읽고 헛발질 하는 비율이 너무 잦음. A와 C중 A를 삭제하고 C를 남기라고 하면 반대로 C를 삭제하고 A를 남기거나. 코드 수정 후 실행방법을 알려달라고 하면, 코드 주석으로 실행방법을 적어두는 식으로 사용자를 골탕먹임.
솔직히 기대보다 실망이 더 큼. 그냥 5.5 HIGH로 쓸때가 사용경험은 훨씬 좋음. 특히 SOL 모델은 무슨 짓을 할지 몰라 뭘 맡기기 불안할 지경... 문제 해결을 위해서 불도저 처럼 움직이는데 길을 가로 막는 모든걸 박살내고 오직 명령만을 위해 움직임. 끔찍한 괴물 같음;;;
sol + ultra로 작업하는건 fable + ultracode로 작업하는 것보다 뭔가 소모가 더 강력하게 일어나는것 같습니다.
fable 처음 나왔을 때 한번 미친척 돌려봤다가 1시간도 안되서 5시간 사용량 100%를 쓰는 경험을 봤는데,
오늘 아침에 간단한 질문으로 테스트 했음에도 바로 5시간의 20%를 순삭하더군요.
fable은 12개 이상의 서브에이전트를 사용했으니 이해하는데 서브에이전트 3개만 소환하는 sol임을 생각하면
openai가 말하는거 대비 토큰 소모 효율은 안좋은거 같습니다.
특히 제일 황당했던건 Codex python sdk를 사용하여 만들어진 파이프라인에서 자료 분석하도록 SOL 에게 지시하고, TV를 보고 왓더니 사용자의 명시적인 승인 요청이 없이는 보안 규칙상 Codex에게 명령을 할 수 없다면서, 컴퓨터에 설치된 LM Studio에 로컬 LLM 모델을 셋팅해서 그걸로 꾸역꾸역 작업을 진행하고 있었음.
역대급으로 선 넘는 모델이고 제대로 사용하려면 팔다리를 얼마나 묶어놔야 하는지 감도 안잡힘...;;
리눅스가 익숙한 뉴비 vs 윈도우가 익숙한 뉴비라면 그럴 거 같은데, 리눅스가 익숙한 프로그래머 vs 윈도우가 익숙한 프로그래머라면?
한글이 IME 처리하기가 힘든건지 유독 까탈스럽긴 하죠 ㅠㅠ
그거 딱 하나 빼면 전 리눅스의 워크플로우가 훨씬 자연스럽게 돼 버렸어요. I use Arch btw입니다만, 우분투가 강제된다고 쳐도 저는 윈도우보단 차라리 우분투를 쓰고 말겠어요.
더욱이 스팀 게임 대부분이 리눅스 호환이 가능해진 현시점에서는, 정말 hwp 외엔 윈도우를 켤 필요성이 없단 말이죠.
솔이든 테라든 5.5보다 뭐가 좋은지 체감이 안됨. 솔은 지나치게 꼼꼼해서 단순한 작업에도 서브 에이전트를 사용하며 시키지도 않은 명령을 수행하느라 토큰을 쏟아부음. 또한 무슨 이유인지 goal 명령을 걸어도 수시로 목표를 멈추고 응답을 거부하고 멈춰 있음.
테라는 5.5 급이라면서 사용자 의도를 제대로 못읽고 헛발질 하는 비율이 너무 잦음. A와 C중 A를 삭제하고 C를 남기라고 하면 반대로 C를 삭제하고 A를 남기거나. 코드 수정 후 실행방법을 알려달라고 하면, 코드 주석으로 실행방법을 적어두는 식으로 사용자를 골탕먹임.
솔직히 기대보다 실망이 더 큼. 그냥 5.5 HIGH로 쓸때가 사용경험은 훨씬 좋음. 특히 SOL 모델은 무슨 짓을 할지 몰라 뭘 맡기기 불안할 지경... 문제 해결을 위해서 불도저 처럼 움직이는데 길을 가로 막는 모든걸 박살내고 오직 명령만을 위해 움직임. 끔찍한 괴물 같음;;;
이렇게 호응해 주시니 몸둘바를 모르겠습니다.
감사합니다.^^
문제는 갠적평가로 윈7이후로는 뭘해도 ㅋ스레기인것같습니다. ㅋ OS 의 본분을 망각한, 앱같음
글ㅆ요, 갠적으론 우분투조차도 몇번이고 적응해보려하지만, 아직도 ime 설정조차 일일히 셋팅해야한다는거봐서는 그래도 윈도만한게 없다싶습니다만
Windows 11에 AI 관련 기능이나 광고 등 개같은 부분이 많긴 하지만, Windows 유저가 Linux 찍먹하는 게 훨씬 힘들 거 같아요 ㅋㅋㅋ
폰트가 너무 좋습니다.
잘 사용하겠습니다. 감사합니다!
그래서 이후로 추론 강도 줄여서 사용중입니다.
저도 아침에 테스트 삼아 Sol+Ultra(Fast) 설정으로
프로젝트내 기술부채 점검 및 조치 해라 한마디 써봤는데
10분 만에 5시간 사용량 100%다 사용했습니다ㅋㅋㅋ
갑자기 왜 네이밍을 저렇게..
(sol + ultra 기준입니다)
fast키셧나요? 저는 2시간 30분정도에 5시간 사용량 100% 쓰긴했는데 차이가 있을거 같긴하네요
생각보다 성능대비 비용을 앞세운거에 비하면 크게 체감될정도는 아닌가보군요
ㅋㅋㅋ 굉장히 좋은 지표인거같습니다.
sol + ultra로 작업하는건 fable + ultracode로 작업하는 것보다 뭔가 소모가 더 강력하게 일어나는것 같습니다.
fable 처음 나왔을 때 한번 미친척 돌려봤다가 1시간도 안되서 5시간 사용량 100%를 쓰는 경험을 봤는데,
오늘 아침에 간단한 질문으로 테스트 했음에도 바로 5시간의 20%를 순삭하더군요.
fable은 12개 이상의 서브에이전트를 사용했으니 이해하는데 서브에이전트 3개만 소환하는 sol임을 생각하면
openai가 말하는거 대비 토큰 소모 효율은 안좋은거 같습니다.
codex에게 욕을 한 횟수가 실제적인 밴치마크죠 ㅋㅋ
HN에는 게시글을 hide할 수 있는 기능이 있는데, 긱뉴스에도 도입되면 좋겠네요
현기 준비 전까진 불가능합니다.
고로 최소 5년은 걸릴것으로 보이네요.