GN⁺: 팰컨 2 로켓 발사 준비 완료

Falcon 2 시리즈의 차세대 모델 출시

• Technology Innovation Institute (TII)에서 차세대 대규모 언어 모델(LLM) Falcon 2 시리즈를 출시함
  • Falcon 2 11B: 5.5조 토큰으로 학습된 110억 파라미터 모델로 효율성과 접근성이 향상됨
  • Falcon 2 11B VLM: 시각 입력을 텍스트 출력으로 변환하는 vision-to-language 기능을 가진 최초의 multimodal 모델임
• 두 모델 모두 다국어를 지원하며, 특히 Falcon 2 11B VLM은 현재 최고 수준의 모델 중 유일하게 이미지-텍스트 변환 기능을 제공함

Falcon 2 11B의 성능

• Hugging Face의 평가에 따르면, Falcon 2 11B는 Meta의 Llama 3 8B보다 우수한 성능을 보였으며, Google의 Gemma 7B와 유사한 성능을 보임 (Falcon 2 11B: 64.28 vs Gemma 7B: 64.29)
• Falcon 2 11B와 11B VLM은 모두 오픈소스로 개발자들에게 제한없이 공개될 예정임
• 향후 Falcon 2 시리즈는 다양한 크기의 모델로 확장될 예정이며, Mixture of Experts(MoE) 기술을 도입하여 성능을 한층 더 발전시킬 계획임

Falcon 2 11B VLM의 특징

• 영어, 프랑스어, 스페인어, 독일어, 포르투갈어 등 다국어 처리 가능
• 환경의 이미지와 시각 정보를 인식하고 해석하는 vision-to-language 기능 탑재
  • 의료, 금융, 전자상거래, 교육, 법률 등 다양한 산업 분야에서 활용 가능
  • 문서 관리, 디지털 아카이빙, 컨텍스트 인덱싱부터 시각 장애인 지원까지 광범위한 활용 분야
• 단일 GPU에서 효율적으로 실행 가능하여 확장성이 뛰어나며, 노트북 등 가벼운 인프라에 통합하기 용이함

GN⁺의 의견

• Falcon 2 시리즈는 기존 Falcon 모델의 성능과 효율성을 한층 더 높인 차세대 모델로, 특히 Falcon 2 11B VLM은 vision-to-language 기능을 탑재한 최초의 대규모 다국어 multimodal 모델이라는 점에서 큰 의의가 있음. 이는 시각 데이터와 언어 데이터를 통합 처리할 수 있게 함으로써 보다 인간에 가까운 자연스러운 인터랙션을 가능케 할 것으로 기대됨.

• 다만 multimodal AI는 아직 초기 단계로 안정성과 견고성 측면에서 개선의 여지가 있음. 따라서 실제 활용을 위해서는 데이터의 편향성 문제, 프라이버시와 보안 이슈, 그리고 잘못된 입력에 대한 취약점 등을 면밀히 점검하고 보완해 나가는 과정이 필요할 것으로 보임.

• Falcon 2 시리즈가 오픈소스로 공개된다는 점 역시 주목할 만한 부분임. 이는 개발 커뮤니티의 활발한 참여를 이끌어내고, 모델의 개선과 확장을 가속화할 수 있을 것으로 기대됨. 다만 오픈소스 모델의 경우 악의적인 사용 가능성에 대한 우려도 있으므로, 라이선스 정책에 acceptable use policy 등을 포함시켜 책임있는 AI 활용을 유도하는 것이 바람직해 보임.

• Mixture of Experts(MoE) 기술 도입 계획 역시 흥미로운 대목임. MoE는 특화된 여러 개의 작은 네트워크를 조합하여 전문 도메인 간 협업을 통해 보다 정교하고 맞춤화된 결과를 도출하는 방식으로, 향후 Falcon 2 시리즈의 성능 향상에 크게 기여할 것으로 예상됨. 이 같은 연구 방향성은 단순히 모델의 규모를 키우는 것을 넘어, 보다 효율적이고 지능적인 AI 시스템을 구현하기 위한 노력의 일환으로 평가할 수 있음.

[neo]

Hacker News 의견

• Falcon 2 11B 모델의 벤치마크 결과가 Mistral 7B 및 Llama 3 8B와 비슷한 수준이라는 점이 지적됨. 모델 크기 증가를 고려하면 그다지 대단해 보이지 않음.

• 라이선스에 문제가 있음. Apache 2 라이선스를 수정해서 추가 조항을 포함했는데, 수용 가능한 사용 정책을 준수해야 한다는 요구사항이 있음. 문제는 그 정책이 앞으로 어떻게 변경될지 모른다는 점. 현재 내용과 무관하게 나중에 어떤 내용으로도 바뀔 수 있고 그것을 따라야 함. 이런 라이선스를 "오픈소스"라고 부르는 추세가 OSI 정의에 부합하지 않는 문제점으로 지적됨.

• "Falcon 2 11B가 Meta의 Llama 3 8B보다 우수하고 Google의 Gemma 7B와 동등한 성능을 보인다"는 주장에 대해, Llama 3 8B가 거의 모든 측면에서 Gemma 7B를 능가한다는 인상을 강하게 받았다는 반론이 제기됨.

• "유일한 Vision-to-Language 기능을 가진 AI 모델"이라는 표현에 대해, GPT-4 Vision이나 LLaVA가 하는 것과 크게 다르지 않은 것 아니냐는 의문이 제기됨.

• Falcon 모델이 그다지 개방적이지 않다는 점이 다시 한번 지적됨. 원래 Falcon은 벤치마크 결과만큼 성능이 뛰어나지 않았음. 중대한 도약이라며 발표되었지만 경쟁 모델을 능가한다고 느끼지 못했다고 함.

• 11B 모델이 '같은 급'의 7B, 8B 모델보다 성능이 우수하다는 PR이 좀 과장된 느낌. 로컬 추론을 위해 시도는 해보겠지만, 일단은 파인튜닝된 Llama 3 8B가 현재로선 최고라는 게 직감적 판단.

• 대부분 공개 데이터셋으로 학습하고 AWS 하드웨어와 잘 알려진 알고리즘과 기술을 사용했다면, 돈만 있으면 누구나 학습시킬 수 있는 다른 모델과 무엇이 다른지 의문. 관련성을 보이려는 노력과 '플렉스'로밖에 보이지 않는다는 회의적/비판적 시각도 제기됨.

• Falcon 2 11B가 Llama 3 8B보다 우수하다고 하는데, 파라미터 수가 더 많으니 공정한 비교가 아님. 최고 오픈소스 모델은 Llama 3 70B로 보이는데 최고 모델은 능가하지 못하면서 Llama 3를 능가했다고 주장하는 이유가 의문시 됨.