Prime - INTELLECT-2

Prime 에서 32B 모델의 첫 번째 분산형 RL 훈련이 완료됐습니다. INTELLECT-2 는 목표는 제어 가능한 사고 예산을 갖춘 최첨단 추론 모델을 학습시키는 것을 목표로 하는데요. 흥미로운 정보들만 한번 더 추려 봤습니다.

길이보상 통합

· 모델 출력의 응답 정확성에 따라 등급을 매기는 작업 보상 외에도, 모델이 사용자 프롬프트에 지정된 사고 예산을 준수하도록 학습시키기 위해 길이 보상을 통합.
· 롤아웃마다 GPU 메모리와 컴퓨팅 성능이 낮은 추론 워커에서 처리하는 문제에는 적은 양의 사고 예산을 할당하고, 더 높은 용량의 추론 워커에서 처리하는 문제에는 많은 양의 사고 예산을 할당.

=> 즉 성능이 낮은 경우에는 적은 양의 테스크, 성능이 높은 경우에는 높은 양의 테스크를 할당해서 성능이 다르더라도 처리 시간을 동일하게 유지

추론예산과 모델

· 사용자와 개발자는 시스템 프롬프트를 통해 모델이 최종 해결책에 도달하기 전에 문제에 대해 얼마나 많은 토큰을 고려해야 하는지 지정
· 프롬프트를 통해 추론 예산을 제어하면 사용자는 이를 활용하는 동시에 매우 어려운 문제에 대해 더 긴 추론 시간을 선택적으로 선택
· 이러한 기능을 갖춘 모델을 학습시키기 위해, QwQ-32B를 기본 모델로 사용하고, Deepseek-R1의 GRPO(정적 분포) 기법을 따르며 수학 및 코딩 영역에서 검증 가능한 보상을 제공

=> QwQ-32B는 알리바바의 Qwen 시리즈에 속하는 모델입니다. 이 모델은 Qwen 연구팀이 개발한 추론 특화 AI로, 2025년 3월 공개한 모델 (이거 관련해서 재밌는 이야기를 곧 전달드릴 계획👀)

오프라인 데이터 필터링

· 실험 과정에서 신중한 데이터 필터링이 모델 성능에 매우 중요하다는 것을 발견
· 성능 향상을 위해, 모델이 100% 해결하지 못한 문제만 학습 데이터셋에 포함.
· 학습이 어려운 문제만 포함하기 위해, 해결률이 75% 이하인 문제만 사용

+ 온라인 어드밴티지 필터링:
· 이미 모두가 동일한 보상을 받은 문제의 경우 학습신호를 전달하지 않음.(이미 완성됐기때문)
· 이러한 문제를 필터링하고 어드밴티지가 0이 아닌 전체 배치를 얻을 때까지 추론을 계속 실행함.
· 무의미한 샘플에 학습 계산을 낭비하지 않고, 학습보다 추론에 더 많은 시간을 할애할 수 있으므로 학습 효율이 향상됨

추가적인 내용은 제 X 게시물이나 참고한 원문글에서 확인하시면 될것 같습니다.

게시물보러가기

#prime #ai

🎉 Defi.app 한국 커뮤니티 오픈 이벤트 🎉

안녕하세요 한국 커뮤니티 여러분! 👋

런칭 2개월 만에 8조원 이상의 거래량,
DEX Aggregator 글로벌 Top 3 진입!
지금 가장 빠르게 성장하는 Web3 슈퍼앱, Defi.app에 오신 것을 환영합니다!

한국 커뮤니티 오픈을 기념하여 진행하는 커뮤니티 오픈 이벤트!

커피 100잔의 즐거움! ☕️ 그리고 하루에 랜덤으로 치킨 한마리씩! 🍗

간단한 입장 이벤트에 참여하시고 커피랑 치킨 받아가세요! 😍

❓ Defi.app이란?

Defi.app은 크로스체인 스왑, 가스비 없는 거래, 온/오프램프 지원, 디파이 이자 상품 접근까지, Web3 슈퍼앱을 지향하는 새로운 디파이 플랫폼입니다.
초보자도 쉽게! 경험자는 더 빠르고 편리하게!
Web3의 로빈후드, Defi.app과 함께라면 디파이가 더 쉽고 가까워집니다.

✔️ 이벤트 참여 방법
1️⃣ Defi.app 한국 텔레그램 공지방 입장
2️⃣ Defi.app 한국 텔레그램 채팅방 입장 후 자유롭게 인사
3️⃣ Defi.app 한국 카카오톡 채널 입장 - 치킨 에어드랍용 필수!
4️⃣ 구글폼 작성

🗓 이벤트 기간
5월 1일 ~ 5월 30일 | 당첨자 발표: 5월 31일

🎁 이벤트 보상
커피 100잔 + 치킨 30마리

※ 모든 참여조건을 충족해야 이벤트 대상이 됩니다.
※ 치킨 기프티콘은 한국 카카오톡 채널에서만 랜덤으로 수령하실 수 있습니다.
※ 부적절한 채팅, 비매너 행위 시 당첨 제외될 수 있습니다.