Why (Good) AI Needs Crypto

TLDR

• 현재 몇몇 기술 기업이 주도하는 AI 개발의 기반은 폐쇄적이고 반경쟁적
• 오픈소스 소프트웨어 개발이 대안이지만, 재단 AI는 오픈소스 기여자가 개인의 형편을 넘어서는 컴퓨팅 및 데이터 비용을 기부하도록 요구받는 "자원 문제" 때문에 전통적인 오픈소스 소프트웨어 프로젝트(예: Linux)로 개발하는 것은 불가능
• 암호화폐는 소유권을 통해 리소스 제공자가 재단의 오픈소스 AI 프로젝트에 기여하도록 유도하여 리소스 문제를 해결
• 오픈소스 AI를 crypto와 결합하면 더 큰 모델을 구현하고 혁신을 더 많이 추진하여 더 나은 AI를 구현할 수 있음.

Introduction

• 소수의 거대 기술 기업들이 기반 AI 모델을 구축하기 위해 GPU와 데이터를 축적하고 이 모델에 대한 접근을 차단함.
• 수십억 달러를 조달하지 않는 신규 진입자가 경쟁력 있는 버전을 구축하는 것은 이미 사실상 불가능함. 진입 장벽이 너무 높기 때문.
• 폐쇄적인 AI의 길을 계속 간다면, 소수의 기술 기업들이 정보와 기회에 대한 접근을 무제한으로 통제하게 될 것

Open Source AI and the “Resource Problem”

• 오픈 소스 소프트웨어 프로젝트를 통해 기반 모델을 구축하는 것이 해결책이 될 수 있음.
• foundation AI models는 개인의 능력을 넘어서는 컴퓨팅 및 데이터 리소스를 필요로 함.
• Meta는 비공개적으로 자체 컴퓨팅, 데이터 및 의사 결정을 사용하여 모델을 학습시키고, 모델을 언제 세상에 공개할지 일방적으로 결정하기 때문에 진정한 의미의 오픈소스는 아님.

=> AI 오픈소스의 핵심 문제는 ‘자원(컴퓨팅, 데이터) 기여’임. 오픈 소스 AI를 가능하게 하려면 오픈 소스 기여자의 주머니에서 비용이 나가지 않으면서 리소스 제공자가 컴퓨팅과 데이터를 기여하도록 인센티브를 제공해야 함.

Why Crypto Solves Foundation Open Source AI’s Resource Problem

• 크립토는 네트워크에서 미래의 이익을 기대하는 자원 제공자에게 인센티브를 줌으로써, 오픈소스 AI의 자원 문제를 해결
• 비트코인은 코드가 완전히 공개된 오픈소스 소프트웨어지만, 진짜 가치는 ‘누구도 혼자서는 만들 수 없는’ 대규모 컴퓨팅 파워가 모여야만 블록체인이 작동한다는 데 있음.
• 비트코인처럼, AI도 한 개인이 감당할 수 없는 자원이 필요하므로, 소유권 기반 인센티브가 효과적임
• 연구자들은 자신의 아이디어와 자원을 기여하고, 그 대가로 네트워크 내 소유권을 받을 수 있습니다. 이렇게 하면, 기존처럼 자원 기여에 대한 금전적 부담 없이도 대규모 AI 모델 개발이 가능해짐.
• Pluralis의 경우 이 접근 방식을 프로토콜 모델이라고 부르는데, 컴퓨팅 제공자는 특정 오픈 소스 모델을 학습시키기 위해 컴퓨팅 리소스를 기여하고 해당 모델의 향후 추론 수익에 대한 소유권을 획득하는 방식 (Pluralis에 대한 글에서 자세하게 설명)

Why Crypto + Open Source = Better AI

첫째 , 암호화폐와 오픈소스 AI의 결합은 폐쇄형 AI보다 더 많은 리소스를 조정할 수 있기 때문에 기반 모델의 다음 단계에 도달할 수 있게 해줌.
• 암호화폐는 고립된 경쟁을 협력적 경쟁으로 전환하고 있음.
• 개별적으로 (그리고 중복적으로) 문제를 해결하기 위해 리소스를 축적하는 대신, 공동의 문제를 해결하기 위해 리소스를 기여하도록 유도됨.
• 암호화폐를 사용하는 오픈소스 AI는 전 세계의 집단 컴퓨팅 및 데이터를 활용하여 폐쇄형 AI에서 가능한 것보다 훨씬 큰 규모의 모델을 구축할 수 있음 (Hyperbolic - 오픈 마켓플레이스에서 더 적은 비용으로 GPU를 임대할 수 있는 집단 컴퓨팅 리소스 활용)

둘째 , 암호화와 오픈소스 AI의 결합은 더 많은 혁신을 가져올 것
• 리소스 문제를 극복할 수 있다면, 머신러닝 연구의 고도로 반복적이고 혁신적인 오픈소스적 특성으로 돌아갈 수 있음
• 현재처럼 개별 연구소에 주로 의존하는 상황은 최첨단 기술의 경계를 확장하는 데 제약을 가할 것
• 암호화 기술을 통해 가능해진 오픈소스 AI는 연구자들이 최첨단 모델을 기반으로 이러한 반복적인 프로세스를 다시 한번 지속하여 "차세대 혁신"을 발견할 수 있게 됨.

원문보기 | X 게시물로 보기

#ai #pluralis #hyperbolic

Pluralis - Protocol Learning을 활용한 오픈소스 AI

간단한 소개

• 유니온 스퀘어 벤쳐스(USV)와 코인펀드(CoinFund)가 주도한 7.6M$의 시드라운드 투자
• 프로토콜 러닝(Protocol Learning)을 통해 진정한 오픈소스 AI 생태계를 구축하려는 프로젝트
• Pluralis의 파이프라인 병렬성 논문이 ICML에 채택되기도 함 (International Conference on Machine Learning 은 머신러닝 분야에서 가장 권위 있고 경쟁이 치열한 학술 대회 중 하나)

프로토콜 모델

• 컴퓨팅 자원 제공자들은 오픈소스 AI 모델 훈련에 자신의 컴퓨팅 파워를 기여
• 대가로 해당 모델이 나중에 생성하는 추론 수익(모델 사용 수익)에 대한 소유권 지분을 획득
• 소유권 가치는 모델의 성능과 활용도에 따라 결정되므로, 참여자들은 자연스럽게 좋은 품질의 훈련을 제공할 동기가 생김

핵심 기술적 혁신: 모델 병렬 처리

• 일반적인 접근법과 달리, 전체 모델을 여러 참여자에게 나누어 분산 저장(샤딩)
• 각 참여자는 전체 가중치의 아주 작은 부분만 볼 수 있어, 누구도 모델 전체를 추출할 수 없음
• 이를 통해 여러 참여자가 함께 대규모 모델을 훈련할 수 있으면서도, 누구도 모델을 훔칠 수 없음.

"추출 불가능한(Unmaterializable)" 모델의 개념

• 가장 혁신적인 부분은 모델이 "추출 불가능"하다는 점
• 모델은 훈련도 가능하고 사용도 가능하지만, 모델이 여러 조각으로 나뉘어 있어, 어느 누구도 전체 모델을 복사하거나 유출할 수 없음..
• 모델을 처음부터 다시 훈련하는 것보다 더 많은 컴퓨팅 파워가 필요하기 때문

=> 이런 특성은 오픈소스 AI의 중요한 문제점인 대형 기업이 오픈소스 프로젝트의 성과물을 쉽게 가져가서 독점적으로 활용하는 것을 방지

오픈소스 AI의 자원 문제 해결

위와 같은 접근법이 오픈소스 AI의 "자원 문제"를 해결하는 방법
• 소유권(토큰)을 통한 인센티브 구조 제공
• 자원 기여자에게 경제적 보상을 제공하여 지속 가능한 생태계 구축
• 개인도 대규모 AI 모델 개발에 참여할 수 있는 길 제공

지금 할수 있는것

• compute allowlist (지금 단계에서는 개인으로 참여할수 있는지가 명확하지 않음. 확인 후 추가 예정)
• Participate in the reading group : 리딩그룹에 참여하기

(중요) 디스코드롤 획득

커뮤니티 롤
• Early : 우리 커뮤니티의 개척자들. 초창기에 합류
• Content Creator : 글쓰기와 예술적 표현으로 커뮤니티에 생명과 개성을 불어넣는 창의적인 사람
• Citizen : 토론에 꾸준히 참여하고 긍정적인 분위기를 만드는 핵심 멤버
• Patron " 이벤트를 조직하고, 새 멤버를 환영하며, 긍정적인 분위기를 유지하는 모범적인 구성원
• Archon : 오랜 기간 커뮤니티의 가치에 헌신하고, 문화와 미래를 함께 만들어가는 베테랑 리더들입니다.

Reading group 롤
• Student : 독서 모임에 새로 합류해 호기심과 배움의 의지를 보이는 신입 멤버
• Scholar : 독서 자료를 깊이 이해하고 토론에서 소중한 통찰을 제공하는 헌신적인 멤버
• Sage : 꾸준히 뛰어난 통찰을 보여주고, 토론을 이끌며 다른 멤버의 학습을 돕는 독서 모임의 베테랑

전 Archon, Sage를 한번 노려보겠습니다!!!

프로젝트를 첨 알게 해준 https://t.me/ewlresearch 아울에게 감사!!
https://x.com/jeg6322/status/1918951512874844307

디스코드 | X

#ai #pluralis

Pluralis 공지

안타깝게도, 우리는 노력이 적은/AI 생성 콘텐츠가 증가하고 있음을 발견했습니다. 이것은 우리 프로젝트의 미디어 존재에 득보다 실이 더 많습니다.

이 문제를 해결하기 위해 우리는 모든 사람에게 다음을 요청합니다.
- 콘텐츠를 만들 때 독창적인 생각을 공유하세요.
- 토론 가치가 없는 복사 붙여넣기를 하지마세요.
- 창의력을 발휘하세요: 논문, 블로그, 독서 세션, X 업로드에서 아이디어를 끌어내세요... 등.

양산형 컨텐츠 만들지말라고 하네요...

#pluralis

Pluralis 커뮤니티 업데이트 안내

• Pluralis의 핵심목표는 '유기적이고 가치 중심적인 연구 및 학습 허브'
• 양보다 질을 우선하기 위해, Engage 봇과 관련 채널을 단계적으로 종료
• XP/포인트는 새롭게 도입될 ‘Volunteer Training program’ 에만 적용예정
• 커뮤니티의 미션에 직접적으로 기여하는 실질적인 활동에 대해 보상할 예정

채널 구조 변경

• forum: 프로토콜 학습 관련 논의만을 위한 전용 공간
• casual-chat: 자유로운 잡담과 오프토픽 대화를 위한 공간
• ⁠your-posts: 여러분의 창작물을 공유하는 공간 (AI 생성 콘텐츠 자제 부탁)
• ⁠art: 스티커, 이모지, 작품, 디자인 아이디어 등 여러분의 창의력 표현
=> 불필요한 혼잡을 줄이고, 의미 있는 기여를 돋보이게 하며, 모든 분들이 원하는 콘텐츠를 더 쉽게 찾고 참여하기 위한 개편

원문공지

#pluralis #ai

Pluralis - 분산형 학습의 마일스톤 달성 및 Genesis Run 안내

대규모 언어 모델을 인터넷에 연결된 일반 소비자 기기들에 분산시켜 학습시켰고, 속도나 성능 저하 없이 성공적으로 구현되는 분산학습의 마일스톤을 달성

지금까지의 한계

• 기존에는 대규모 모델 학습이 빠른 네트워크로 연결된 여러 GPU를 활용하는 데이터 센터에서만 가능했음.
• 이 구조를 인터넷을 통해 복제하려 하면, 네트워크 속도가 데이터센터 대비 100~300배 느려 심각한 속도 저하가 발생
• 압축을 시도하면 모델 내부의 통신이 깨지고, 에러가 누적되서 학습이 실패하는 결과 발생

Protocol Models의 혁신

• 거대한 AI 모델을 레고 블록처럼 쪼개서 전 세계 일반인들의 스마트폰·컴퓨터에 나눠 설치해서 각 기기는 모델의 한 부분만 담당하게 함.
• 모든 AI 모델 블록에 숨겨진 '공통 암호' 패턴을 찾아내 전체 데이터 중 핵심 1%만 전송해도 충분한 구조
• 각 블록이 공유하는 '기본 규칙'을 만들어 복잡한 설명대신 코드로만 주고 받을수 있게 압축
=> AI 모델 구조 자체에 이미 내재된 압축 가능성을 이용하여 인터넷 환경에서도 데이터센터 수준의 속도와 대규모 모델 학습이 가능하게 함.

의미와 가능성

• 누구나 전 세계적으로 분산된 컴퓨팅 자원을 모아, 개인 단위로는 불가능했던 대규모 모델을 학습할 수 있음.
• 모델이 노드에 분산되므로, 프로토콜이 모을 수 있는 컴퓨트가 곧 한계 => 한계점을 늘리기 위해서 공급되는 컴퓨트 수를 늘려야함

진정한 커뮤니티 기반·소유의 대형 모델이 탄생 가능 + 기존의 어떤 방식보다 훨씬 더 크게 모델을 확장 가능

• 중앙 집중형 학습에서도 네트워크 속도의 중요성이 줄어듦.
• 스팟 인스턴스 기반 학습이 가능해짐
• 추론 속도도 빨라짐

우리가 해야할 것

최초의 커뮤니티 Protocol Model인 Pluralis의 Genesis Run을 라이브로 시작할 예정
=> 이를 위한 구글폼 제출하기
(실제로 자기가 공급할 수 있는 사양에 맞게 구글폼을 제출하면 될 것 같음)

원문보기 | Genesis run을 위한 구글폼

#pluralis #ai