based는 런치패드 이거 계속 진행하는건가용

pulldotfun은 랭크 12등이고, 눈치는 트위터 게시물 텀도 엄청 기네...

FLock에서 AI의 에너지 문제와 분산형 인프라에 대한 스레드를 올렸네요. 내용을 정리해보면,

AI의 전력 소비는 모델을 훈련할 때만 발생하는 게 아니라 실제 서비스에서 답변을 생성하는 추론 과정에서 계속 누적되고 이 추론이 전체 AI 에너지 수요의 약 80~90%를 차지함.

현재 중앙형 데이터센터는 연산 효율이 높지만, 전 세계 약 4,400개 시설이 여전히 화석연료 비중이 60%가 넘는 전력망 위에서 운영되고 있다는 문제가 존재.

FLock이 제시한 대안은 크게 두 가지
• 분산 추론: 하나의 작업을 여러 기기에 나눠 처리해 데이터 이동과 대역폭, 전력 사용을 줄이는 방식
• 연합학습: 원본 데이터는 각 지역과 기기에 남겨두고, 로컬에서 학습한 모델 업데이트만 모아 결합하는 방식

Cambridge 연구진도 연합학습이 여러 일반적인 조건에서 중앙집중식 학습보다 탄소 배출을 낮출 수 있다고 분석했고, 원본 데이터를 외부로 보내지 않아도 된다는 점에서 프라이버시 측면의 장점도 있음.

FLock은 실제로 Swinburne 쿠칭 캠퍼스의 GPU 25개를 연결해 사라왁 말레이어 모델을 학습했는데, 언어 데이터를 사라왁 밖으로 내보내지 않았고, 장비 한 대가 연결 해제된 상황에서도 모델 서비스가 계속 작동해서 결과를 만들어 낸 경험이 있음.

개인적으로 FLock은 그동안 연합학습을 데이터 프라이버시와 주권의 관점에서 주로 설명해왔는데, 이번에는 같은 구조를 에너지 효율과 장애 복원력까지 확장해서 보여준 점이 흥미로운 내용인거 같네요. 단순히 ‘탈중앙화 AI가 친환경적이다’라는 주장으로 끝나기보다, 앞으로 중앙형 데이터센터와 비교한 추론 1회당 전력·비용·속도 수치까지 공개된다면 FLock이 말하는 분산형 AI의 효용도 좀 더 선명해질 것 같습니다.

https://x.com/flock_io/status/2092528080908894564?s=46