Gemstone
A local alternative to Ollama: one engine serving many models, with a chat app on every platform.Ollama의 로컬 대안: 여러 모델을 서빙하는 엔진 하나와 모든 플랫폼의 채팅 앱.
Overview개요
Gemstone, built with LogitAI, is the ecosystem's flagship application: a local model server and a chat app for every platform.
LogitAI와 함께 만드는 Gemstone은 생태계의 대표 앱입니다. 로컬 모델 서버와 모든 플랫폼용 채팅 앱입니다.
The problem it solves푸는 문제
Running models locally usually means one model per process, one API shape, and a desktop-only client. Gemstone serves several models from one engine and reaches every device.
모델을 로컬에서 돌리면 보통 프로세스마다 모델 하나, API 모양 하나, 데스크톱 전용 클라이언트입니다. Gemstone은 엔진 하나에서 여러 모델을 서빙하고 모든 기기에 닿습니다.
How it works동작 방식
- Engine: several resident models, continuous batching, OpenAI- and Ollama-compatible APIs with tool calls passed through.
- App: a Compose Multiplatform chat client for desktop, web, Android and iOS.
- 엔진: 여러 모델 상주, 연속 배칭, 도구 호출을 그대로 넘기는 OpenAI와 Ollama 호환 API.
- 앱: 데스크톱, 웹, Android, iOS용 Compose Multiplatform 채팅 클라이언트.
Where it fits생태계 안의 위치
torchnative serves its models; the app is built on Compose Multiplatform and will run inference on the device through python-multiplatform and torchnative.
torchnative가 모델을 서빙하고, 앱은 Compose Multiplatform 위에 만들며, python-multiplatform과 torchnative로 기기에서 추론하게 됩니다.
Where it stands현재 상태
Working: the server and the desktop, web and Android apps. Builds: the iOS app.
동작: 서버와 데스크톱, 웹, Android 앱. 빌드: iOS 앱.
Future design미래 설계
On-device inference in the app itself, through torchnative, so the chat app needs no server at all.
torchnative로 앱 안에서 온디바이스 추론을 해서, 채팅 앱에 서버가 아예 필요 없게 합니다.