torchnative
torchnative

The real PyTorch, on device. Only torch._C is ours.진짜 PyTorch 를 기기에서. 우리 것은 torch._C 하나뿐.

Models are not ported, converted or re-expressed. They are imported. torchnative replaces PyTorch's compiled core with a native Rust extension, so the genuine torch and transformers packages run on a phone the way they run on a workstation.

모델을 포팅하거나 변환하거나 다시 쓰지 않습니다. import 합니다. torchnative 는 PyTorch 의 컴파일된 핵심만 Rust 네이티브 확장으로 바꿔, 진짜 torch 와 transformers 가 워크스테이션에서처럼 휴대폰에서 돌게 합니다.

Get started시작하기 How it works동작 원리 GitHub 
uv add --prerelease allow torchnative

The idea, in one picture한 장으로 보는 아이디어

Everything above the door is upstream source, unmodified. The door (and what sits behind it) is the whole of this project.

문 위쪽은 전부 upstream 소스 그대로입니다. 그 문과 그 뒤에 있는 것이 이 프로젝트의 전부입니다.

Philosophy철학

01

Import, don't port포팅하지 말고 import 하라

A façade that imitates transformers would make a real CPython on the device pointless. The goal is import transformers succeeding on the device.

transformers 를 흉내내는 파사드는 기기 위의 진짜 CPython 을 무의미하게 만듭니다. 목표는 기기에서 import transformers 가 성공하는 것입니다.

02

One door문은 하나

Every operator passes _aten_dispatch. The surface is measurable, and graph capture has exactly one place to attach.

모든 연산자는 _aten_dispatch 를 지납니다. 표면을 셀 수 있고, 그래프 캡처가 붙을 자리는 정확히 하나입니다.

03

Refuse by name이름으로 거부한다

What is not supported says so, with the reason. A silent CPU fallback is made unrepresentable, not merely avoided.

지원하지 않는 것은 이유와 함께 그렇다고 말합니다. 조용한 CPU 폴백은 피하는 것이 아니라 표현할 수 없게 만듭니다.

04

Measured, not claimed주장이 아니라 측정

Correct means agreeing with upstream PyTorch, element by element, at a tolerance derived from upstream's own error.

정확하다는 것은 upstream PyTorch 와 원소 단위로 일치한다는 뜻이고, 허용오차는 upstream 자신의 오차에서 유도합니다.

Three grades of claim주장의 세 등급

buildscompiles; symbols resolve. Not a claim about computing.컴파일되고 심볼이 해결된다. 계산에 대한 주장이 아니다.
reachesimports; the forward pass runs to the end.import 되고 forward 가 끝까지 간다.
agreesproduces upstream's numbers. Only this supports “drop-in”.upstream 의 숫자를 낸다. “drop-in” 을 지탱하는 것은 이것뿐.

What it is for무엇을 위한 것인가

An on-device AI library: test-time learning (adaptation and training) and federated learning on real models, with kernel optimisation across platforms on top. It is not a reimplementation of PyTorch, not an export pipeline, and not torch.compile.

온디바이스 AI 라이브러리입니다: 진짜 모델 위의 테스트 타임 학습(적응·학습)과 연합학습, 그 위에 멀티플랫폼 커널 최적화. PyTorch 의 재구현도, export 파이프라인도, torch.compile 도 아닙니다.

Getting started시작하기 →