AI Dev Impact Lab JA
← Rankings · AI-RELATED REPO

krackerjax/localai

OpenAI-compatible router that keeps as much work as possible on-prem

Python MIT GitHub ↗
★ 0
stars
65
AI relevance
50
solo dev
1
tool sigs

SUMMARY AI summary by gpt-5-mini

このリポジトリは「ローカル優先」でリクエストごとに実行先を切り分けるLLMルーターです。目的は可能な限りオンプレミス(小型GPU→LANの大容量GPU)で処理し、必要な場合のみクラウド(Anthropic Claude)を使うこと。主な利用者はプライバシー重視やコスト抑制を図る開発者・運用者です。 主な機能: - 3層バックエンド:small-local(このPC, GTX1070 + Ollama, qwen2.5:7b)、big-lan(LAN上のRTX5090, WoLで起動、qwen3-coder:30b)、cloud(Anthropic Claude)。 - ルーティング:ヒューリスティクス(長さ・コード/数学検出・PIIフラグ等)+不確かならLLMをルーターに使う方式。ユーザーの明示的オーバーライド(@1070/@5090/@claude)対応。 - エスカレーションチェーンやフォールバック(big-lanが起動不能ならクラウドへ)と、リクエストごとのログ(経路・遅延・トークン・コスト)で閾値調整。 - クライアント:OpenAI互換APIを公開、Discordボット同梱。Docker Composeで起動可能。評価スイートあり(現状ヒューリスティック精度87.1%)。 ミルestones達成:Ollama上で7Bモデル稼働、Pythonルーター実装、ログと評価データ追加。未解決事項としてルーター戦略、キャッシュ、ストリーミング課金計算、プライバシーポリシー等が挙がっています。

AI Coding Tools Used

This repository contains config files from these AI coding tools, indicating AI-assisted development.

Claude Code CLAUDE.md

DETECTED Detected AI stack

AI-related keywords found in this repo's description, topics, or README summary — grouped by category. Each badge links to the corresponding ranking detail page.

🧠 LLM providers (3)
Anthropic OpenAI Ollama
🤖 LLM models (3)
Claude Llama Qwen

Language breakdown (by bytes)

Python
96.2%
Batchfile
1.3%
Dockerfile
1.3%
PowerShell
1.2%

Owner

Account
krackerjax
Type
User
Followers
0

Dates

Created on GitHub 2026-05-09
Last push 2026-05-09
First seen here 2026-05-09
Last fetched 2026-05-09 18:12

Similar repos (same language)

WenyuChiou/awesome-agentic-ai-zh

AI Agent 中文學習地圖 — 從零開始的結構化學習路徑,每階段有必做練習跟必修閱讀。三語對照(繁中/简中/English)。歡迎社群一起貢獻、優化內容。

Python 516 AI 100
lonr-6/cc-desktop-switch

Lightweight desktop tool for configuring DeepSeek, Kimi, Zhipu GLM and Bailian providers in Claude Desktop.

Python 347 AI 45
TomSolid/myPKA

My whole life. One folder. No vendor. myPKA is a Personal Knowledge Architecture with a 4-person AI team baked in. Plain markdown files on your machine. ICOR® methodology. Works in Claude Code, Codex, Gemini, Cursor, Obsidian.

Python 56 AI 70
linora-u/AgentLoom

Simple, flexible workflow orchestration for multi-agent AI apps, with YAML configuration, runtime safety, observability, and resume support.

Python 29 AI 70
oodadoudou/Transoria

AI desktop toolkit for novel translation, glossary management, and batch text replacement.

Python 24 AI 45
hieuchaydi/MemoryFeed

Local-first social memory search engine with browser capture, hybrid AI retrieval, and optional C++ acceleration.

Python 14 AI 70
alias8818/enoch-agentic-research-system

Agentic research control plane with local proof, provenance packaging, and explicit audit-status reporting.

Python 11 AI 45
helderpgoncalves/feedbot

Turn community chat into a structured product backlog — Telegram + dashboard + MCP for Claude Code.

Python 6 AI 70