mac-lokal-vison: Kompakt på-enhetens visionsserver för macOS-agenter
mac-local-vision, av Junmo Kim, är en lättvikts Model Context Protocol-server och CLI som ger macOS-appar visuell kontext på enheten för AI-agenter och automation. Den kör Apples Vision och FoundationModels lokalt för att utföra OCR, bildklassificering, streckkodavkodning och UI-lokalisering med låg latens för agentverktyg. Nyckelfunktioner inkluderar zero-token lokal OCR, pixel-exakta textkoordinater, strukturerad dokumentutvinning och ansiktsgruppering. Utvecklare, QA-ingenjörer och integritetsmedvetna användare får privat, hårdvaruaccelererad vision för Mac-agentarbetsflöden.
Det uppnår subsekund, hårdvaruaccelererad visuell igenkänning
Verktyget är en enda, ren Swift-binär på ungefär 550 KB utan externa körningsberoenden, som använder inhemska Vision och FoundationModels-ramverk. Den designen ger mycket låg latens för vanliga uppgifter, med OCR rapporterat på cirka 0,3s. Appen avkodar Vision-stödda 1D- och 2D-streckkoder i ett samtal och utför dokumenträtning för att platta ut fotograferade sidor, allt utan att skicka data från maskinen.
Utdata är strukturerade för automatisering och verifieringsarbetsflöden
mac-local-vision returnerar maskinvänliga utdata som passar automatiserad testning och agentåtgärder: det tillhandahåller pixel-exakta koordinater för specifika ord för att möjliggöra klick eller påståenden, och strukturerad dokument-OCR som bevarar titlar, stycken, tabeller och listor. Bildklassificering använder en taxonomi av över 1 300 etiketter och lokal ansiktsgruppering klustrar foton efter person. Den inbyggda MCP-servern stöder stdio och HTTP JSON-RPC för integration i agentpipelines.
Integritetsförst design och plattformsbegränsningar formar praktisk användning
Appen bearbetar bilder helt på den lokala Mac-datorn, så ingen visuell data lämnar enheten och inga molntokens krävs. Den riktar sig mot Apple Silicon och kräver macOS 26 eller senare; vissa multimodala funktioner, inklusive beta ask-kommandot, behöver macOS 27 beta och Apple Intelligence. Distribution kräver en MCP-kompatibel klient och kan installeras via Homebrew, mise-verktyget eller en förbyggd binär nedladdning.
ett fokuserat val för Mac-först agent och QA arbetsflöden
mac-local-vision är ett praktiskt alternativ för team som integrerar lokal visuell kontext i MCP-baserade agentverktyg och accepterar Mac-endast distribution. Dess lilla körning och lokala bearbetning minskar externa beroenden, men användare bör validera igenkänningsresultat mot sina egna UI-teman och fotograferade dokument eftersom visuella ingångar varierar. Verktyget passar bäst för projekt som prioriterar integritet och nära integration med Apple-hårdvara och agentklienter.
