Was ist ein screen-aware Sprachassistent?
Ein screen-aware Sprachassistent kombiniert Echtzeit-Sprachgespräch mit geteiltem Bildschirmkontext. Wenn der Nutzer Screen Awareness aktiviert und sein Display teilt, kann HEIDI sehen, was auf dem Bildschirm ist, UI-Elemente hervorheben, durch Formulare und Workflows führen und Fragen mit Operational Knowledge beantworten — mit menschlicher Freigabe vor sensiblen Klicks oder Aktionen.
Fähigkeiten
Was Sie mit HEIDI erreichen
Sehen, was Sie teilen
Mit aktivierter Screen Awareness versteht HEIDI den sichtbaren UI-Kontext.
Das richtige Element hervorheben
HEIDI kann auf Felder, Buttons und Bereiche auf Ihrem geteilten Bildschirm zeigen.
Kurzzeit-Screen-Kontext
Ausgelegt für fokussierte Sessions — Onboarding, Troubleshooting, Training — keine unbegrenzte Aufzeichnung.
Wissensfundierte Führung
Antworten referenzieren freigegebene SOPs, Handbücher und operative Maps.
Klicks brauchen Bestätigung
UI-Interaktionen, die den Zustand ändern, warten auf explizite Nutzerbestätigung.
Anwendungsfälle
Wo Teams HEIDI einsetzen
Echte Workflows, die von visuellem Design, Automatisierung und Governance profitieren.
SOP-Onboarding mit Voice + Screen Share
Ein neuer Mitarbeiter teilt den Bildschirm; HEIDI führt Schritt für Schritt durch das freigegebene Verfahren.
Siehst du meinen Bildschirm? Führe mich zum nächsten Schritt
HEIDI liest das Formular, hebt das benötigte Feld hervor und erklärt, was einzutragen ist.
Workflow-Schritt mit UI-Hervorhebungen troubleshooten
Support Ops teilt den Bildschirm; HEIDI identifiziert, wo der Prozess von der SOP abwich.
Neuen Mitarbeiter durch einen Browser-Workflow schulen
HEIDI erzählt jeden Schritt, hebt Steuerelemente hervor und beantwortet Fragen aus dem Schulungshandbuch.
Requirements-Session: Kriterien aus geteiltem Kontext extrahieren
Während eines Live-Reviews erfasst HEIDI strukturierte Anforderungen aus dem Sichtbaren und Besprochenen.
So funktioniert's
Von Chaos zu Klarheit in 4 Schritten
Screen Awareness aktivieren
Screen-Awareness-Skill in Ihrer HEIDI-Konfiguration aktivieren.
Display teilen
Den Browser-Tab oder das Fenster teilen, das HEIDI beobachten soll.
Sprechen und zuhören
Echtzeit-Voice mit Live-Transkription — Fragen natürlich stellen.
Verankern und hervorheben
HEIDI fragt Wissen ab und hebt relevante UI-Elemente auf dem Bildschirm hervor.
Vor dem Handeln bestätigen
Klicks und Systemaktionen warten auf Ihre explizite Freigabe.
Vermeiden Sie diese
Häufige Fehler (und wie Sie sie vermeiden)
Bildschirm teilen ohne Skill-Aktivierung
Screen Awareness muss explizit aktiviert werden — HEIDI beobachtet Ihr Display nicht standardmäßig.
Screen Awareness in der Konfiguration aktivieren, bevor eine geführte Session startet.
Erwarten, dass HEIDI ohne Bestätigung klickt
UI-Klicks, die den Anwendungszustand ändern, erfordern explizite Nutzerbestätigung.
Hervorhebungen und Voice-Führung nutzen; Klicks freigeben, wenn Sie bereit sind.
Hören → Sehen → Verankern → Entscheiden → Handeln
Screen-aware Sessions folgen derselben operativen Schleife wie jede HEIDI-Voice-Interaktion:
- Hören — Echtzeit-Sprache und Transkription
- Sehen — geteilter Bildschirmkontext, wenn aktiviert
- Verankern — Operational Knowledge und Policies abfragen
- Entscheiden — zusammenfassen, empfehlen, hervorheben
- Handeln — nur mit Freigabe für sensible Schritte
Ausgelegt für fokussierte Sessions — Onboarding eines neuen Mitarbeiters, Troubleshooting eines hängenden Workflows oder Erfassung von Anforderungen — nicht für passive Always-on-Überwachung.