Захват источников и действийCapturing sources and actions

Вкладка Захват собирает экранные области, окна, мониторы, камеры, URL-потоки и локальные медиа в одну временную шкалу. Здесь можно записать равномерную серию кадров или последовательность пользовательских действий, проверить материал и только затем передать его в разметку и CV. The Capture tab brings screen regions, windows, monitors, cameras, URL streams and local media into one timeline. You can record a timed frame series or a sequence of user actions, review the material and only then hand it to markup and CV.

1. Четыре группы источников1. Four source groups

  • ЭкранScreen — область виртуального рабочего стола, физический монитор или конкретное окно.a virtual-desktop region, physical monitor or a specific window.
  • КамераCamera — live-источник с выбранным индексом устройства и backend OpenCV.a live source with a selected device index and OpenCV backend.
  • Файлы / папкиFiles / folders — единый менеджер одного или нескольких изображений, видео и каталогов, а не два отдельных режима «видеофайл» и «папка кадров».one manager for one or more images, videos and directories, rather than separate “video file” and “frame folder” modes.
  • Поток / URLStream / URL — RTSP, HTTP и другие адреса, которые может открыть выбранный backend OpenCV.RTSP, HTTP and other addresses supported by the selected OpenCV backend.

Граница:Boundary: запись доступна для экрана, камеры и потока. Локальные файлы и папки подключаются для навигации и playback; Screph не записывает их повторно.recording is available for screen, camera and stream sources. Local files and folders are attached for navigation and playback; Screph does not record them again.

Сеть и credentials. Для Поток / URL выбранный OpenCV/FFmpeg/GStreamer backend соединяется с endpoint напрямую; это не upload в Screph Cloud. URL сохраняется в общих settings Capture. Не встраивайте долгоживущий пароль/token в URL без необходимости и считайте файл настроек чувствительным, если endpoint содержит credentials.Network and credentials. For Stream / URL, the selected OpenCV/FFmpeg/GStreamer backend connects directly to the endpoint; this is not an upload to Screph Cloud. The URL is stored in shared Capture settings. Avoid embedding a long-lived password/token in the URL and treat the settings file as sensitive when the endpoint contains credentials.

2. Что именно захватывать на экране2. What to capture on screen

Для источника Экран выберите область захвата до начала записи:For the Screen source, choose the capture scope before recording:

  • Выбранная областьSelected region — прямоугольник в координатах виртуального рабочего стола; область может пересекать несколько мониторов.a rectangle in virtual-desktop coordinates; it may span multiple monitors.
  • Выбранный мониторSelected monitor — конкретный физический output из списка.a specific physical output from the list.
  • Активный мониторActive monitor — монитор активного окна на момент захвата.the monitor containing the active window at capture time.
  • Выбранное окноSelected window — окно, привязанное к HWND, процессу и классу; для него можно включить или скрыть курсор.a window bound to its HWND, process and class; cursor capture can be enabled or disabled.
  • Следовать за активным окномFollow active window — переключать цель вслед за активным окном, исключая само приложение Screph.follow the active window while excluding the Screph application itself.

Области и мониторы захватываются через DXcam/DXGI, окна — через Windows Graphics Capture. Закрытое или свернутое окно, исчезнувший монитор и ошибка backend показываются явно: программа не подменяет выбранную цель другим источником.Regions and monitors use DXcam/DXGI; windows use Windows Graphics Capture. A closed or minimized window, missing monitor or backend error is reported explicitly: the application does not silently replace the selected target with another source.

3. Менеджер файлов и папок3. Files and folders manager

  1. Выберите Файлы / папки и нажмите Выбрать….Select Files / folders and press Select….
  2. Добавьте несколько файлов и каталогов либо перетащите их из Explorer.Add multiple files and directories or drag them in from Explorer.
  3. Для каталогов при необходимости включите поиск во вложенных папках.Enable recursive folder scanning when needed.
  4. Дождитесь асинхронной проверки каждой строки и примените только корректные источники.Wait for asynchronous validation of each row and apply only valid sources.

Изображения поддерживаются в PNG, JPG/JPEG и BMP. Для видео используются MKV, AVI, MP4, MOV/M4V, WEBM, MPEG/MPG. История выбора хранится в контексте проекта и позволяет повторно загрузить прежний набор.Images are supported as PNG, JPG/JPEG and BMP. Video formats include MKV, AVI, MP4, MOV/M4V, WEBM and MPEG/MPG. Selection history is project-scoped and can reload a previous set.

Offline-видео читается по точным PTS/time-base через PyAV. Отдельный OpenCV path допускает только явно проверенный CFR-материал; неподтверждённый VFR не маскируется приблизительным FPS.Offline video is read using exact PTS/time-base through PyAV. The separate OpenCV path accepts only explicitly validated CFR material; unverified VFR is not hidden behind an approximate FPS value.

4. Две стратегии записи4. Two recording strategies

timed — по времениtimed capture

Screph получает кадры с заданным FPS. Используйте этот режим для динамики экрана, видеоанализа и равномерной временной серии.Screph acquires frames at the configured FPS. Use it for screen motion, video analysis and an evenly sampled time series.

action_sequence — последовательность действийaction sequence

Screph регистрирует мышь и клавиатуру и связывает действие с кадрами состояния до, во время и после него. Этот режим подходит для воспроизводимых GUI-сценариев: timeline хранит не только картинки, но и Action Trace.Screph records mouse and keyboard activity and associates each action with state frames before, during and after it. This mode is intended for reproducible GUI workflows: the timeline stores an Action Trace as well as images.

Пауза и остановка завершают или приостанавливают активную стратегию. Настройки action sequence управляют задержками, кадрами вокруг действия, группировкой повторов клавиш и включением кадров перемещения мыши.Pause and stop affect the active strategy. Action-sequence settings control delays, frames around an action, key-repeat grouping and whether mouse-move frames are included.

5. Timeline, навигация и редактирование5. Timeline, navigation and editing

  • Scrubber, покадровые переходы, playback, скорость и loop работают для записанного и импортированного материала.The scrubber, frame stepping, playback, speed and loop controls work for recorded and imported media.
  • Диапазон на timeline можно выделить и удалить; связанные записи действий переназначаются к оставшимся кадрам, а не остаются с устаревшими индексами.A timeline range can be selected and deleted; related action records are remapped to the remaining frames instead of retaining stale indexes.
  • Для сохранённых связей используются устойчивые ссылки source/frame и timeline placement. Один глобальный номер кадра не считается достаточной идентичностью.Persisted links use durable source/frame references and timeline placements. A global frame number alone is not treated as sufficient identity.
  • Недоступная позиция возвращается как диагностируемый gap; temporal reader не перескакивает её молча.An unavailable position is returned as a diagnosable gap; the temporal reader does not skip it silently.

Кнопка Превью открывает отдельное Qt/PySide-окно. Информация о кадрах, длительности, памяти и текущем пути остаётся на основной вкладке.The Preview button opens a separate Qt/PySide window. Frame, duration, memory and current-path information remains on the main tab.

6. Разметка действий через CV и VLM6. Action labeling with CV and VLM

Action CV доступен только для источника Экран и стратегии action_sequence. Сначала выберите provider событий ввода: default disabled блокирует старт записи. Для автоматической обработки после остановки нужны оба флажка — Делегировать разметку VLM и Запускать после остановки записи. Кнопка Разметить VLM запускает полный повтор вручную независимо от этих флажков.Action CV is available only for the Screen source and the action_sequence strategy. Select an input-event provider first: the disabled default blocks recording. Automatic processing after recording stops requires both Delegate labeling to VLM and Run after recording stops. The Label with VLM button starts a full manual rerun independently of those toggles.

Безопасные defaults ничего не отправляют и не создают CV-кандидата. Политика block_unredacted формирует blocking diagnostic до вызова provider. После осознанного выбора roi_only передаётся полноразмерный кадр с закрашенной областью вне ROI; allow_unredacted разрешает исходный кадр. Default-контракт object_descriptor возвращает описание и рекомендацию будущего поиска, но не исполняет CV. Для кандидатов выберите CV-план или hybrid-контракт и отдельно включите Выполнять CV-планы VLM.The safe defaults neither send data nor create a CV candidate. The block_unredacted policy produces a blocking diagnostic before any provider call. After explicitly selecting roi_only, Screph sends a full-size frame with everything outside the ROI painted over; allow_unredacted permits the original frame. The default object_descriptor contract returns a description and future-search recommendation but does not execute CV. To obtain candidates, select the CV plan or hybrid contract and separately enable Execute VLM CV plans.

Что получает выбранная CV-модельWhat the selected CV model receives

  • Используется явное назначение LLM-роли cv; скрытого fallback на другой profile/model нет. Profile может указывать локальный runtime или внешний provider.The explicit cv LLM-role assignment is used; there is no hidden fallback to another profile or model. The profile may target a local runtime or an external provider.
  • Prompt содержит нормализованное действие — type, time, source, key/button и координаты, когда они есть, — target point/ROI hint, metadata подготовленных кадров, их hashes, выбранный response contract и разрешённый каталог CV-методов.The prompt contains the normalized action—type, time, source, key or button and coordinates when present—plus the target point and ROI hint, prepared-frame metadata and hashes, the selected response contract and the allowed CV-method catalogue.
  • По умолчанию выбираются максимум три кадра в порядке action, after, before. Blocking privacy diagnostic останавливает запрос до client call.By default, at most three frames are selected in action, after, before order. A blocking privacy diagnostic stops the request before the client call.
  • Успешные общие LLM-вызовы оставляют usage metadata, а Action CV по умолчанию дополнительно сохраняет requests, raw response payloads и response cache внутри каталога записи.Successful shared LLM calls leave usage metadata, while Action CV also stores requests, raw response payloads and a response cache inside the recording directory by default.

Review, exports и проектReview, exports and the project

  1. Timeline и review panel показывают status, overlay/action/before/after/mask, trace, confidence и diagnostics. Ошибочные действия можно повторить отдельно или группой; cancel является cooperative request.The timeline and review panel show status, overlay/action/before/after/mask views, trace, confidence and diagnostics. Failed actions can be retried individually or as a group; cancel is a cooperative request.
  2. Кандидат можно принять, отклонить, выбрать из альтернатив или исправить bbox. Решение записывается в review JSONL.You can accept or reject a candidate, choose an alternative or correct its bounding box. The decision is appended to review JSONL.
  3. Принять сразу пересобирает derived screen-elements/targets/project patch и, если рядом уже есть automation context, обогащает его шаги. Это ещё не меняет canonical Canvas.Accept immediately rebuilds derived screen-element, target and project-patch artifacts and enriches existing automation-context steps when present. It still does not mutate the canonical Canvas.
  4. В проект — отдельная mutation-команда: она импортирует текущий patch в Canvas через undo/history gateway и повторно обновляет элементы по candidate ID. После этого сохраните canonical project.Into project is a separate mutation command: it imports the current patch into the Canvas through the undo/history gateway and updates existing elements by candidate ID. Save the canonical project afterwards.

Проверяйте export/import status. Текущий review panel не показывает ошибку пересборки derived exports; при проблеме диска старый patch может остаться на месте. Полный ручной повтор удаляет каталог action_cv вместе с прежними requests, responses, decisions и exports, но не откатывает уже записанное обогащение соседнего automation_context. Перед повтором сохраните нужные материалы, а после него заново проверьте accepted targets и импорт.Verify export and import status. The current review panel does not surface a derived-export rebuild failure, so an older patch may remain after a disk problem. A full manual rerun removes the action_cv directory, including prior requests, responses, decisions and exports, but does not roll back enrichment already written into the adjacent automation_context. Preserve anything you need before rerunning, then re-check accepted targets and project import.

Настроить LLM-подключение и правила передачи данных →Configure an LLM connection and data-transfer rules →

7. Хранение, настройки и экспорт7. Storage, settings and export

  • ram_images — кадры в памяти с ограничениями буфера.frames in memory with buffer controls.
  • disk_images — кадры на диске проекта для более длинных сессий.frames on project storage for longer sessions.
  • Экспорт PNG выполняется фоновым worker; доступно авто-сохранение по интервалу кадров.PNG export runs in a background worker; interval-based auto-save is available.
  • FPS, стратегия записи, scope, buffer, playback, export и source settings сохраняются в общих настройках Screph. Тот же контракт редактируется в Настройки → Настройки CV → Настройки захвата.FPS, recording strategy, scope, buffer, playback, export and source settings are stored in Screph settings. The same contract is editable under Settings → CV settings → Capture settings.

8. Если источник не работает8. If a source does not work

  • Окно пустое или остановилось:Window is blank or stopped: проверьте, не свернуто и не закрыто ли оно, затем обновите список целей и выберите окно заново.check whether it was minimized or closed, then refresh targets and select the window again.
  • Камера или URL не открывается:Camera or URL does not open: проверьте индекс/адрес и попробуйте другой явный backend: Auto, MSMF, DirectShow, FFmpeg или GStreamer.verify the index/address and try another explicit backend: Auto, MSMF, DirectShow, FFmpeg or GStreamer.
  • Файл помечен ошибкой:File is marked invalid: не применяйте строку до завершения проверки; для видео проверьте контейнер, codec и временную шкалу.do not apply the row before validation finishes; for video, check the container, codec and timebase.
  • Высокое потребление памяти:High memory usage: уменьшите FPS/длину сессии или переключитесь с ram_images на disk_images.reduce FPS/session length or switch from ram_images to disk_images.
  • VLM-разметка заблокирована:VLM labeling is blocked: проверьте роль CV в настройках LLM, доступность модели и privacy-диагностику; скрытого переключения на другой provider нет.check the CV role in LLM settings, model availability and privacy diagnostics; there is no hidden provider fallback.
Далее: разметка и проектNext: markup and project CV GUI и pipelineCV GUI and pipeline