Рабочий процессWorkflow

От визуальных данных к задаче, коду и исполнениюFrom visual data to a task, code and execution

В проекте изображение, видео или запись экрана связываются с разметкой, отношениями, голосовыми описаниями и результатами подбора и настройки методов компьютерного зрения. Сохранённые данные задачи используются в Screph Code или других агентных инструментах. Подготовка данных, изменение кода и исполнение остаются отдельными этапами; предварительный результат не меняет основную разметку без отдельного применения.A project links an image, video or screen recording to markup, relations, voice descriptions, and results from selecting and configuring computer-vision methods. Saved task data is used in Screph Code or other agent tools. Data preparation, code changes and execution remain separate stages; a preview result does not change the main markup until it is applied separately.

01
Program Mode

Режим программыProgram mode

Режим определяет доступные типы объектов и инструменты. General и GUI Automation поддерживают основной процесс; Industrial и UAV доступны как экспериментальные рабочие области с незавершёнными этапами. При смене режима согласованно меняются профили компьютерного зрения и Selector.The mode defines available object types and tools. General and GUI Automation support the main process; Industrial and UAV are experimental workspaces with incomplete stages. Switching changes the computer-vision and Selector profiles together.

Сохраняется:Stored: режим программы и совместимые профили компьютерного зрения и Selector.
02
Capture

Визуальный источникVisual source

Источником может быть область экрана, камера, сетевой поток или набор изображений, видео и папок. Capture связывает кадры с источником и положением на шкале времени; одного пути к файлу или номера кадра недостаточно для определения происхождения.The source can be a screen area, camera, network stream or a set of images, video and folders. Capture links frames to their source and timeline position; a file path or frame number alone is not sufficient to identify provenance.

Создаётся:Created: кадры, ссылки на источник, положение на шкале времени и данные проверки захвата.
03
Selector

Разметка и связиMarkup and relations

В Selector создаются элементы, признаки, области интереса, аннотации и типизированные связи. Разметка редактируется на общем холсте, даже если одновременно открыто несколько представлений визуальных данных.Selector creates elements, features, regions of interest, annotations and typed relations. Markup is edited on a shared canvas even when several visual-data views are open.

Изменяется:Changed: основная разметка через команды Selector с отменой и повтором действий.
04
Computer vision

Результаты методов компьютерного зренияComputer-vision results

Обработка выполняется одним методом, линейной последовательностью или графом методов. Входные данные и область интереса проверяются; результат может содержать маски, контуры, обнаружения, OCR, метрики, журнал выполнения и сообщения диагностики. Методы с моделями могут требовать отдельной среды выполнения и файлов весов.Processing runs as one method, a linear sequence or a method graph. Input data and the region of interest are validated; output can include masks, contours, detections, OCR, metrics, an execution trace and diagnostics. Model-backed methods may require a separate runtime and weight files.

Граница:Boundary: предварительный просмотр не входит в основной проект; применение сохраняет связанный результат, а команда Save создаёт отдельный технический архив.
05
Review

Сравнение и применение результатаResult comparison and application

Предварительный просмотр, наложение, маска, метрики и журнал позволяют сравнить результат с исходными данными. В Industrial, UAV, Assistant и Action CV предварительный результат не равен применённому изменению, а устаревший контекст блокирует изменение проекта.Preview, overlay, mask, metrics and the execution trace allow comparison with the source data. In Industrial, UAV, Assistant and Action CV, a preview result is not an applied change, and stale context blocks project changes.

Решение:Decision: результат можно принять, отклонить, изменить или пересчитать; исходные материалы проверки сохраняются отдельно.
06
Main project

Основной проектMain project

Пакет проекта хранит JSON с версией формата, исходные изображения, элементы, признаки, совпадения, группы, связи, метаданные и ссылки на файлы результатов. Перед загрузкой проверяются схема и целостность пакета.The project package stores versioned JSON, source images, elements, features, matches, groups, relations, metadata and references to result files. The schema and package integrity are checked before loading.

Результат:Output: редактируемый пакет проекта; представление в модуле дерева создаётся из его данных.
07
Code and execution

Код и исполнениеCode and execution

Контекст for_ai_agent передаётся в Screph Code или другой агентный инструмент. Automation Runtime отдельно использует основной проект для GUI-автоматизации. Screph Code обменивается данными с Pro Agent через JSON-RPC. Проверка проекта в Automation Runtime запускается отдельно; защита выбранного монитора действует только во время фактического ввода указателя.The for_ai_agent context is passed to Screph Code or another agent tool. Automation Runtime separately uses the main project for GUI automation. Screph Code exchanges data with Pro Agent through JSON-RPC. Project validation in Automation Runtime is started separately; the selected-monitor guard applies only during actual pointer input.

Граница:Boundary: экспорт, создание кода и исполнение ввода запускаются отдельными действиями пользователя.
Три разных графаThree different graphs

Одинаковое слово не означает одинаковую сущностьThe same word does not mean the same entity

Граф связей проектаProject relation graph

Типизированные связи между элементами и признаками основного проекта. Это данные разметки, а не исполняемая программа.Typed relations between elements and features in the main project. This is markup data, not an executable program.

Граф методовMethod graph

Граф методов компьютерного зрения с типизированными входами и выходами и журналом выполнения. Он преобразует визуальные данные.A graph of computer-vision methods with typed inputs and outputs and an execution trace. It transforms visual data.

Запись действийAction trace

Записанные действия пользователя и связанные с ними кадры. Action CV создаёт на их основе предлагаемые результаты, не изменяя исходную запись.Recorded user actions and linked frames. Action CV derives proposed results without changing the original trace.

ДокументацияDocumentation

Первый проект: источник, разметка и сохранениеFirst project: source, markup and saving

Начало работыGetting started