Starcraft II без мыши и клавиатуры

Эта тема о том, как я пытаюсь сделать Старкрафт 2 играбельным без мыши и клавиатуры. Я делаю это используя технологию eyetracker, микрофон и программу распознавания звука с открытым исходным кодом, которую я разрабатываю. https://github.com/chaosparrot/parrot.py
Эта серия о том как играть в кампанию Heart of the Swarm без использования традиционных инструментов.

Задача, которую я поставил перед собой, — закончить кампанию Heart of the Swarm с возрастающими настройками сложности. Дополнительные ограничения: я не могу использовать мышь или клавиатуру во время миссии, я должен полагаться на eyetracker и распознавание звука, которое я создал для управления вводом.
Я также не могу разработать программное обеспечение, чтобы получить преимущества, которых нет у других игроков ( создавать макросы горячих клавиш, делать вводы быстрее, чем 30 Гц клавиатуры, автоматизировать движение мыши, считывать информацию об игре ). Это означает, что должно быть соблюдено лицензионное соглашение с Blizzard конечным пользователем . Я хочу разработать специальные возможности, чтобы я мог играть в SC2, у меня нет никакого желания создавать программное обеспечение, которое может быть истолковано как мошенничество.

Предыстория

Около двух лет назад я начал испытывать проблемы с руками и кистями. В течение этого времени я начал искать способы уменьшить боли, обратившись за помощью к программному обеспечению. Очевидно, игра в SC2 была невозможна, учитывая количество нажатий клавиш и движений мыши.
Через некоторое время я решил, что могу попробовать то же самое с играми, требующими нескольких источников ввода, такими как Heroes of the Storm. Я имел умеренный успех с этим и в конечном итоге сумел победить элитный ИИ. Я думал использовать это, чтобы выйти на ладдер, но мой интерес к HotS ослаб после краха профессиональной сцены.

Именно тогда мой интерес к SC2 возродился, и у меня возникла идея посмотреть, можно ли вообще сделать RTS требовательную к APM играбельной. Поэтому я поставил перед собой цель и решил, что буду документировать свой способ разработки, делая видео на youtube. Вот где мы сейчас находимся.
Использованные специфики программы ( v0.8.0 )
— Использование eyetracker для передвижения мыши по экрану;
— распознавание и выполнение действия примерно за 60 мс.
Звуки/бинды
Шипение — выделение левой кнопкой мыши
Щёлканье языком — клик правой кнопкой и постройка юнитов и зданий
Свист — клавиша атаки. (Патрулирование, перемещение и удержание позиции привязаны к областям экрана при свисте)
Oh — звук для удержания клавиши ctrl ( для выбора типа юнитов )
Sh звук для зажатия клавиши шифт ( для исключения юнитов и добавления групп)
ü + взгляд в левый верхний угол, для выбора Керриган
ü + взгляд в центр экрана — для переключения между базами
ü + взгляд на миникарту — следовать за выбором.
ü + взгляд вниз-влево — перейти к оповещению
iy + глядя в сетку 3 х 3 на экране — назначить число от 1 до 9 для контрольных групп
аh + глядя в сетку 4 х 3 на экране, чтобы нажать букву от q до v для создания юнита (речь о раскладке «сеткой»)
Oah для нажатия Q (первая способность + распространение крипа )
Звук Ae для нажатия W ( вторая способность )
Звук F для закопки
Щелчок пальцами для активации распознавания голоса, (для отправления GLHF и GG)