Создание скрипта для автоматизации мини-игры в Аватарии: поиск оптимального решения

Я разрабатываю скрипт для своей младшей сестры, которая играет в детскую игру "Аватария". В ней есть мини-игра, победа в которой приносит внутриигровую валюту. Это отличная возможность для меня потренировать навыки программирования, создав автоматизированное решение.

Механика игры

Игра состоит из 10 последовательных этапов. На каждом этапе присутствуют защитники в количестве от двух до шести. Их поведение может быть двух типов:

Статичное: защитники остаются неподвижными.
Динамичное: защитники перемещаются по заданной траектории. Скорость движения может быть двух видов: медленная или быстрая.

Важный нюанс: в рамках одного этапа поведение защитников (скорость и тип движения) не меняется.

Игровой процесс заключается в следующем: шайба всегда летит с одинаковой силой. Игрок может влиять только на её траекторию, выбирая направление и угол удара.

Ключевая проблема разработки

Основная сложность, с которой я столкнулся, - это корректное определение защитников и их позиций на экране. Несколько дней попыток не принесли стабильного результата. Алгоритмы детектирования создают "кривые" ограничивающие рамки (bounding boxes), которые:

Неправильно определяются (дропаются).
Работают с ошибками (багаются).
Привязываются к неверным областям экрана (прилипают).

Вопросы к сообществу

Я обращаюсь за советом к опытным разработчикам:

Какие идеи и подходы вы можете предложить для реализации такого скрипта?
Как лучше всего организовать стабильное детектирование защитников и их движения?
Какую математическую модель или алгоритм стоит использовать для расчета оптимального удара с учетом траекторий движущихся объектов?

Для разработки я использую язык Python. Заранее благодарю за любую помощь и конструктивные предложения!