Отслеживание взгляда – это технология, обладающая потенциалом для улучшения нашего взаимодействия с нашими компьютерами, и Tobii – одно из самых громких имен в этой области. Аппаратное обеспечение для отслеживания взгляда компании было встроено в несколько игровых ноутбуков и изучается для использования во всем, от торговых киосков до гарнитур виртуальной реальности. Tobii также предлагает автономный айтрекер для пользователей, которые хотят поэкспериментировать со своими настольными компьютерами в виде Eye Tracker 5. Эта камера / сенсорная панель за 229 долларов может следить за вашим взглядом в любом месте монитора и доказывает, что технология точна и функциональна. . К сожалению, он довольно ограничен, может работать только с несколькими сотнями игр и не может предоставить некоторые из своих более продвинутых функций Windows в системах с несколькими мониторами. Это увлекательная техническая игрушка, которая показывает потенциальное будущее того, как мы будем работать с нашими устройствами, но она еще не совсем готова для широкого использования потребителями.
Дизайн
Tobii Eye Tracker 5 – это тонкая черная полоса шириной 11,3 дюйма и высотой 1,1 дюйма с тремя глянцевыми подушечками спереди. Выступающая центральная площадка содержит саму камеру, а две площадки по бокам удерживают инфракрасные осветители. Короткий USB-кабель длиной 2 фута выходит с правой стороны планки; В комплект входит удлинительный кабель длиной 3,3 фута, если его недостаточно для доступа к компьютеру.
Eye Tracker 5 предназначен для установки чуть ниже монитора и имеет магнитную заднюю часть, которая работает с двумя тонкими металлическими полосками с липкой основой, которые вы можете прикрепить к нижней панели дисплея. У меня не было проблем с нанесением полоски на нижний край монитора, и Eye Tracker 5 надежно закрепился. Для пользователей с изогнутыми мониторами также предусмотрено более широкое гибкое крепление.
Программное обеспечение
Все движения глаз отслеживаются программным обеспечением Tobii Experience, а также прилагаемыми приложениями Tobii Game Hub и Tobii Ghost. Tobii Experience выполняет калибровку вместе с функциями уровня Windows, такими как перемещение мыши и переключение приложений. Tobii Game Hub обрабатывает отдельные игры и их интеграцию с отслеживанием взгляда. Tobii Ghost предоставляет расширение Twitch для стримеров, которые хотят делиться своим взглядом во время игры (особенно полезно для MOBA и других стратегических игр).
Калибровка с помощью Tobii Experience – это быстрый процесс. Сядьте поудобнее перед монитором и смотрите на экран, пока не появятся круги, представляющие ваши глаза. Это указывает на то, что устройство исправило их. После этого посмотрите на два набора из трех точек в разных местах на экране, глядя на них, пока они не исчезнут. Как только это будет сделано, Eye Tracker 5 сможет следить за вашим видением, а на вкладке «Главная» в Tobii Experience будет отображаться плавающий круг, куда вы смотрите, чтобы вы могли убедиться, что он работает.
Если вы хотите, чтобы более одного человека использовали Eye Tracker 5, вам необходимо настроить новый профиль и откалибровать его отдельно для каждого пользователя с помощью Tobii Experience. Если вы носите очки, вы также можете настроить для себя отдельные профили с ними и без них, хотя я обнаружил, что отслеживание глаз работает через мои очки без этого.
Хотя Tobii Experience поддерживает нескольких пользователей, с несколькими экранами это не так хорошо. Eye Tracker 5 может отслеживать ваш взгляд только по монитору, под которым он установлен, поэтому вы не можете наслаждаться отслеживанием взгляда на нескольких мониторах. Использование нескольких мониторов также отключает некоторые функции уровня Windows, такие как автоматическая блокировка компьютера или затемнение экрана, когда вы не находитесь перед ним, или перемещение указателя мыши туда, куда вы смотрите.
Возможности системы Windows
Функции уровня Windows в Eye Tracker 5 работают хорошо, хотя, к сожалению, некоторые из них не работают при настройке с несколькими мониторами. Как устройство, совместимое с Windows Hello, это устройство быстро и последовательно подключало меня к моему компьютеру. Переключение между приложениями с помощью Alt + Tab также работало очень хорошо, блокируя плитку окна, в которое я хотел переключиться, когда я смотрел на него.
Жаль, что движение мыши ограничено одним экраном, потому что я видел, что отслеживание взгляда было достаточно точным, чтобы быть удобным. То же самое для одноэкранных функций, таких как автоматическое затемнение дисплея или блокировка компьютера после того, как вы на какое-то время отведете взгляд; поскольку устройство может убедиться, что вы смотрите только на экран, под которым оно установлено, если вы проводите какое-то время, глядя на несколько мониторов, эти функции могут сработать, когда вы этого не захотите.
Игры
В настоящее время Eye Tracker 5 поддерживает 154 игры для ПК, большинство из которых являются крупными релизами Ubisoft, такими как Hitman, Tomb Raider и The Division 2, или инди-играми, такими как Ori and the Blind Forest и Clustertruck. Отслеживание взгляда должно быть реализовано специально для каждой игры, поэтому вы не можете просто сопоставить свой взгляд, чтобы он действовал как мышь или правый аналоговый джойстик; каждая игра должна включать технологию разумным образом.
Я играл в Shadow of the Tomb Raider с помощью Eye Tracker 5. В игре есть встроенная поддержка Tobii, поэтому все, что мне нужно было сделать, это открыть игру и получить доступ к функции в меню параметров. Слежение за глазами в этой игре очень легкое. При ходьбе взгляд в разные части экрана немного наклоняет изображение в этом направлении, но не поворачивает камеру значительно. При прицеливании ваша цель будет попадать в врага, на которого вы смотрите. Когда я смотрел по сторонам, я немного дезориентировал, когда я видел, как моя заблокированная цель прыгает между целями, но настройки позволяют регулировать скорость изменения цели. Отслеживание взгляда не используется для точного прямого управления камерой или вашим прицелом; он просто следует за вашим вниманием к конкретным целям или немного корректирует вид.
Затем я поиграл в Heavy Bullets, похожий на мошенник шутер от первого лица. В этой игре нет встроенной поддержки отслеживания взгляда Tobii, но она совместима с программным обеспечением Game Hub. Я включил отслеживание глаз, указав, где исполняемый файл игры находится на моем компьютере, но мой антивирус BitDefender обнаружил эту модификацию файла как вредоносное ПО, поэтому мне пришлось отключить последнюю функцию Advanced Threat Detection при использовании Game Hub.
Отслеживание взгляда в Heavy Bullets смещает взгляд, когда вы смотрите на разные части экрана или физически поворачиваете голову. Как и в Shadow of the Tomb Raider, это очень легкий штрих, скорее улучшающий игровой процесс, чем значительное тактическое преимущество. Вы по-прежнему не целитесь прямо глазами, но можете двигать головой влево и вправо, чтобы смотреть в любом направлении, когда вы бегаете.
Clustertruck, еще одна инди-игра, в которой вы бегаете по крышам движущихся грузовиков, также поддерживает Eye Tracker 5 через Game Hub. Отслеживание снова означает только смещение вашего взгляда, настройку камеры, когда вы смотрите по экрану и двигаете головой. Это, конечно, точно, но мало что добавляет к этой конкретной игре.
Интересная технология, ограниченное использование
Отслеживание взгляда имеет большой потенциал для облегчения игр и работы, и Tobii на протяжении многих лет доказал, что сама технология является надежной. Eye Tracker 5 точно следует вашему взгляду по всему экрану. Реализация – большой камень преткновения, поскольку в большинстве поддерживаемых игр функциональность, как правило, ограничена, а функции Windows не могут быть применены к настройке с несколькими мониторами. Tobii явно лидирует в области отслеживания взгляда, но в качестве периферийного устройства и устройства управления Eye Tracker 5 не предлагает многих жизненно важных функций. Серьезные стримеры и игроки League of Legends могут оценить возможность делиться и изучать, куда падает ваш взгляд во время матчей, но для прямого контроля над вашими играми или вашим ПК этого не хватает.
Это не значит, что отслеживание глаз – это тупик. Tobii разработал впечатляющую технологию, которую просто необходимо найти с пользой. Если он не найдет себе удобного дома на ПК, он все равно может оказаться бесценным для виртуальной и дополненной реальности. Несмотря на свои ограничения, устройство представляет собой увлекательную технологическую игрушку, которая намекает на возможное будущее нашего взаимодействия с нашими устройствами.
Минусы
-
Ограниченный список поддерживаемых игр
-
Интеграция в большинство игр предлагает только тонкое управление камерой
-
Несколько функций Windows работают только с одним монитором
Суть
Tobii Eye Tracker 5 – это увлекательное устройство, которое позволяет вам играть с удивительно точным отслеживанием взгляда на вашем ПК, но его полезность ограничена.
Отслеживание взгляда — это технология, обладающая потенциалом для улучшения нашего взаимодействия с нашими компьютерами, и Tobii — одно из самых громких имен в этой области. Аппаратное обеспечение для отслеживания взгляда компании было встроено в несколько игровых ноутбуков и изучается для использования во всем, от торговых киосков до гарнитур виртуальной реальности. Tobii также предлагает автономный айтрекер для пользователей, которые хотят поэкспериментировать со своими настольными компьютерами в виде Eye Tracker 5. Эта камера / сенсорная панель за 229 долларов может следить за вашим взглядом в любом месте монитора и доказывает, что технология точна и функциональна. . К сожалению, он довольно ограничен, может работать только с несколькими сотнями игр и не может предоставить некоторые из своих более продвинутых функций Windows в системах с несколькими мониторами. Это увлекательная техническая игрушка, которая показывает потенциальное будущее того, как мы будем работать с нашими устройствами, но она еще не совсем готова для широкого использования потребителями.
Дизайн
Tobii Eye Tracker 5 — это тонкая черная полоса шириной 11,3 дюйма и высотой 1,1 дюйма с тремя глянцевыми подушечками спереди. Выступающая центральная площадка содержит саму камеру, а две площадки по бокам удерживают инфракрасные осветители. Короткий USB-кабель длиной 2 фута выходит с правой стороны планки; В комплект входит удлинительный кабель длиной 3,3 фута, если его недостаточно для доступа к компьютеру.
Eye Tracker 5 предназначен для установки чуть ниже монитора и имеет магнитную заднюю часть, которая работает с двумя тонкими металлическими полосками с липкой основой, которые вы можете прикрепить к нижней панели дисплея. У меня не было проблем с нанесением полоски на нижний край монитора, и Eye Tracker 5 надежно закрепился. Для пользователей с изогнутыми мониторами также предусмотрено более широкое гибкое крепление.
Программное обеспечение
Все движения глаз отслеживаются программным обеспечением Tobii Experience, а также прилагаемыми приложениями Tobii Game Hub и Tobii Ghost. Tobii Experience выполняет калибровку вместе с функциями уровня Windows, такими как перемещение мыши и переключение приложений. Tobii Game Hub обрабатывает отдельные игры и их интеграцию с отслеживанием взгляда. Tobii Ghost предоставляет расширение Twitch для стримеров, которые хотят делиться своим взглядом во время игры (особенно полезно для MOBA и других стратегических игр).
Калибровка с помощью Tobii Experience — это быстрый процесс. Сядьте поудобнее перед монитором и смотрите на экран, пока не появятся круги, представляющие ваши глаза. Это указывает на то, что устройство исправило их. После этого посмотрите на два набора из трех точек в разных местах на экране, глядя на них, пока они не исчезнут. Как только это будет сделано, Eye Tracker 5 сможет следить за вашим видением, а на вкладке «Главная» в Tobii Experience будет отображаться плавающий круг, куда вы смотрите, чтобы вы могли убедиться, что он работает.
Если вы хотите, чтобы более одного человека использовали Eye Tracker 5, вам необходимо настроить новый профиль и откалибровать его отдельно для каждого пользователя с помощью Tobii Experience. Если вы носите очки, вы также можете настроить для себя отдельные профили с ними и без них, хотя я обнаружил, что отслеживание глаз работает через мои очки без этого.
Хотя Tobii Experience поддерживает нескольких пользователей, с несколькими экранами это не так хорошо. Eye Tracker 5 может отслеживать ваш взгляд только по монитору, под которым он установлен, поэтому вы не можете наслаждаться отслеживанием взгляда на нескольких мониторах. Использование нескольких мониторов также отключает некоторые функции уровня Windows, такие как автоматическая блокировка компьютера или затемнение экрана, когда вы не находитесь перед ним, или перемещение указателя мыши туда, куда вы смотрите.
Возможности системы Windows
Функции уровня Windows в Eye Tracker 5 работают хорошо, хотя, к сожалению, некоторые из них не работают при настройке с несколькими мониторами. Как устройство, совместимое с Windows Hello, это устройство быстро и последовательно подключало меня к моему компьютеру. Переключение между приложениями с помощью Alt + Tab также работало очень хорошо, блокируя плитку окна, в которое я хотел переключиться, когда я смотрел на него.
Жаль, что движение мыши ограничено одним экраном, потому что я видел, что отслеживание взгляда было достаточно точным, чтобы быть удобным. То же самое для одноэкранных функций, таких как автоматическое затемнение дисплея или блокировка компьютера после того, как вы на какое-то время отведете взгляд; поскольку устройство может убедиться, что вы смотрите только на экран, под которым оно установлено, если вы проводите какое-то время, глядя на несколько мониторов, эти функции могут сработать, когда вы этого не захотите.
Игры
В настоящее время Eye Tracker 5 поддерживает 154 игры для ПК, большинство из которых являются крупными релизами Ubisoft, такими как Hitman, Tomb Raider и The Division 2, или инди-играми, такими как Ori and the Blind Forest и Clustertruck. Отслеживание взгляда должно быть реализовано специально для каждой игры, поэтому вы не можете просто сопоставить свой взгляд, чтобы он действовал как мышь или правый аналоговый джойстик; каждая игра должна включать технологию разумным образом.
Я играл в Shadow of the Tomb Raider с помощью Eye Tracker 5. В игре есть встроенная поддержка Tobii, поэтому все, что мне нужно было сделать, это открыть игру и получить доступ к функции в меню параметров. Слежение за глазами в этой игре очень легкое. При ходьбе взгляд в разные части экрана немного наклоняет изображение в этом направлении, но не поворачивает камеру значительно. При прицеливании ваша цель будет попадать в врага, на которого вы смотрите. Когда я смотрел по сторонам, я немного дезориентировал, когда я видел, как моя заблокированная цель прыгает между целями, но настройки позволяют регулировать скорость изменения цели. Отслеживание взгляда не используется для точного прямого управления камерой или вашим прицелом; он просто следует за вашим вниманием к конкретным целям или немного корректирует вид.
Затем я поиграл в Heavy Bullets, похожий на мошенник шутер от первого лица. В этой игре нет встроенной поддержки отслеживания взгляда Tobii, но она совместима с программным обеспечением Game Hub. Я включил отслеживание глаз, указав, где исполняемый файл игры находится на моем компьютере, но мой антивирус BitDefender обнаружил эту модификацию файла как вредоносное ПО, поэтому мне пришлось отключить последнюю функцию Advanced Threat Detection при использовании Game Hub.
Отслеживание взгляда в Heavy Bullets смещает взгляд, когда вы смотрите на разные части экрана или физически поворачиваете голову. Как и в Shadow of the Tomb Raider, это очень легкий штрих, скорее улучшающий игровой процесс, чем значительное тактическое преимущество. Вы по-прежнему не целитесь прямо глазами, но можете двигать головой влево и вправо, чтобы смотреть в любом направлении, когда вы бегаете.
Clustertruck, еще одна инди-игра, в которой вы бегаете по крышам движущихся грузовиков, также поддерживает Eye Tracker 5 через Game Hub. Отслеживание снова означает только смещение вашего взгляда, настройку камеры, когда вы смотрите по экрану и двигаете головой. Это, конечно, точно, но мало что добавляет к этой конкретной игре.
Интересная технология, ограниченное использование
Отслеживание взгляда имеет большой потенциал для облегчения игр и работы, и Tobii на протяжении многих лет доказал, что сама технология является надежной. Eye Tracker 5 точно следует вашему взгляду по всему экрану. Реализация — большой камень преткновения, поскольку в большинстве поддерживаемых игр функциональность, как правило, ограничена, а функции Windows не могут быть применены к настройке с несколькими мониторами. Tobii явно лидирует в области отслеживания взгляда, но в качестве периферийного устройства и устройства управления Eye Tracker 5 не предлагает многих жизненно важных функций. Серьезные стримеры и игроки League of Legends могут оценить возможность делиться и изучать, куда падает ваш взгляд во время матчей, но для прямого контроля над вашими играми или вашим ПК этого не хватает.
Это не значит, что отслеживание глаз — это тупик. Tobii разработал впечатляющую технологию, которую просто необходимо найти с пользой. Если он не найдет себе удобного дома на ПК, он все равно может оказаться бесценным для виртуальной и дополненной реальности. Несмотря на свои ограничения, устройство представляет собой увлекательную технологическую игрушку, которая намекает на возможное будущее нашего взаимодействия с нашими устройствами.
Минусы
-
Ограниченный список поддерживаемых игр
-
Интеграция в большинство игр предлагает только тонкое управление камерой
-
Несколько функций Windows работают только с одним монитором
Суть
Tobii Eye Tracker 5 — это увлекательное устройство, которое позволяет вам играть с удивительно точным отслеживанием взгляда на вашем ПК, но его полезность ограничена.
динавокс
динавокс
динавокс
PCEye 5
Руководство по началу работы
Что в коробке?
- PCEye 5
- Руководство по началу работы
- Пластина для крепления
- Комплект для подготовки монтажной пластины
- Документ о безопасности и соответствии
- Carry Case
- Адаптер USB-C — USB-A
PCEye 5
Руководство по началу работы
Что в коробке?
- PCEye 5
- Руководство по началу работы
- Пластина для крепления
- Комплект для подготовки монтажной пластины
- Документ о безопасности и соответствии
- Carry Case
- Адаптер USB-C — USB-A
Software
PCEye 5 включает программное обеспечение TD Control. Если вы приобрели комплект Magic EyeFx, см. лицензионную карточку для получения дополнительной информации.
Знакомство с вашим устройством
- Отслеживание взгляда
- Разъем USB
- Маркировка установки
- Монтажные магниты
Получение настройки
Выполните три шага в этом руководстве, чтобы загрузить необходимое программное обеспечение и подключить устройство PCEye 5 к компьютеру. При загрузке программного обеспечения FIRST на экране появятся инструкции, а также пошаговые инструкции по настройке и использованию.
Вы можете использовать PCEye 5 на ноутбуке или настольном компьютере.
Начало работы с программным обеспечением TD Control
В сочетании с PCEye 5 TD Control предоставит вам доступ к мыши и клавиатуре.
функции. Когда TD Control открывается в первый раз, открывается краткое руководство.
обеспечить болееview различных действий.
Вы можете вернуться к краткому руководству, выбрав информационный
кнопку.
Выберите «Скрыть руководство», чтобы выйти.
Исследуйте след
Трассировка даст вам обратную связь о том, куда вы смотрите на экране. При фиксации на предмете появится кнопка Активатор. Если зафиксировать кнопку «Активатор», откроется меню взаимодействий.
Исследуйте след
Трассировка даст вам обратную связь о том, куда вы смотрите на экране. При фиксации на предмете появится кнопка Активатор. Если зафиксировать кнопку «Активатор», откроется меню взаимодействий.
Исследуйте след
Трассировка даст вам обратную связь о том, куда вы смотрите на экране. При фиксации на предмете появится кнопка Активатор. Если зафиксировать кнопку «Активатор», откроется меню взаимодействий.Исследуйте меню взаимодействий
Меню взаимодействия обеспечивает доступ к основным функциям клавиатуры и мыши. Подробное описание каждой функции см. в Руководстве пользователя.
Исследуйте внеэкранное меню
Внеэкранное меню предоставляет доступ к дополнительным функциям, таким как «Непрерывное нажатие», «Настройки», «Пауза» и т. д. Для повторной калибровки откройте внеэкранное меню, выберите «Дополнительно», затем выберите «Быстрая калибровка».
Когда вы исследуете TD Control, можно перекалибровать, если ваша точность не оптимальна.
Шаг 1. Загрузите программное обеспечение PCEye 5.
Перейдите на https://qrco.de/PCEyeCC и загрузите программное обеспечение PCEye 5.
Шаг 2. Установите PCEye 5 и выполните калибровку Когда вы исследуете TD Control, можно перекалибровать, если ваша точность не оптимальна.
Шаг 1. Загрузите программное обеспечение PCEye 5.
Перейдите на https://qrco.de/PCEyeCC и загрузите программное обеспечение PCEye 5.
Шаг 2. Установите PCEye 5 и выполните калибровку Если вы используете PCEye 5 с дополнительным кронштейном PCEye 5, пропустите этот шаг и обратитесь к прилагаемым инструкциям для получения подробной информации.
Следуйте инструкциям на экране. Вернитесь к руководству для получения дополнительной информации о программном обеспечении.
Шаг 3: Запустите программное обеспечение
Если вы приобрели комплект программного обеспечения или получили дополнительные лицензионные карты, следуйте инструкциям по загрузке и установке на каждой карте (см. слева).
Полезные советы по использованию TD Control
- Используйте паузу, когда вам нужно дать глазам отдохнуть.
- Желаемый предмет не обязательно должен быть идеально расположен в центре трассировки.
- Чтобы повысить точность, используйте Adjust Target.
- При использовании прокрутки чем дальше от значка прокрутки смотрят ваши глаза, тем быстрее будет прокрутка. Прокрутка работает вверх и вниз и из стороны в сторону.
- Для ввода текста в текстовые поля поместите трассировку в текстовое поле, затем выберите «Клавиатура». Щелчок левой кнопкой мыши не требуется.
Мы здесь, чтобы помочь
Центр обучения
Учебный центр Tobii Dynavox:
Learn.tobiidynavox.com
Дополнительная поддержка
сообщество: http://qrco.de/TDFB
Техническая поддержка в Северной Америке:
1-800-344-1778 ext. 1
Учебные материалы
Руководство пользователя: http://qrco.de/PCEyeManual
Руководство по управлению ТД: https://qrco.de/TDCmanual
Учебные карты Communicator 5: https://qrco.de/C5Cards
Первые тренировочные карточки TD Snap Core: https://qrco.de/TDSnapCards
Учебные карточки TD Snap Text: https://qrco.de/TextCards
Дополнительные ресурсы PCEye 5:
доступно здесь: qrco.de/PCEyeHelp
Мы здесь, чтобы помочь
Центр обучения
Учебный центр Tobii Dynavox:
Learn.tobiidynavox.com
Дополнительная поддержка
сообщество: http://qrco.de/TDFB
Техническая поддержка в Северной Америке:
1-800-344-1778 ext. 1
Учебные материалы
Руководство пользователя: http://qrco.de/PCEyeManual
Руководство по управлению ТД: https://qrco.de/TDCmanual
Учебные карты Communicator 5: https://qrco.de/C5Cards
Первые тренировочные карточки TD Snap Core: https://qrco.de/TDSnapCards
Учебные карточки TD Snap Text: https://qrco.de/TextCards
Дополнительные ресурсы PCEye 5:
доступно здесь: qrco.de/PCEyeHelp
Мы здесь, чтобы помочь
Центр обучения
Учебный центр Tobii Dynavox:
Learn.tobiidynavox.com
Дополнительная поддержка
сообщество: http://qrco.de/TDFB
Техническая поддержка в Северной Америке:
1-800-344-1778 ext. 1
Учебные материалы
Руководство пользователя: http://qrco.de/PCEyeManual
Руководство по управлению ТД: https://qrco.de/TDCmanual
Учебные карты Communicator 5: https://qrco.de/C5Cards
Первые тренировочные карточки TD Snap Core: https://qrco.de/TDSnapCards
Учебные карточки TD Snap Text: https://qrco.de/TextCards
Дополнительные ресурсы PCEye 5:
доступно здесь: qrco.de/PCEyeHelphttps://qrco.de/PCEyeHelp
Документы / Ресурсы
Рекомендации
Время на прочтение
10 мин
Количество просмотров 25K
В основе методики лежит отслеживание направления взгляда, которое осуществляет устройство “Tobii Eye Tracker 4C”. На экран компьютера выводится таблица с несколькими картинками. Если задержать взгляд на отдельной картинке, то будет озвучена соответствующая ей фраза, например, «пить», «повернуть на бок», «смотреть мультики».
Когда ребёнок выучит буквы, можно будет использовать более сложные методы, вроде набора текста глазами.
Что потребуется (в двух словах)?
- компьютер
- айтрекер — устройство отслеживания направления взгляда
- бесплатное программное обеспечение (от автора статьи)
Содержание
Как это работает?
Подробная инструкция
1. Выбор компьютера
2. Устройство Tobii Eye Tracker 4C
2.1 Крепление айтрекера на монитор
3. Установка программного обеспечения
3.1. (Больше не требуется) Добыть файл TobiiGazeCore32.dll версии 4.1.3.938 или более новый
3.2. Установка драйверов и калибровка
3.3. (Больше не требуется) Установка “Microsoft Visual C++ Redistributable for Visual Studio 2012 Update 4”
3.4. Установка и настройка бесплатного программного обеспечения (от автора статьи)
3.4.1. Настройка программы для работы в режиме таблицы
4. Использование программы
5. Как изменить содержимое таблицы
6. Вызов внешних программ (обновление ноября 2018 года)
7. Управление внешними устройствами: электроприборами, моторизованной коляской, моделью на радиоуправлении (обновление ноября 2018 года)
А можно вместо этого купить готовую систему от известного производителя?
Приветы и благодарности
Как это работает?
Видео, иллюстрирующее работу программы:
Виолетта учится работать с программой:
Виолетта капризничает и говорит «Нет!» при помощи программы:
Если у вас нет айтрекера, вы всё равно сможете оценить работу программы, так как она может работать также с любым устройством, перемещающим курсор мыши по экрану. Водите мышью по экрану так, как вы бы перемещали свой взгляд. Останавливайте курсор на картинках (нажимать ничего не надо), — это будет соответствовать фиксации взгляда на картинке при использовании айтрекера.
Чтобы программа работала в таком режиме, нужно в качестве используемого устройства выбрать Аэромышь (2 на рисунке ниже), но сначала не забудьте поставить галочку в поле “Режим таблицы (GRID) – для детей” (1).
Подробная инструкция
1. Выбор компьютера
Какой компьютер для этого подойдёт? Я бы сказал так: современный со средними характеристиками и операционной системой Windows версий 7, 8.1, 10 (Windows 10 – только 64 бита). Несмотря на то, что в рекомендациях по использованию айтрекера Tobii 4c (https://help.tobii.com/hc/en-us/articles/213414285-Specifications-for-the-Tobii-Eye-Tracker-4C) советуют использовать компьютер с процессором Intel i5 или i7, мне удавалось работать и на современных процессорах подешевле: i3, Pentium, Celeron, и даже на Atom x5, хотя работа на последних двух может показаться заторможенной.
Другими словами, если у вас уже есть компьютер, и он не архаичный, то стоит попробовать работать на нём. Если же думаете купить компьютер, главное – не берите старый, и не берите с процессором Atom. Хотя, если денег совсем нет, то можно и такой попробовать, но лучше обговорить возможность возврата.
У компьютера должен быть по крайней мере один порт USB версии 2 или 3. Лучше, чтобы было хотя-бы два порта, чтобы можно было кроме айтрекера хоть мышь воткнуть. (Планшеты, кстати, часто грешат тем, что порт USB у них только один).
2. Устройство Tobii Eye Tracker 4C
Это устройство выпускается компанией Tobii для игроков в компьютерные игры и продаётся по умеренной цене. Чтобы не создавать конкуренции своим значительно более дорогим устройствам, “Tobii Eye Tracker 4C” сделан несовместимым с программами для людей с ограниченными возможностями, выпускаемыми ей же.
Однако, выпущенные компанией Tobii средства разработки оставили мне лазейку, позволяющую написать такие программы самому. Возможно, не столь совершенные, но зато бесплатные.
Сегодня (осень 2018) это устройство можно легко купить в нескольких магазинах. Вы без труда найдёте самый удобный для себя вариант. Я брал весной 2018 года за 11500 российский рублей.
2.1 Крепление айтрекера на монитор.
Видео, иллюстрирующее установку на ноутбук:
Компьютер может быть большой с отдельно стоящим монитором или мобильный (ноутбук). Может быть даже планшет Windows. Но нужно помнить, что айтрекер нужно располагать точно ПОД монитором так, чтобы крепление было жёстким. И если к обычному монитору айтрекер крепится идущим в комплекте самоклеющимся магнитом, то к планшету его приходится крепить как-нибудь виртуозно. На фотографии ниже планшет и айтрекер закреплены на куске доски, которая, в свою очередь, соединена с кронштейном, поворачивающимся на углу стола.
Также нужно помнить, что за тёмным стеклом (прозрачным только в ИК-диапазоне) в центре айтрекера находится камера, а по краям — инфракрасные светодиоды. При креплении хомутами важно не загородить ни то, ни другое.
Линия глаз должна совпадать с линией расположения айтрекера. Если человек лежит на боку, то и монитор нужно наклонить набок.
Расстояние от глаз до монитора с айтрекером должно быть около 50 см (расстояние вытянутой руки) или чуть дальше. Поэтому крепить айтрекер к телевизору на стене не получится – слишком далеко.
Как уже было сказано, в айтрекере находится камера, и она должна быть направлена на глаза. Фронтальная поверхность айтрекера немного отражает свет. Постарайтесь увидеть в ней, как в зеркале, свои глаза – это будет значить, что камера смотрит на них. Наклоните монитор при необходимости.
3. Установка программного обеспечения
Всё делать именно в такой последовательности!
3.1. (Больше не требуется) Добыть файл TobiiGazeCore32.dll версии 4.1.3.938 или более новый
Начиная c версии ‘F’ программы (от 03.04.2019) этот шаг выполнять не нужно
Ранее этот файл можно было скачать в составе Tobii Gaze SDK. Сейчас компания Tobii прекратила его предоставлять, и приходится пользоваться трюком, описанным ниже.
Нужно скачать и установить программное обеспечение Tobii EyeX 2.1.1. После этого в одном из каталогов появится этот файл. Нужно скопировать его в надёжное место, после чего установленное программное обеспечение можно удалить.
Устанавливать это программное обеспечение нужно ДО установки драйверов от Tobii, иначе нужный нам файл TobiiGazeCore32.dll может не появиться (кому интересно, мы решали эту проблему вот здесь: github.com/MastaLomaster/bkb/issues/6 )
Итак, скачиваем Tobii EyeX 2.1.1 ( files.update.tech.tobii.com/engine/Tobii.EyeX_2.1.1.293.exe) и запускаем. Соглашаемся с условиями: ставим галочку и жмём кнопку ‘Next”.
Ждём…
Готово, жмём “Finish”.
После установки появилось два файла TobiiGazeCore32.DLL. Более новый лежит в каталоге “C:Program Files (x86)TobiiTobii EyeX”. Это можно проверить, если нажать на имени файла правую кнопку мыши и выбрать «Свойства» в контекстном меню.
И затем, на закладке «Подробно» посмотреть на номер версии:
Копируем этот файл в надёжное место, например, создадим каталог BKB на диске C и положим файл туда:
Теперь можно удалить программу Tobii EyeX – мы взяли из неё всё, что нужно.
В Windows 10 для этого жмём кнопку «Пуск», потом — появившуюся кнопку с шестерёнкой.
Затем выберем раздел «Приложения»
Находим и удаляем всё, что начинается на “Tobii”, нажимая на кнопку «Удалить»:
3.2. Установка драйверов и калибровка
Заходим на страницу tobiigaming.com/getstarted и нажимаем на кнопку «Tobii Eyetracking»:
Затем на появившуюся кнопку «Download»:
Сохраняем файл (на будущее), и потом запускаем его:
Ставим галочку, жмём кнопку «Next»:
Ждём…
Жмём кнопку “Continue”:
Потом жмём кнопку “Get Started”:
Дальше нужно будет мышью перетащить линии на экране так, чтобы они совпали с полосками на корпусе айтрекера:
По завершению нажать кнопку “Done”.
Потом на экране появятся два кружка, которые иллюстрируют, хорошо ли айтрекер видит ваши глаза.
Если кружки расположены не в центре экрана (как на картинке сверху), наклоните монитор, чтобы сдвинуть их.
Если кружки большие и мутные – вы слишком близко придвинулись к монитору.
Если кружки маленькие и мутные – вы слишком отдалились от монитора.
Как я уже писал выше, оптимальное расстояние от монитора до глаз – около 50 см.
Далее начинается калибровка айтрекера.
ВАЖНО!!!
Если айтрекером будет пользоваться ребёнок, то калибровку нужно будет выполнить глазами ребёнка!!
Для начала можете откалибровать устройство под свои глаза, а потом под глаза ребёнка.
На экране будут появляться синие точки, нужно будет смотреть на каждую из них по очереди.
После того, как вы зафиксируете взгляд на одной из точек, она разлетится на кусочки, как верхняя точка на картинке выше.
После окончания калибровки введите имя человека, для глаз которого проводилась калибровка и нажмите кнопку “Save”
Далее запустится игра, в которой вы двигаете глазами прицел космического корабля, а затем стреляете по астероидам клавишей «пробел»:
Выйти из игры можно, нажав на клавишу “Escape”.
На панели задач появится значок с двумя кружочками, изображающими глаза:
Если устройство видит только один глаз, то будет показан только один кружочек:
Если устройство вообще не находит глаз, то будут нарисованы два крестика:
ВАЖНО! Для того, чтобы программы не мешали работать друг другу, нужно отключить стандартные действия, которые производит драйвер Tobii.
Для этого щёлкаем на значок с кружочками (1) и в открывшемся меню заходим в раздел Interactions (2):
В каждом из разделов (Touchpad, Mouse, Windows) переведите все выключатели в положение “OFF”:
Если нужно, чтобы с устройством работал ещё один человек, нужно выполнить калибровку и для его глаз тоже. Для этого снова жмём на значок с двумя кружочками, а затем на стрелочку влево:
Затем выбираем пункт “Create New Profile…” (1) и повторяем калибровку для нового человека.
Переключение между профилями различных людей делается в области ниже (2). Текущий профиль отмечен голубым кружком:
3.3. (Больше не требуется) Установка “Microsoft Visual C++ Redistributable for Visual Studio 2012 Update 4”
Начиная c версии ‘F’ программы (от 03.04.2019) этот шаг выполнять не нужно
Если вы пропустите этот шаг, то при запуске программы вы увидите сообщение о том, что не найден файл msvcrt110.dll:
Заходим по ссылке: www.microsoft.com/ru-ru/download/details.aspx?id=30679
Качаем и устанавливаем версию для процессоров x86:
3.4. Установка и настройка бесплатного программного обеспечения (от автора статьи)
Заходим по ссылке.
После этого жмём кнопку “Download” или “View Raw”
Сохраняем файл.
(если кому интересно, там рядом лежат и исходные коды на языке С++)
Создаём каталог “C:bkb” и копируем туда содержимое скачанного архива “bkb32c-Russian.zip”.
Должен получиться каталог вот с такими файлами и подкаталогом “grid”:
Вообще-то вы можете выбрать и другой каталог для программы, но лучше, чтобы это не был подкаталог “Program Files…”. Дело в том, что программа может сохранять что-нибудь (например, журнал ошибок) в этом каталоге, а подкаталоги “Program Files…” закрыты на запись. (Да, я знаю, что нужно было писать в %AppData%, но так уж сложилось исторически).
3.4.1. Настройка программы для работы в режиме таблицы
Программа написана так, что если вы ничего не нажимаете в её первом окне, то она начинает сама определять, с каким устройством ей следует работать. Это сделано для того, чтобы её можно было поставить в автозагрузку на компьютер человека, который сам не может ничего нажать.
Поэтому при старте программы ворон не ловим, а быстренько ставим галочку в поле “Режим таблицы (GRID) – для детей” (1).
Также рекомендую нажать кнопку “Все настройки” (2) и установить побольше время фиксации взгляда на картинках, а также время ожидания следующей фиксации взгляда:
Уточнение 03.10.2018: В последней версии программы время фиксации для таблицы берётся из настроек и умножается на 3, так что возможно, вам не потребуется его увеличивать.
Жмём кнопку «Сохранить» и выбираем наш айтрекер, например, Tobii (3).
Если вы не успели поставить галочку или войти в настройки, и программа запустилась, закройте её и попробуйте снова.
Выйти из программы можно, только закрыв её окно в панели задач:
4.Использование программы
После запуска в режиме таблицы программа развернёт на весь экран вот такое изображение:
Свернуть эту таблицу до одной клеточки можно, посмотрев на стрелку влево (свернуть). Например, чтобы посмотреть мультфильмы.
Если посмотреть на свернутую таблицу, то она снова развернётся на весь экран.
Если смотреть на зелёный кружок, будет произноситься слово «Да»
На красный – слово «Нет»
На колокол – звук колокола.
На одну из картинок – соответствующая фраза:
Как уже упоминалось, выйти из программы можно, только закрыв её окно в панели задач.
5. Как изменить содержимое таблицы
Можно изменить содержимое таблицы, положив в каталог “grid” собственные файлы.
Для картинок – это файлы в формате BMP. (желательно сохранять их в программе Microsoft Paint, иначе программа может их не прочитать).
Для звуков – это файлы в формате WAV.
В первой ячейке таблицы отображается файл 0.BMP и проигрывается звук 0.WAV
Во второй ячейке – 1.BMP и 1.WAV
Всего на одном уровне может быть до 16 ячеек, они нумеруются так:
0,1,2,3,4,5,6,7,8,9,A,B,D,E,F
То есть к 16-й ячейке будут привязаны файлы F.BMP и F.WAV
Можно сделать дополнительные уровни таблицы.
Например, при выборе ячейки «Кушать» можно открывать таблицу с выбором еды.
В таблице второго уровня файлы именуются двузначными значениями.
Например, «Кушать» на первом уровне имеет номер 2, а из неё мы попадаем в таблицу с ячейками, начинающимися на 2: 20, 21, 22……
Попробуйте сделать так:
Возьмите файл 2.BMP и скопируйте его в файл 20.bmp, и ещё в файл 21.bmp. Затем в графическом редакторе измените файл 20.bmp, чтобы там появилась тарелка с кашей. А файл 21.bmp отредактируйте так, чтобы там было изображение пюре.
Теперь запишите два звуковых файла: 20.wav и 21.wav. В первом запишите, как вы произносите слово “каша”, а во втором – слово “пюре”.
Теперь перезапустите программу, и когда ребёнок будет смотреть на картинку со словом “кушать”, то после произнесения этого слова откроется новая таблица с вашими картинками 20.bmp, и 21.bmp. А при остановке взгляда на этих картинках – будут произносится слова, записанные в файлах 20.wav и 21.wav соответственно.
Всего может быть три уровня, как показано ниже:
Ячейки следующего уровня добавляют ещё одну цифру к имени файла верхнего уровня:
2-кушать, 20-каша, 200-манная каша.
После добавления новых файлов в каталог “grid” программу нужно перезапустить, чтобы она их увидела.
Записывайте свои звуки, создавайте свои картинки, объединяйте их в свои собственные таблицы.
Примеры экранов, созданных другими людьми:
6. Вызов внешних программ (обновление ноября 2018 года)
Теперь вы можете вызывать внешние программы, просто добавив ещё и файл с расширением .cmd и таким же именем, как и у файла с расширением .bmp
Например, для картинки 5.bmp вы можете создать файл 5.cmd, и если смотреть на эту картинку в таблице, то не только будет воспроизведён звук 5.wav, но и будет запущен файл 5.cmd
При вызове внешней программы окно с таблицей сворачивается, превращаясь в квадратик со стрелочкой, чтобы можно было увидеть окно запущенной программы.
7. Управление внешними устройствами: электроприборами, моторизованной коляской, моделью на радиоуправлении (обновление ноября 2018 года)
Этому посвящена отдельная статья: habr.com/post/430078
Здесь же просто приведу видеоклипы, показывающие, как это может работать:
А можно вместо этого купить готовую систему от известного производителя?
Конечно, можно. Но за программное обеспечение они просят денег, и эти программы не работают с дешёвыми геймерскими айтрекерами.
Вот, например, трекер с базовой программой за $1700.
Таблицы для коммуникации – Grid 3 за £480
Таблицы попроще — Snap + Core First за $180
Работают ли они с русским языком и клавиатурой — не знаю.
Приветы и благодарности
Режим таблицы для общения детей я сделал с подачи Александра Макарчука – руководителя благотворительного фонда «у Совы» ( sova.by ) из Беларуси. Александр также помог мне со сбором требований и тестированием. Фонд, в числе прочего, занимается организацией дистанционного обучения людей с инвалидностью с последующем трудоустройством. Саша, привет и успехов тебе!
Здоровье гика, Accessibility
Рекомендация: подборка платных и бесплатных курсов PR-менеджеров — https://katalog-kursov.ru/
В основе методики лежит отслеживание направления взгляда, которое осуществляет устройство “Tobii Eye Tracker 4C”. На экран компьютера выводится таблица с несколькими картинками. Если задержать взгляд на отдельной картинке, то будет озвучена соответствующая ей фраза, например, «пить», «повернуть на бок», «смотреть мультики».
Когда ребёнок выучит буквы, можно будет использовать более сложные методы, вроде набора текста глазами.
Что потребуется (в двух словах)?
- компьютер
- айтрекер — устройство отслеживания направления взгляда
- бесплатное программное обеспечение (от автора статьи)
Содержание
Как это работает?
Подробная инструкция
1. Выбор компьютера
2. Устройство Tobii Eye Tracker 4C
2.1 Крепление айтрекера на монитор
3. Установка программного обеспечения
3.1. Добыть файл TobiiGazeCore32.dll версии 4.1.3.938 или более новый
3.2. Установка драйверов и калибровка
3.3. Установка “Microsoft Visual C++ Redistributable for Visual Studio 2012 Update 4”
3.4. Установка и настройка бесплатного программного обеспечения (от автора статьи)
3.4.1. Настройка программы для работы в режиме таблицы
4. Использование программы
5. Как изменить содержимое таблицы
А можно вместо этого купить готовую систему от известного производителя?
Приветы и благодарности
Как это работает?
Видео, иллюстрирующее работу программы:
Виолетта учится работать с программой:
Виолетта капризничает и говорит «Нет!» при помощи программы:
Если у вас нет айтрекера, вы всё равно сможете оценить работу программы, так как она может работать также с любым устройством, перемещающим курсор мыши по экрану. Водите мышью по экрану так, как вы бы перемещали свой взгляд. Останавливайте курсор на картинках (нажимать ничего не надо), — это будет соответствовать фиксации взгляда на картинке при использовании айтрекера.
Чтобы программа работала в таком режиме, нужно в качестве используемого устройства выбрать Аэромышь (2 на рисунке ниже), но сначала не забудьте поставить галочку в поле “Режим таблицы (GRID) – для детей” (1).
Подробная инструкция
1. Выбор компьютера
Какой компьютер для этого подойдёт? Я бы сказал так: современный со средними характеристиками и операционной системой Windows версий 7, 8.1, 10 (Windows 10 – только 64 бита). Несмотря на то, что в рекомендациях по использованию айтрекера Tobii 4c (https://help.tobii.com/hc/en-us/articles/213414285-Specifications-for-the-Tobii-Eye-Tracker-4C) советуют использовать компьютер с процессором Intel i5 или i7, мне удавалось работать и на современных процессорах подешевле: i3, Pentium, Celeron, и даже на Atom x5, хотя работа на последних двух может показаться заторможенной.
Другими словами, если у вас уже есть компьютер, и он не архаичный, то стоит попробовать работать на нём. Если же думаете купить компьютер, главное – не берите старый, и не берите с процессором Atom. Хотя, если денег совсем нет, то можно и такой попробовать, но лучше обговорить возможность возврата.
У компьютера должен быть по крайней мере один порт USB версии 2 или 3. Лучше, чтобы было хотя-бы два порта, чтобы можно было кроме айтрекера хоть мышь воткнуть. (Планшеты, кстати, часто грешат тем, что порт USB у них только один).
2. Устройство Tobii Eye Tracker 4C
Это устройство выпускается компанией Tobii для игроков в компьютерные игры и продаётся по умеренной цене. Чтобы не создавать конкуренции своим значительно более дорогим устройствам, “Tobii Eye Tracker 4C” сделан несовместимым с программами для людей с ограниченными возможностями, выпускаемыми ей же.
Однако, выпущенные компанией Tobii средства разработки оставили мне лазейку, позволяющую написать такие программы самому. Возможно, не столь совершенные, но зато бесплатные.
Сегодня (осень 2018) это устройство можно легко купить в нескольких магазинах. Вы без труда найдёте самый удобный для себя вариант. Я брал весной 2018 года за 11500 российский рублей.
2.1 Крепление айтрекера на монитор.
Видео, иллюстрирующее установку на ноутбук:
Компьютер может быть большой с отдельно стоящим монитором или мобильный (ноутбук). Может быть даже планшет Windows. Но нужно помнить, что айтрекер нужно располагать точно ПОД монитором так, чтобы крепление было жёстким. И если к обычному монитору айтрекер крепится идущим в комплекте самоклеющимся магнитом, то к планшету его приходится крепить как-нибудь виртуозно. На фотографии ниже планшет и айтрекер закреплены на куске доски, которая, в свою очередь, соединена с кронштейном, поворачивающимся на углу стола.
Также нужно помнить, что за тёмным стеклом (прозрачным только в ИК-диапазоне) в центре айтрекера находится камера, а по краям — инфракрасные светодиоды. При креплении хомутами важно не загородить ни то, ни другое.
Линия глаз должна совпадать с линией расположения айтрекера. Если человек лежит на боку, то и монитор нужно наклонить набок.
Расстояние от глаз до монитора с айтрекером должно быть около 50 см (расстояние вытянутой руки) или чуть дальше. Поэтому крепить айтрекер к телевизору на стене не получится – слишком далеко.
Как уже было сказано, в айтрекере находится камера, и она должна быть направлена на глаза. Фронтальная поверхность айтрекера немного отражает свет. Постарайтесь увидеть в ней, как в зеркале, свои глаза – это будет значить, что камера смотрит на них. Наклоните монитор при необходимости.
3. Установка программного обеспечения
Всё делать именно в такой последовательности!
3.1. Добыть файл TobiiGazeCore32.dll версии 4.1.3.938 или более новый
Ранее этот файл можно было скачать в составе Tobii Gaze SDK. Сейчас компания Tobii прекратила его предоставлять, и приходится пользоваться трюком, описанным ниже.
Нужно скачать и установить программное обеспечение Tobii EyeX 2.1.1. После этого в одном из каталогов появится этот файл. Нужно скопировать его в надёжное место, после чего установленное программное обеспечение можно удалить.
Устанавливать это программное обеспечение нужно ДО установки драйверов от Tobii, иначе нужный нам файл TobiiGazeCore32.dll может не появится (кому интересно, мы решали эту проблему вот здесь: github.com/MastaLomaster/bkb/issues/6 )
Итак, скачиваем Tobii EyeX 2.1.1 ( files.update.tech.tobii.com/engine/Tobii.EyeX_2.1.1.293.exe) и запускаем. Соглашаемся с условиями: ставим галочку и жмём кнопку ‘Next”.
Ждём…
Готово, жмём “Finish”.
После установки появилось два файла TobiiGazeCore32.DLL. Более новый лежит в каталоге “C:Program Files (x86)TobiiTobii EyeX”. Это можно проверить, если нажать на имени файла правую кнопку мыши и выбрать «Свойства» в контекстном меню.
И затем, на закладке «Подробно» посмотреть на номер версии:
Копируем этот файл в надёжное место, например, создадим каталог BKB на диске C и положим файл туда:
Теперь можно удалить программу Tobii EyeX – мы взяли из неё всё, что нужно.
В Windows 10 для этого жмём кнопку «Пуск», потом — появившуюся кнопку с шестерёнкой.
Затем выберем раздел «Приложения»
Находим и удаляем всё, что начинается на “Tobii”, нажимая на кнопку «Удалить»:
3.2. Установка драйверов и калибровка
Заходим на страницу tobiigaming.com/getstarted и нажимаем на кнопку «Tobii Eyetracking»:
Затем на появившуюся кнопку «Download»:
Сохраняем файл (на будущее), и потом запускаем его:
Ставим галочку, жмём кнопку «Next»:
Ждём…
Жмём кнопку “Continue”:
Потом жмём кнопку “Get Started”:
Дальше нужно будет мышью перетащить линии на экране так, чтобы они совпали с полосками на корпусе айтрекера:
По завершению нажать кнопку “Done”.
Потом на экране появятся два кружка, которые иллюстрируют, хорошо ли айтрекер видит ваши глаза.
Если кружки расположены не в центре экрана (как на картинке сверху), наклоните монитор, чтобы сдвинуть их.
Если кружки большие и мутные – вы слишком близко придвинулись к монитору.
Если кружки маленькие и мутные – вы слишком отдалились от монитора.
Как я уже писал выше, оптимальное расстояние от монитора до глаз – около 50 см.
Далее начинается калибровка айтрекера.
ВАЖНО!!!
Если айтрекером будет пользоваться ребёнок, то калибровку нужно будет выполнить глазами ребёнка!!
Для начала можете откалибровать устройство под свои глаза, а потом под глаза ребёнка.
На экране будут появляться синие точки, нужно будет смотреть на каждую из них по очереди.
После того, как вы зафиксируете взгляд на одной из точек, она разлетится на кусочки, как верхняя точка на картинке выше.
После окончания калибровки введите имя человека, для глаз которого проводилась калибровка и нажмите кнопку “Save”
Далее запустится игра, в которой вы двигаете глазами прицел космического корабля, а затем стреляете по астероидам клавишей «пробел»:
Выйти из игры можно, нажав на клавишу “Escape”.
На панели задач появится значок с двумя кружочками, изображающими глаза:
Если устройство видит только один глаз, то будет показан только один кружочек:
Если устройство вообще не находит глаз, то будут нарисованы два крестика:
ВАЖНО! Для того, чтобы программы не мешали работать друг другу, нужно отключить стандартные действия, которые производит драйвер Tobii.
Для этого щёлкаем на значок с кружочками (1) и в открывшемся меню заходим в раздел Interactions (2):
В каждом из разделов (Touchpad, Mouse, Windows) переведите все выключатели в положение “OFF”:
Если нужно, чтобы с устройством работал ещё один человек, нужно выполнить калибровку и для его глаз тоже. Для этого снова жмём на значок с двумя кружочками, а затем на стрелочку влево:
Затем выбираем пункт “Create New Profile…” (1) и повторяем калибровку для нового человека.
Переключение между профилями различных людей делается в области ниже (2). Текущий профиль отмечен голубым кружком:
3.3. Установка “Microsoft Visual C++ Redistributable for Visual Studio 2012 Update 4”
Если вы пропустите этот шаг, то при запуске программы вы увидите сообщение о том, что не найден файл msvcrt110.dll:
Заходим по ссылке: www.microsoft.com/ru-ru/download/details.aspx?id=30679
Качаем и устанавливаем версию для процессоров x86:
3.4. Установка и настройка бесплатного программного обеспечения (от автора статьи)
Заходим по ссылке.
После этого жмём кнопку “Download” или “View Raw”
Сохраняем файл.
(если кому интересно, там рядом лежат и исходные коды на языке С++)
Создаём каталог “C:bkb” и копируем туда содержимое скачанного архива “bkb32c-Russian.zip”.
Туда же копируем файл “TobiiGazeCore32.dll” (см. п. 3.1. инструкции).
Должен получиться каталог вот с такими файлами и подкаталогом “grid”:
Вообще-то вы можете выбрать и другой каталог для программы, но это не должен быть подкаталог “Program Files…”. Дело в том, что программа сохраняет файл конфигурации “config.bkb” в этом каталоге, а подкаталоги “Program Files…” закрыты на запись. (Да, я знаю, что нужно было писать в %AppData%, но так уж сложилось исторически).
3.4.1. Настройка программы для работы в режиме таблицы
Программа написана так, что если вы ничего не нажимаете в её первом окне, то она начинает сама определять, с каким устройством ей следует работать. Это сделано для того, чтобы её можно было поставить в автозагрузку на компьютер человека, который сам не может ничего нажать.
Поэтому при старте программы ворон не ловим, а быстренько ставим галочку в поле “Режим таблицы (GRID) – для детей” (1).
Также рекомендую нажать кнопку “Все настройки” (2) и установить побольше время фиксации взгляда на картинках, а также время ожидания следующей фиксации взгляда:
Жмём кнопку «Сохранить» и выбираем наш айтрекер, например, Tobii (3).
Если вы не успели поставить галочку или войти в настройки, и программа запустилась, закройте её и попробуйте снова.
Выйти из программы можно, только закрыв её окно в панели задач:
4.Использование программы
После запуска в режиме таблицы программа развернёт на весь экран вот такое изображение:
Свернуть эту таблицу до одной клеточки можно, посмотрев на стрелку влево (свернуть). Например, чтобы посмотреть мультфильмы.
Если посмотреть на свернутую таблицу, то она снова развернётся на весь экран.
Если смотреть на зелёный кружок, будет произноситься слово «Да»
На красный – слово «Нет»
На колокол – звук колокола.
На одну из картинок – соответствующая фраза:
| Ячейка таблицы |
|---|
| 0. Болит живот. |
| 1.Пить. |
| 2.Кушать. |
| 3.Какать. |
| 4.Купаться. |
| 5.Смотреть мультики. |
| 6.Рисовать. |
| 7.Повернуть на бок. |
| 8.Спать |
| 9.Смотреть в окошко. |
| a.Почесать лобик. |
| b.Читать сказку. |
Как уже упоминалось, выйти из программы можно, только закрыв её окно в панели задач.
5. Как изменить содержимое таблицы
Можно изменить содержимое таблицы, положив в каталог “grid” собственные файлы.
Для картинок – это файлы в формате BMP. (желательно сохранять их в программе Microsoft Paint, иначе программа может их не прочитать).
Для звуков – это файлы в формате WAV.
В первой ячейке таблицы отображается файл 0.BMP и проигрывается звук 0.WAV
Во второй ячейке – 1.BMP и 1.WAV
Всего на одном уровне может быть до 16 ячеек, они нумеруются так:
0,1,2,3,4,5,6,7,8,9,A,B,D,E,F
То есть к 16-й ячейке будут привязаны файлы F.BMP и F.WAV
Можно сделать дополнительные уровни таблицы.
Например, при выборе ячейки «Кушать» можно открывать таблицу с выбором еды.
В таблице второго уровня файлы именуются двузначными значениями.
Например, «Кушать» на первом уровне имеет номер 2, а из неё мы попадаем в таблицу с ячейками, начинающимися на 2: 20, 21, 22……
Попробуйте сделать так:
Возьмите файл 2.BMP и скопируйте его в файл 20.bmp, и ещё в файл 21.bmp. Затем в графическом редакторе измените файл 20.bmp, чтобы там появилась тарелка с кашей. А файл 21.bmp отредактируйте так, чтобы там было изображение пюре.
Теперь запишите два звуковых файла: 20.wav и 21.wav. В первом запишите, как вы произносите слово “каша”, а во втором – слово “пюре”.
Теперь перезапустите программу, и когда ребёнок будет смотреть на картинку со словом “кушать”, то после произнесения этого слова откроется новая таблица с вашими картинками 20.bmp, и 21.bmp. А при остановке взгляда на этих картинках – будут произносится слова, записанные в файлах 20.wav и 21.wav соответственно.
Всего может быть три уровня, как показано ниже:
Ячейки следующего уровня добавляют ещё одну цифру к имени файла верхнего уровня:
2-кушать, 20-каша, 200-манная каша.
После добавления новых файлов в каталог “grid” программу нужно перезапустить, чтобы она их увидела.
Записывайте свои звуки, создавайте свои картинки, объединяйте их в свои собственные таблицы.
А можно вместо этого купить готовую систему от известного производителя?
Конечно, можно. Но за программное обеспечение они просят денег, и эти программы не работают с дешёвыми геймерскими айтрекерами.
Вот, например, трекер с базовой программой за $1700.
Приветы и благодарности
Режим таблицы для общения детей я сделал с подачи Александра Макарчука – руководителя благотворительного фонда «у Совы» ( sova.by ) из Беларуси. Александр также помог мне со сбором требований и тестированием. Фонд, в числе прочего, занимается организацией дистанционного обучения людей с инвалидностью с последующем трудоустройством. Саша, привет и успехов тебе!
Как известно, в командных играх типа League of Legends лидеров и аутсайдеров разделяет скорость зрительного восприятия. Покупка Tobii Eye Tracker 5 не только даст вам новые возможности управления игрой, но и позволит определить ваш персональный уровень при помощи технологии отслеживания движения глаз. Узнав, как «работает» ваше зрительное восприятие в процессе игры, вы поймете, что отделяет вас от статуса чемпиона и какие навыки необходимо совершенствовать.
Вы погрузитесь в мир с совершенно новым уровнем контроля. Движения вашей головы и глаз обеспечат полное взаимодействие с игровой средой и максимальное управление ею. Чувствовать себя естественно в виртуальной реальности вам помогут такие функции, как Aim at Gaze (отслеживание взгляда), Dynamic Lighting (динамическая подсветка), and Extended View camera movement (расширение обзора за счет смещения камеры).
Программное обеспечение Tobii Ghost позволит другим увидеть игру вашими глазами. Все, кто присоединится к вашему стриму, смогут разделить ваши эмоции и волю к победе благодаря прямому включению с места событий.
Купив Tobii Eye Tracker 5, вы забудете о паролях. Устройство сертифицировано для использования функции распознавания лиц Windows Hello. Теперь вход в систему станет удобным, быстрым, а главное — безопасным.
Новое гибкое крепление универсально и подходит как к плоским, так и к изогнутым экранам. Его можно закрепить под монитором, используя дополнительные крепления-пластины для встроенных экранов.
Приобрести Tobii Eye Tracker 5 вы можете в нашем магазине по выгодной цене и с быстрой доставкой. Чтобы заказать товар, добавьте его в раздел «Корзина» или позвоните по телефонам, указанным на сайте.
Технические характеристики
- Размеры — 285 x 15 x 8.2 мм
- Вес — 97 г
- Рабочее расстояние — 45—95 см
- Рекомендованный размер экрана — диагональ 27 дюймов (68,6 см) с соотношением сторон 16:9 / диагональ 30 дюймов (76,2 см) с соотношением сторон 21:9
- USB 2.0 — 0.8-метровый встроенный кабель / 1-метровый удлинитель
- Совместимость — ОС Windows 10 (64-bit) RS3 или более поздняя версия
- Системные требования — процессор Intel Core 6-го (i3/i5/i7-6xxx) и более поздних поколений или аналогичный 64-битный процессор AMD. Минимальный объем ОЗУ 8 Гб, частота 2 ГГц. USB-порт.
- Комплектация Tobii Eye Tracker 5, USB-удлинитель, 2 магнитных пластины, 1 гибкое крепление, руководство по использованию и инструкция по технике безопасности
Технические характеристики и параметры
| Тип | Система трекинга |
| Интерфейсы подключения | USB 2.0 |
| Рекомендуемый Процессор | Intel Core 6-го (i3/i5/i7-6xxx) и более поздних поколений или аналогичный 64-битный процессор AMD |
| Рекомендуемая оперативная память | 8 |
| Рекомендуемая Требуемая версия ОС | ОС Windows 10 (64-bit) RS3 или более поздняя версия |
| Вес устройства | 97 |
| Вес устройства (в коробке) | 0.5 кг |
| Габариты товара (длина, ширина, высота) в упаковке | 28/3/2 |
Комплектация
Время на прочтение
10 мин
Количество просмотров 26K
В основе методики лежит отслеживание направления взгляда, которое осуществляет устройство “Tobii Eye Tracker 4C”. На экран компьютера выводится таблица с несколькими картинками. Если задержать взгляд на отдельной картинке, то будет озвучена соответствующая ей фраза, например, «пить», «повернуть на бок», «смотреть мультики».
Когда ребёнок выучит буквы, можно будет использовать более сложные методы, вроде набора текста глазами.
Что потребуется (в двух словах)?
- компьютер
- айтрекер — устройство отслеживания направления взгляда
- бесплатное программное обеспечение (от автора статьи)
Содержание
Как это работает?
Подробная инструкция
1. Выбор компьютера
2. Устройство Tobii Eye Tracker 4C
2.1 Крепление айтрекера на монитор
3. Установка программного обеспечения
3.1. (Больше не требуется) Добыть файл TobiiGazeCore32.dll версии 4.1.3.938 или более новый
3.2. Установка драйверов и калибровка
3.3. (Больше не требуется) Установка “Microsoft Visual C++ Redistributable for Visual Studio 2012 Update 4”
3.4. Установка и настройка бесплатного программного обеспечения (от автора статьи)
3.4.1. Настройка программы для работы в режиме таблицы
4. Использование программы
5. Как изменить содержимое таблицы
6. Вызов внешних программ (обновление ноября 2018 года)
7. Управление внешними устройствами: электроприборами, моторизованной коляской, моделью на радиоуправлении (обновление ноября 2018 года)
А можно вместо этого купить готовую систему от известного производителя?
Приветы и благодарности
Как это работает?
Видео, иллюстрирующее работу программы:
Виолетта учится работать с программой:
Виолетта капризничает и говорит «Нет!» при помощи программы:
Если у вас нет айтрекера, вы всё равно сможете оценить работу программы, так как она может работать также с любым устройством, перемещающим курсор мыши по экрану. Водите мышью по экрану так, как вы бы перемещали свой взгляд. Останавливайте курсор на картинках (нажимать ничего не надо), — это будет соответствовать фиксации взгляда на картинке при использовании айтрекера.
Чтобы программа работала в таком режиме, нужно в качестве используемого устройства выбрать Аэромышь (2 на рисунке ниже), но сначала не забудьте поставить галочку в поле “Режим таблицы (GRID) – для детей” (1).
Подробная инструкция
1. Выбор компьютера
Какой компьютер для этого подойдёт? Я бы сказал так: современный со средними характеристиками и операционной системой Windows версий 7, 8.1, 10 (Windows 10 – только 64 бита). Несмотря на то, что в рекомендациях по использованию айтрекера Tobii 4c (https://help.tobii.com/hc/en-us/articles/213414285-Specifications-for-the-Tobii-Eye-Tracker-4C) советуют использовать компьютер с процессором Intel i5 или i7, мне удавалось работать и на современных процессорах подешевле: i3, Pentium, Celeron, и даже на Atom x5, хотя работа на последних двух может показаться заторможенной.
Другими словами, если у вас уже есть компьютер, и он не архаичный, то стоит попробовать работать на нём. Если же думаете купить компьютер, главное – не берите старый, и не берите с процессором Atom. Хотя, если денег совсем нет, то можно и такой попробовать, но лучше обговорить возможность возврата.
У компьютера должен быть по крайней мере один порт USB версии 2 или 3. Лучше, чтобы было хотя-бы два порта, чтобы можно было кроме айтрекера хоть мышь воткнуть. (Планшеты, кстати, часто грешат тем, что порт USB у них только один).
2. Устройство Tobii Eye Tracker 4C
Это устройство выпускается компанией Tobii для игроков в компьютерные игры и продаётся по умеренной цене. Чтобы не создавать конкуренции своим значительно более дорогим устройствам, “Tobii Eye Tracker 4C” сделан несовместимым с программами для людей с ограниченными возможностями, выпускаемыми ей же.
Однако, выпущенные компанией Tobii средства разработки оставили мне лазейку, позволяющую написать такие программы самому. Возможно, не столь совершенные, но зато бесплатные.
Сегодня (осень 2018) это устройство можно легко купить в нескольких магазинах. Вы без труда найдёте самый удобный для себя вариант. Я брал весной 2018 года за 11500 российский рублей.
2.1 Крепление айтрекера на монитор.
Видео, иллюстрирующее установку на ноутбук:
Компьютер может быть большой с отдельно стоящим монитором или мобильный (ноутбук). Может быть даже планшет Windows. Но нужно помнить, что айтрекер нужно располагать точно ПОД монитором так, чтобы крепление было жёстким. И если к обычному монитору айтрекер крепится идущим в комплекте самоклеющимся магнитом, то к планшету его приходится крепить как-нибудь виртуозно. На фотографии ниже планшет и айтрекер закреплены на куске доски, которая, в свою очередь, соединена с кронштейном, поворачивающимся на углу стола.
Также нужно помнить, что за тёмным стеклом (прозрачным только в ИК-диапазоне) в центре айтрекера находится камера, а по краям — инфракрасные светодиоды. При креплении хомутами важно не загородить ни то, ни другое.
Линия глаз должна совпадать с линией расположения айтрекера. Если человек лежит на боку, то и монитор нужно наклонить набок.
Расстояние от глаз до монитора с айтрекером должно быть около 50 см (расстояние вытянутой руки) или чуть дальше. Поэтому крепить айтрекер к телевизору на стене не получится – слишком далеко.
Как уже было сказано, в айтрекере находится камера, и она должна быть направлена на глаза. Фронтальная поверхность айтрекера немного отражает свет. Постарайтесь увидеть в ней, как в зеркале, свои глаза – это будет значить, что камера смотрит на них. Наклоните монитор при необходимости.
3. Установка программного обеспечения
Всё делать именно в такой последовательности!
3.1. (Больше не требуется) Добыть файл TobiiGazeCore32.dll версии 4.1.3.938 или более новый
Начиная c версии ‘F’ программы (от 03.04.2019) этот шаг выполнять не нужно
Ранее этот файл можно было скачать в составе Tobii Gaze SDK. Сейчас компания Tobii прекратила его предоставлять, и приходится пользоваться трюком, описанным ниже.
Нужно скачать и установить программное обеспечение Tobii EyeX 2.1.1. После этого в одном из каталогов появится этот файл. Нужно скопировать его в надёжное место, после чего установленное программное обеспечение можно удалить.
Устанавливать это программное обеспечение нужно ДО установки драйверов от Tobii, иначе нужный нам файл TobiiGazeCore32.dll может не появиться (кому интересно, мы решали эту проблему вот здесь: github.com/MastaLomaster/bkb/issues/6 )
Итак, скачиваем Tobii EyeX 2.1.1 ( files.update.tech.tobii.com/engine/Tobii.EyeX_2.1.1.293.exe) и запускаем. Соглашаемся с условиями: ставим галочку и жмём кнопку ‘Next”.
Ждём…
Готово, жмём “Finish”.
После установки появилось два файла TobiiGazeCore32.DLL. Более новый лежит в каталоге “C:\Program Files (x86)\Tobii\Tobii EyeX”. Это можно проверить, если нажать на имени файла правую кнопку мыши и выбрать «Свойства» в контекстном меню.
И затем, на закладке «Подробно» посмотреть на номер версии:
Копируем этот файл в надёжное место, например, создадим каталог BKB на диске C и положим файл туда:
Теперь можно удалить программу Tobii EyeX – мы взяли из неё всё, что нужно.
В Windows 10 для этого жмём кнопку «Пуск», потом — появившуюся кнопку с шестерёнкой.
Затем выберем раздел «Приложения»
Находим и удаляем всё, что начинается на “Tobii”, нажимая на кнопку «Удалить»:
3.2. Установка драйверов и калибровка
Заходим на страницу tobiigaming.com/getstarted и нажимаем на кнопку «Tobii Eyetracking»:
Затем на появившуюся кнопку «Download»:
Сохраняем файл (на будущее), и потом запускаем его:
Ставим галочку, жмём кнопку «Next»:
Ждём…
Жмём кнопку “Continue”:
Потом жмём кнопку “Get Started”:
Дальше нужно будет мышью перетащить линии на экране так, чтобы они совпали с полосками на корпусе айтрекера:
По завершению нажать кнопку “Done”.
Потом на экране появятся два кружка, которые иллюстрируют, хорошо ли айтрекер видит ваши глаза.
Если кружки расположены не в центре экрана (как на картинке сверху), наклоните монитор, чтобы сдвинуть их.
Если кружки большие и мутные – вы слишком близко придвинулись к монитору.
Если кружки маленькие и мутные – вы слишком отдалились от монитора.
Как я уже писал выше, оптимальное расстояние от монитора до глаз – около 50 см.
Далее начинается калибровка айтрекера.
ВАЖНО!!!
Если айтрекером будет пользоваться ребёнок, то калибровку нужно будет выполнить глазами ребёнка!!
Для начала можете откалибровать устройство под свои глаза, а потом под глаза ребёнка.
На экране будут появляться синие точки, нужно будет смотреть на каждую из них по очереди.
После того, как вы зафиксируете взгляд на одной из точек, она разлетится на кусочки, как верхняя точка на картинке выше.
После окончания калибровки введите имя человека, для глаз которого проводилась калибровка и нажмите кнопку “Save”
Далее запустится игра, в которой вы двигаете глазами прицел космического корабля, а затем стреляете по астероидам клавишей «пробел»:
Выйти из игры можно, нажав на клавишу “Escape”.
На панели задач появится значок с двумя кружочками, изображающими глаза:
Если устройство видит только один глаз, то будет показан только один кружочек:
Если устройство вообще не находит глаз, то будут нарисованы два крестика:
ВАЖНО! Для того, чтобы программы не мешали работать друг другу, нужно отключить стандартные действия, которые производит драйвер Tobii.
Для этого щёлкаем на значок с кружочками (1) и в открывшемся меню заходим в раздел Interactions (2):
В каждом из разделов (Touchpad, Mouse, Windows) переведите все выключатели в положение “OFF”:
Если нужно, чтобы с устройством работал ещё один человек, нужно выполнить калибровку и для его глаз тоже. Для этого снова жмём на значок с двумя кружочками, а затем на стрелочку влево:
Затем выбираем пункт “Create New Profile…” (1) и повторяем калибровку для нового человека.
Переключение между профилями различных людей делается в области ниже (2). Текущий профиль отмечен голубым кружком:
3.3. (Больше не требуется) Установка “Microsoft Visual C++ Redistributable for Visual Studio 2012 Update 4”
Начиная c версии ‘F’ программы (от 03.04.2019) этот шаг выполнять не нужно
Если вы пропустите этот шаг, то при запуске программы вы увидите сообщение о том, что не найден файл msvcrt110.dll:
Заходим по ссылке: www.microsoft.com/ru-ru/download/details.aspx?id=30679
Качаем и устанавливаем версию для процессоров x86:
3.4. Установка и настройка бесплатного программного обеспечения (от автора статьи)
Заходим по ссылке.
После этого жмём кнопку “Download” или “View Raw”
Сохраняем файл.
(если кому интересно, там рядом лежат и исходные коды на языке С++)
Создаём каталог “C:\bkb” и копируем туда содержимое скачанного архива “bkb32c-Russian.zip”.
Должен получиться каталог вот с такими файлами и подкаталогом “grid”:
Вообще-то вы можете выбрать и другой каталог для программы, но лучше, чтобы это не был подкаталог “Program Files…”. Дело в том, что программа может сохранять что-нибудь (например, журнал ошибок) в этом каталоге, а подкаталоги “Program Files…” закрыты на запись. (Да, я знаю, что нужно было писать в %AppData%, но так уж сложилось исторически).
3.4.1. Настройка программы для работы в режиме таблицы
Программа написана так, что если вы ничего не нажимаете в её первом окне, то она начинает сама определять, с каким устройством ей следует работать. Это сделано для того, чтобы её можно было поставить в автозагрузку на компьютер человека, который сам не может ничего нажать.
Поэтому при старте программы ворон не ловим, а быстренько ставим галочку в поле “Режим таблицы (GRID) – для детей” (1).
Также рекомендую нажать кнопку “Все настройки” (2) и установить побольше время фиксации взгляда на картинках, а также время ожидания следующей фиксации взгляда:
Уточнение 03.10.2018: В последней версии программы время фиксации для таблицы берётся из настроек и умножается на 3, так что возможно, вам не потребуется его увеличивать.
Жмём кнопку «Сохранить» и выбираем наш айтрекер, например, Tobii (3).
Если вы не успели поставить галочку или войти в настройки, и программа запустилась, закройте её и попробуйте снова.
Выйти из программы можно, только закрыв её окно в панели задач:
4.Использование программы
После запуска в режиме таблицы программа развернёт на весь экран вот такое изображение:
Свернуть эту таблицу до одной клеточки можно, посмотрев на стрелку влево (свернуть). Например, чтобы посмотреть мультфильмы.
Если посмотреть на свернутую таблицу, то она снова развернётся на весь экран.
Если смотреть на зелёный кружок, будет произноситься слово «Да»
На красный – слово «Нет»
На колокол – звук колокола.
На одну из картинок – соответствующая фраза:
Как уже упоминалось, выйти из программы можно, только закрыв её окно в панели задач.
5. Как изменить содержимое таблицы
Можно изменить содержимое таблицы, положив в каталог “grid” собственные файлы.
Для картинок – это файлы в формате BMP. (желательно сохранять их в программе Microsoft Paint, иначе программа может их не прочитать).
Для звуков – это файлы в формате WAV.
В первой ячейке таблицы отображается файл 0.BMP и проигрывается звук 0.WAV
Во второй ячейке – 1.BMP и 1.WAV
Всего на одном уровне может быть до 16 ячеек, они нумеруются так:
0,1,2,3,4,5,6,7,8,9,A,B,D,E,F
То есть к 16-й ячейке будут привязаны файлы F.BMP и F.WAV
Можно сделать дополнительные уровни таблицы.
Например, при выборе ячейки «Кушать» можно открывать таблицу с выбором еды.
В таблице второго уровня файлы именуются двузначными значениями.
Например, «Кушать» на первом уровне имеет номер 2, а из неё мы попадаем в таблицу с ячейками, начинающимися на 2: 20, 21, 22……
Попробуйте сделать так:
Возьмите файл 2.BMP и скопируйте его в файл 20.bmp, и ещё в файл 21.bmp. Затем в графическом редакторе измените файл 20.bmp, чтобы там появилась тарелка с кашей. А файл 21.bmp отредактируйте так, чтобы там было изображение пюре.
Теперь запишите два звуковых файла: 20.wav и 21.wav. В первом запишите, как вы произносите слово “каша”, а во втором – слово “пюре”.
Теперь перезапустите программу, и когда ребёнок будет смотреть на картинку со словом “кушать”, то после произнесения этого слова откроется новая таблица с вашими картинками 20.bmp, и 21.bmp. А при остановке взгляда на этих картинках – будут произносится слова, записанные в файлах 20.wav и 21.wav соответственно.
Всего может быть три уровня, как показано ниже:
Ячейки следующего уровня добавляют ещё одну цифру к имени файла верхнего уровня:
2-кушать, 20-каша, 200-манная каша.
После добавления новых файлов в каталог “grid” программу нужно перезапустить, чтобы она их увидела.
Записывайте свои звуки, создавайте свои картинки, объединяйте их в свои собственные таблицы.
Примеры экранов, созданных другими людьми:
6. Вызов внешних программ (обновление ноября 2018 года)
Теперь вы можете вызывать внешние программы, просто добавив ещё и файл с расширением .cmd и таким же именем, как и у файла с расширением .bmp
Например, для картинки 5.bmp вы можете создать файл 5.cmd, и если смотреть на эту картинку в таблице, то не только будет воспроизведён звук 5.wav, но и будет запущен файл 5.cmd
При вызове внешней программы окно с таблицей сворачивается, превращаясь в квадратик со стрелочкой, чтобы можно было увидеть окно запущенной программы.
7. Управление внешними устройствами: электроприборами, моторизованной коляской, моделью на радиоуправлении (обновление ноября 2018 года)
Этому посвящена отдельная статья: habr.com/post/430078
Здесь же просто приведу видеоклипы, показывающие, как это может работать:
А можно вместо этого купить готовую систему от известного производителя?
Конечно, можно. Но за программное обеспечение они просят денег, и эти программы не работают с дешёвыми геймерскими айтрекерами.
Вот, например, трекер с базовой программой за $1700.
Таблицы для коммуникации – Grid 3 за £480
Таблицы попроще — Snap + Core First за $180
Работают ли они с русским языком и клавиатурой — не знаю.
Приветы и благодарности
Режим таблицы для общения детей я сделал с подачи Александра Макарчука – руководителя благотворительного фонда «у Совы» ( sova.by ) из Беларуси. Александр также помог мне со сбором требований и тестированием. Фонд, в числе прочего, занимается организацией дистанционного обучения людей с инвалидностью с последующем трудоустройством. Саша, привет и успехов тебе!
Вы погрузитесь в мир с совершенно новым уровнем контроля. Движения вашей головы и глаз обеспечат полное взаимодействие с игровой средой и максимальное управление ею. Чувствовать себя естественно в виртуальной реальности вам помогут такие функции, как Aim at Gaze (отслеживание взгляда), Dynamic Lighting (динамическая подсветка), and Extended View camera movement (расширение обзора за счет смещения камеры).
Программное обеспечение Tobii Ghost позволит другим увидеть игру вашими глазами. Все, кто присоединится к вашему стриму, смогут разделить ваши эмоции и волю к победе благодаря прямому включению с места событий.
Купив Tobii Eye Tracker 5, вы забудете о паролях. Устройство сертифицировано для использования функции распознавания лиц Windows Hello. Теперь вход в систему станет удобным, быстрым, а главное — безопасным.
Новое гибкое крепление универсально и подходит как к плоским, так и к изогнутым экранам. Его можно закрепить под монитором, используя дополнительные крепления-пластины для встроенных экранов.
Приобрести Tobii Eye Tracker 5 вы можете в нашем магазине по выгодной цене и с быстрой доставкой. Чтобы заказать товар, добавьте его в раздел «Корзина» или позвоните по телефонам, указанным на сайте.
Технические характеристики
- Размеры — 285 x 15 x 8.2 мм
- Вес — 97 г
- Рабочее расстояние — 45—95 см
- Рекомендованный размер экрана — диагональ 27 дюймов (68,6 см) с соотношением сторон 16:9 / диагональ 30 дюймов (76,2 см) с соотношением сторон 21:9
- USB 2.0 — 0.8-метровый встроенный кабель / 1-метровый удлинитель
- Совместимость — ОС Windows 10 (64-bit) RS3 или более поздняя версия
- Системные требования — процессор Intel Core 6-го (i3/i5/i7-6xxx) и более поздних поколений или аналогичный 64-битный процессор AMD. Минимальный объем ОЗУ 8 Гб, частота 2 ГГц. USB-порт.
- Комплектация Tobii Eye Tracker 5, USB-удлинитель, 2 магнитных пластины, 1 гибкое крепление, руководство по использованию и инструкция по технике безопасности
Технические характеристики и параметры
| Тип | Система трекинга |
| Интерфейсы подключения | USB 2.0 |
| Рекомендуемый Процессор | Intel Core 6-го (i3/i5/i7-6xxx) и более поздних поколений или аналогичный 64-битный процессор AMD |
| Рекомендуемая оперативная память | 8 |
| Рекомендуемая Требуемая версия ОС | ОС Windows 10 (64-bit) RS3 или более поздняя версия |
| Вес устройства | 97 |
| Вес устройства (в коробке) | 0.5 кг |
| Габариты товара (длина, ширина, высота) в упаковке | 28/3/2 |