Модель черного ящика примеры автомобиль

Объяснимый искусственный интеллект: понимание черного ящика

Черный квадрат — знаковая картина советского художника Казимира Малевича. Первая версия написана в 1915 году. Черный квадрат впечатляет искусствоведов и сегодня, но на своих современников не произвел впечатления и хранился в таких плохих условиях, что сильно потрескался и обветшал.

Сложные алгоритмы машинного обучения могут быть математическим произведением искусства, но если эти «алгоритмы черного ящика», которые мы не видим, не смогут произвести впечатление и завоевать доверие пользователей, они могут быть проигнорированы, как Черный квадрат Малевича. Как сделать все понятнее для юзеров — в материале под катом.

Значительный успех машинного обучения привел к всплеску в приложениях искусственного интеллекта. Достижения в машинном обучении и рост вычислительных мощностей привели к разработке интеллектуальных систем, которые применяются, чтобы рекомендовать фильм, диагностировать злокачественную опухоль, принимать инвестиционные решения или вести машину без водителя. Однако эффективность этих систем ограничена невозможностью объяснить решения и действия пользователю. Множество таких приложений, применяющих ML, работают «внутри черного ящика», предлагая небольшое, если вообще заметное, объяснение того, как они достигают результатов.

Вековая проблема

Проблема объяснения машинного обучения очень распространена, с ней сталкивалось большинство специалистов по данным. В опросе на Kaggle из 7000 специалистов по обработке данных, четыре из семи главных «барьеров, с которыми сталкиваются на работе», не технические, но связаны с «проблемами последней мили»:

Раз за разом случается, что какой-нибудь невежественный или самонадеянный член совета директоров нарушает тщательно продуманный план человека, который знает факты, просто потому, что человек с фактами не может представить их достаточно понятно, чтобы преодолеть сопротивление…. Эффективная презентация подобна собору на фундаменте данных.

Компромисс точности и объяснимости

Специалистам приходится иметь дело с компромиссом между интерпретируемостью и точностью, то есть между сложными моделями, работающими с разноплановыми данными, и менее сложными моделями, которые легче интерпретировать, но которые менее точны.

При работе с большими разноплановыми наборами данных необходимо использовать все эти переменные для построения модели и получения точных результатов. По мере использования большего числа переменных их связь с целевой переменной и взаимодействие между различными независимыми переменными делают модель все более сложной.

Нецелесообразно моделировать нелинейные зависимости с помощью линейных моделей и ожидать точных результатов

Так должны ли мы построить точную модель или пожертвовать точностью и построить интерпретируемую модель?

Есть сильные движущие факторы с обеих сторон. При больших объемах данных у безвредного приложения для принятия решений, типа рекомендательной системы фильмов, высокоточная модель черного ящика является жизнеспособным вариантом. Однако в критически важных системах для принятия инвестиционных решений или в медицинской диагностике объяснимость может быть важнее.

Нормативные требования также могут повлиять на ваше решение. Если модели банковского кредитования и мошенничества являются черными ящиками, то регуляторы не могут их рассмотреть или понять. Если такие алгоритмы не будут точно оценивать риски, то финансовая система может оказаться под угрозой, как мы видели во время финансового кризиса 2008 года. Неудивительно, что многие регулирующие органы настаивают на том, чтобы модели кредитования и риска поддавались интерпретации.

Программа XAI от DARPA

Агентство перспективных оборонных исследовательских проектов (DARPA) Министерства обороны Соединенных Штатов, ответственное за разработку новых технологий, постоянно проводит программу Explainable AI (XAI).

Программа eXplainable AI (XAI) направлена на создание набора методов машинного обучения, которые:

Разработчики системы XAI, подходы и проблемные области

Это постоянная программа, и потребуется несколько лет, чтобы ее результаты были поняты, приняты и доступны на популярных языках программирования, таких как Python и R.

Что мы имеем сейчас?

LIME (локально интерпретируемая модельно-агностическое объяснение) объясняет классификатор для конкретного единичного экземпляра и поэтому подходит для локального рассмотрения. Интуитивно понятно, что объяснение — это локальное линейное приближение поведения модели. Хотя модель может быть очень сложной в глобальном масштабе, ее легче приближать в непосредственной близости от конкретного случая.

LIME аппроксимирует локальный линейный суррогат сложной модели

SHAP (Аддитивное объяснение Шепли) — еще один метод объяснения индивидуальных прогнозов. SHAP основан на игре теоретически оптимальных значений Шепли. Техническое определение значения Шепли — это “средний предельный вклад значения характеристики во все возможные коалициям. ”

SHAP определяет предельный вклад каждой функции в достижение выходного значения, начиная с базового значения.

Другими словами, значения Шепли рассматривают все возможные прогнозы экземпляра с использованием всех возможных комбинаций входных данных. Благодаря такому исчерпывающему подходу SHAP может гарантировать согласованность и локальную точность.

LIME против SHAP

LIME создает суррогатную модель локально вокруг единицы, прогноз которой вы хотите понять. Таким образом, он по своей сути локален. Значения Шепли делают декомпозицию окончательного прогноза на вклады каждого признака. Так зачем кому-то использовать LIME? LIME работает быстро, а SHAP требуют много времени из-за их исчерпывающих вычислений.

Другие варианты

Помимо LIME и SHAP, есть и другие инструменты искусственного интеллекта для лучшего объяснения ваших моделей.

AIX360 от IBM — расширяемый набор инструментов, который предлагает исчерпывающий набор возможностей для улучшения объяснимости вашей модели. Соответствующий пакет Python AI Explainability 360 включает в себя алгоритмы, охватывающие различные метрики объяснений наряду с посредническими метриками объяснимости
What-if предоставляет инструменты для визуального исследования поведения обученных моделей с помощью минимального количества кода.

Построение доверия с заинтересованными сторонами

Проводя параллель с разработкой рецептурных лекарств, мы принимаем назначенные врачом лекарства потому, что доверяем квалификации врача и доверяем строгости клинических испытаний, которые препарат прошел до выхода на рынок. Регулирующие органы, такие как FDA, определили процессы и протоколы, чтобы обеспечить безопасность и эффективность лекарств.

Точно так, если мы следуем строгому процессу и гарантируем, что каждая модель прошла одни и те же этапы выдвижения гипотез, проверки и тестирования, то можем выстроить доверие с заинтересованными сторонами бизнеса в том, что касается эффективности моделей машинного обучения. Таким образом, модель должна приниматься и уверенно интегрироваться в бизнес как обычные процессы.

Обуздать искусственный интеллект и машинное обучение можно под чутким руководством наших менторов. А промокод HABR дает дополнительную скидку 10%, которая суммируется со скидкой на баннере.

Источник

Модель «черного ящика»

Модель «черного ящика» является простейшим отображением реальной системы (некоторого фрагмента реального мира), в котором полностью отсутствуют сведения о внутреннем содержании этого фрагмента, а задаются только входные и выходные связи системы со средой (рис.

Рис. 6.1. Модель «черного ящика»

Например, при исследовании элементарных частиц, изучении влияния лекарства на живой организм, определении последствий воздействия человека на природу, анализе возможностей влияния на экономическое развитие суверенного государства и т.д. мы лишены возможности прямого вмешательства в исследуемую систему и иначе чем через фиксацию ее· взаимодействия с внешней средой по входам и выходам не сможем составить представление о системе, процессе или явлении.

Бросающаяся в глаза внешняя простота модели «черного ящика» очень обманчива. Кажется, просто перечисли входы-выходы системы — и модель готова. Но как только это потребуется сделать для конкретной системы, исследователь сталкивается с множеством трудностей. Проиллюстрируем это на примере.

Пример. Попробуем перечислить входы-выходы системы «легковой автомобиль».

Поскольку целевое назначение автомобиля заключается в перемещении его владельца в пространстве (хотя не исключены и побочные цели — автомобиль как признак успешности, престижа, элемент роскоши и т.д.), с входом в систему необходимо увязать все воздействия, подталкивающие ее к цели. Поэтому очевидно, что в качестве входов в первую очередь следует выделить те элементы, посредством которых осуществляется управление автомобилем во время движения:

• рычаг переключения передач;

• переключатель освещения дороги;

• ручку ручного тормоза;

Затем, учитывая, что двигаться может только исправный и заправленный автомобиль, в список входов включим элементы, посредством которых осуществляются регулировка и заправка автомобиля в стационарных условиях:

• регулировочные винты схода-развала;

• ручку регулировки интенсивности освещения;

• отверстия для подкачки колес;

• отверстия для заливки стеклоочистителя.

Нельзя не учитывать входы автомобиля в буквальном смысле слова:

• крышку заправочного отверстия.

Следует зафиксировать и элементы, посредством которых поступает информация водителю и пассажирам:

• лобовое; заднее и боковые стекла;

• зеркала заднего вида;

• сигнализацию критического приближения к препятствию при заднем ходе;

• индикатор скорости (спидометр);

• индикатор уровня масла в картере двигателя;

• индикатор температуры двигателя;

Не следует, наверно, забывать и о входах, обеспечивающих комфорт водителя и пассажиров:

• кнопках радиоприемника (телевизора, дисковода);

• источнике приятного запаха.

Не последнюю роль в движении автомобиля играет поверхность, по которой он движется: по-разному приходится действовать водителю при езде по асфальту, песку, гололеду, ухабам и заболоченной местности. Следовательно, необходимо добавить к списку входов:

• механическое воздействие грунта на колеса;

• аэродинамическое сопротивление воздуха.

Нельзя пренебречь и средствами безопасности, которыми оборудован современный автомобиль:

• знаком аварийной остановки;

А разве не влияют на автомобиль:

• электрические и магнитные поля;

• гравитационное поле Земли;

Приведенный список входов системы «автомобиль» далеко не исчерпан и при желании может быть продолжен.

То же самое можно продемонстрировать, перечисляя выходы этой системы.

Принимая во внимание, что сформулированная таким образом цель относится ко всем автомобилям, в конкретизацию цели внесем следующие добавления:

• наличие салона для четырех пассажиров;

Далее, представив себе условия эксплуатации автомобиля, можем добавить:

• герметичность салона (пыле- и влагонепроницаемость);

Можно еще расширить круг требований к автомобилю, включив в него некоторые маркетинговые характеристики:

• соответствие цены покупательной способности потенциальных потребителей;

• соответствие климатическим условиям конкретного территориального рынка;

• соответствие «духу времени» и т.д. ♦

Рассмотренный пример свидетельствует о том, что построение модели «черного ящика» не является тривиальной задачей, так как на вопрос, сколько входов-выходов следует включать в модель и какие именно, ответ непрост и не всегда однозначен.

Главной причиной множественности входов и выходов в модели «черного ящика» является то, что всякая реальная система взаимодействует с объектами окружающей среды неограниченным числом способов. Занимаясь построением модели «черного ящика», системный аналитик из этого бесчисленного множества связей отбирает конечное их число для включения в списки входов и выходов. Критерием отбора при этом является целевое назначение модели. То, что существенно и важно для достижения цели, включается в модель, то, что несущественно или не важно, — не включается.

Именно здесь, на этапе отбора существенных характеристик системы для включения в модель, возможны ошибки. Тот факт, что мы не учитываем в модели (исключаем из рассмотрения) некоторые связи, не лишает их реальности. Они все равно существуют и оказывают воздействие на исследуемую систему. Нередко оказывается, что казавшийся несущественным или неизвестный для нас фактор на самом деле является важным и должен учитываться в модели.

На ранних стадиях исследования системы иногда затруднительно определить, относится обнаруженная связь со средой к входам или к выходам. В первую очередь это касается исследования причинно-следственных связей между процессами, протекающими в системе, когда трудно определить, что есть причина, а что — следствие (или, возможно, и то, и другое являются следствием ненаблюдаемой причины). В таких случаях иногда полезно рассмотреть две конкурирующие модели «черного ящика», в одной из которых эта связь причислена к входам, а в другой — к выходам.

Но простота модели «черного ящика» обманчива. Всегда существует опасность неполноты перечней входов и выходов как вследствие того, что важные из них могут показаться несущественными, так и в силу неизвестности некоторых из них в момент построения модели.

Источник

Модели систем. Модель черного ящика. Модель состава

Урок 2. Информатика 11 класс ФГОС

В данный момент вы не можете посмотреть или раздать видеоурок ученикам

Чтобы получить доступ к этому и другим видеоурокам комплекта, вам нужно добавить его в личный кабинет, приобрев в каталоге.

Получите невероятные возможности

Конспект урока «Модели систем. Модель черного ящика. Модель состава»

На данном уроке мы познакомимся с такими понятиями как анализ, синтез, системный анализ. Вспомним модель «чёрного ящика» и модель состава.

Система – это целостная и взаимосвязанная совокупность частей, существующая в некоторой среде и обладающая определённым назначением, подчинённая некоторой цели.

Человеческое общество развивается благодаря открытиям, исследованиям, экспериментам и любая система подлежит изучению.

Исследование системы включает в себя два этапа: анализ и синтез.

Анализ системы – это выделение её частей с целью прояснения состава системы.

Как нам уже известно, любая система состоит из подсистем. В свою очередь, любая подсистема состоит так же из нескольких подсистем. Таким образом, мы может разделить систему на самые мелкие объекты.

Возникает вопрос: а нужно ли нам это?

На первом этапе необходимо проанализировать систему для определения её состава и цели исследования. Целью исследования системы является получение её модели. Модель – это новый упрощённый объект, который отражает существенные особенности реального объекта, процесса или явления.

Соответственно с помощью модели мы можем получить необходимые нам результаты исследований. Например, узнать, как будет лететь самолёт при большой нагрузке багажом.

Далее необходимо выделить в системе связи между её частями. Например: основные компоненты велосипеда (рама, руль, колеса, педали, сиденье) зависят друг от друга. Качество данной системы – возможность ездить на велосипеде. Ни одна составная часть не обладает этим свойством. Но в свою очередь если собрать их вместе, связать их в одно целое, то появляется такое качество, как возможность ездить на велосипеде.

Состояние и поведение системы в той или иной ситуации можно понять и изучить только при наличии её состава и структуры.

Это был первый этап исследования системы.

Синтез – это мысленное или реальное соединение частей в единое целое. В результате данного этапа создаётся представление о системе, объясняется механизм системного эффекта.

Вывод: системный анализ – это исследование реальных объектов и явлений с точки зрения системного подхода, состоящее из этапов анализа и синтеза.

Любое описание системы отражает ограниченное число её свойств. Это зависит от того, с какой целью мы делаем описание, какие именно качества системы нам нужны.

На этом уроке мы познакомимся с моделью «чёрного ящика».

Есть такое понятие «Система как «чёрный ящик». Оно употребляется в том случае, если человек не знает, как устроена та или иная система «внутри» или эта система не представляет для него интереса. Часто достаточно знать, какие действия можно производить с системой, и какие результаты при этом можно получить.

Вход системы – это воздействие на систему со стороны внешней среды, а выход – это воздействие, которое оказывает система на окружающую среду.

Мы можем понимать, например, что объект на компьютере можно открыть двойным нажатием левой кнопкой мыши на нём. Входом будет нажатие клавиши мыши, а выходом – открытие документа. Но мы не знаем, как это происходит в системном блоке, сам процесс нам не понятен. В таких случаях и применяется понятие «система как «чёрный ящик».

Представить систему как «чёрный ящик» – значит указать её входы и выходы, а также зависимость между ними.

Если описать компьютер как «чёрный ящик», учитывая только входы и выходы системы, то получится, что входом системы являются данные программы, а выходом – итоговая информация.

Вывод: модель «чёрного ящика» представляет систему на уровне описания связей её входов и выходов.

Но в то же время, при решении вопросов, которые касаются внутреннего устройства системы, мы не можем ограничиться лишь моделью «чёрного ящика». Можно сказать, что данные, которые мы получаем при рассмотрении модели «чёрного ящика» по большей части являются лишь внешними свойствами системы.

Поэтому приходится обращаться к модели состава. Модель состава – это своеобразный список элементов системы. В данной системе не рассматриваются связи между её элементами.

Разберёмся более подробно на модели состава школы.

Любая школа состоит из администрации, учителей, учеников, учебных классов и родителей. На данной схеме мы видим пять составляющих нашей системы. Каждая из них является подсистемой со своим составом. Для этих подсистем можно также построить свои схемы состава. Например, учеников можно разделить по параллелям с первых по одиннадцатые классы. Или же учителей можно разделить на начальную и старшую школы.

Очевидно, что такой модели будет мало, если мы захотим разобраться, как функционирует школа. Но с другой стороны, она даёт более подробное представление, чем модель «чёрного ящика».

Сегодня мы узнали, что такое системный анализ, познакомились с такими моделями как модель «чёрного ящика» и модель «состава».

Источник

Модель черный ящик на примере микроволновой печи. ОТС-1. Модель Черный ящик

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

«РОССИЙСКИЙ УНИВЕРСИТЕТ ТРАНСПОРТА (МИИТ)»

Институт Экономики и Финансов

Кафедра «Экономика транспортной инфраструктуры и управление строительным бизнесом»
Практическое задание № 1
по дисциплине «Общая теория систем»
на тему
« Модель «Черный ящик» »

Проверил: ст.пр. Разуваев А. Д.

Практическое задание № 1 1

2.Теоретические сведения «Черный ящик» 5

3.Модель «черный ящик» на примере микроволновой печи 9

1. Общие сведения 3

2. Теоретические сведения «Черный ящик» 6

3. Модель «черный ящик» на примере микроволновой печи 10

Общие сведения

Модель – система, исследования которой служат средством для получения информации о другой системе. Это упрощенное представление реального устройства, протекающих в нем процессов, явлений.

При моделировании свойства одного объекта переносятся на другой, таким образом, чтобы взаимосвязь свойств моделей и объекта была аналогичной. Отображения объектов называются моделями, а процесс создания – моделированием.

Модель, с помощью которой достигается успешно поставленная цель, называется адекватной этой цели. Понятие адекватности не полностью совпадает с требованием полноты, точности и правильности. Адекватность означает, что не все требования выполнены, а лишь те и в той мере, которые достаточны для достижения цели.

Построение моделей относят к числу системных задач, при решении которых синтезируют решения на базе огромного числа исходных данных. Использование системного подхода позволяет не только построить модель реального объекта, но и выбрать необходимое количество управляющей информации, оценить показатели функционирования модели, найти эффективный вариант её построения и режим функционирования.

Примером экономических моделей может служить модель поведения фирмы или отдельного потребителя, также примером может служить модель формирования рыночной цены.

1) целостность – единство, достигаемое посредством определенных взаимосвязей элементов системы и проявляющиеся в возникновении новых свойств. Каждый элемент вносит свой вклад в реализацию целевой функции;

Теоретические сведения «Черный ящик»

Цель работы: освоить процесс построения модели «черный ящик».

Любая вещь, предмет, явление, познаваемый объект всегда первоначально выступает как «черный ящик». В данной модели задаются, фиксируются, перечисляются только входные и выходные связи системы со средой.

Система связана с внешним окружением через совокупность входов и выходов:

1) выходы – описывают результаты деятельности;

2) входы – описывают ресурсы и ограничения.

Появляются 2 важных свойства модели (системы): целостность и обособленность.

Рис.1 – Модель «черный ящик»
Примеры: таблетка анальгина, педаль газа и т.д..

Проблема построения модели «черный ящик» заключается в правильном определении цели системы.

Цель – это субъективный образ или абстрактная модель не существующего, но желаемого состояния среды, способной решать поставленные проблемы.

Деятельность по решению проблемы и достижению цели – это работа по созданию системы.

Системы и их цели – Таблица 1.
В тоже время, между целью и реальной системой нет, и не может быть однозначного соответствия. Для достижения цели могут быть изображены разные системы. С другой стороны, заданную реальную систему можно использовать и для других целей, напрямую не предусмотренных при создании.

В инженерной практике момент формулирования цели – важнейший этап создания системы. Цели уточняются итеративно, с многократными изменениями и дополнениями. Итерация – повторное исполнение каких – либо действий.

Субъект при моделировании расценивает связь, как существенную и принимает решения о включении её в модель. Но, на самом деле, по отношению к поставленной цели, она несущественна, и могла бы не учитываться. Это приводит к появлению в модели лишних элементов. Следовательно, придется тратить лишние ресурсы на фиксацию и обработку информации. На качестве решения это не сказывается, а на стоимость и своевременность сказывается.

Совершается субъектом, когда он принимает решения, что данная связь несущественна, и не должна быть включённой в модель. На самом деле, без неё цель не может быть достигнута в полной мере или совсем. При отсутствии информации цель не может быть достигнута в полной мере (серьезнее первой).

Последствия незнания. Чтобы оценивать существенность, какой либо связи, надо знать, что она вообще есть. Если это неизвестно, вопрос о включении или не включении связи в модель вообще не стоит. В модели есть только то, что мы знаем.

Возникает при неверном отнесение. Известный и призванный к числу входов или выходов.

Модель «черный ящик» на примере микроволновой печи

Главная цель: приготовление пищи.

Источник