Как моделировать поведение с помощью shaping, autoshaping и omission procedure

Б.Ф.Скиннер

В этой статье хочу описать виды конструирования поведения животных и людей с помощью shaping, autoshaping и omission procedure

Shaping (шейпинг) — процесс поэтапного моделирования и последовательного приближения сложного поведения к желаемому поведению с помощью положительных и отрицательных подкреплений. Скиннер не называл этот процесс шейпингом, но описывал как поведение ‘‘worked out through a series of approximations’’. Примером шейпинга можно привести процесс модификации поведения крысы. Сначала крыса подкрепляется за то, что просто поворачивается к рычагу, затем подкрепляется за приближение к нему, после этого — за нажатие рычага и т. д. Результаты одного набора поведенческих актов служат основой для процесса формирования следующего набора действий, и результаты этого набора подготавливают процесс формирования для следующего набора и так далее. По мере обучения каждое последующее поведение становится все более похожим на желаемое. Также отличным примером шейпинга поведения служит геймификация в играх, о которой я напишу в следующий раз.

Этот клип показывает как крысу обучают нажимать рычаг для подкрепления пищей. Процесс шейпинга включает в себя «усиление последовательных приближений желаемого ответа». После первоначального воздействия на коробку крысе дают гранулы пищи для приближения к рычагу, затем она нюхает рычаг, касается рычага и, наконец, нажимает на рычаг. Хотя поведение крысы какое-то время остается переменным, подкрепление после определенного поведения увеличивает вероятность будущего этого и подобного поведения. Это позволяет учителю выстроить подкрепление таким образом, что оно все больше становится похоже на конечное целевое поведение. Таким образом, поведение крысы формируется постоянно меняющимися требованиями к поведению для получения вознаграждения.

Autoshaping (автошейпинг) — процедура подкрепления, в которой испытуемый вознаграждается независимо от поведения. В своей простейшей форме автошейпинг очень похож на павловское классическое обуславливание. Примером отличия может быть то, что при автошейпинге, свет включается незадолго до того, как животное получает пищу и оно демонстрирует определенную реакцию на полученную пищу, но уже условную и через обучение. Автошейпинг также противоречит принципу подкрепления Скиннера, так как во время автошейпинга еда поступает независимо от поведения животного. Если подкрепление происходило, частота случайных поведенеских актов должна увеличиваться, так как эти акты вознаграждаются в случайном порядке [1]. Но самое явное доказательство того, что автошейпинг относится к павловскому, а не к скиннеровскому методу, было найдено с использованием процедуры пропуска, которая будет раскрыта далее.

В этом клипе белый круг горит 5 секунд и доступ к зерну открывается тоже на 5 секунд. Попытки повторяются примерно каждые 60 секунд. Вначале птица не интересуется белым кругом или зерном. Но потом она съедает зерно (БС — безусловный стимул), и после этого начинает ориентироваться на круг (УС- условный стимул). После ряда испытаний (варьирующихся от 10 до 100), птица начинает реагировать на УС.

Интересное сравнение респондентного подкрепления зерном и водой. Различное поведение говорит о том, что характер подкрепления может зависеть от типа условного стимула. Голуби, как правило, клюют зерно открытым клювом и с закрытыми глазами, а воду пьют с, относительно, закрытым клювом и открытыми глазами. Таким образом, голубь, реагирует на УС, как если бы УС был альтернативой БС [2].

Данное видео об автошейпинге поведения голубя в ящике длиной 1 метр. Белый круг (УС), представленный в течение 5 секунд в левой части ящика. Доступ к зерну (БС) тоже 5 секунд в правой стороне ящика. Птица не обязана клевать круг, чтобы получить зерно, поскольку клевание белого круга препятствует птице получать полный 5-ти секундный доступ к зерну.

Omission procedure (процедура пропуска — прим.пер.) — процедура подкрепления, в которой вознаграждение периодически доставляется только в том случае, если испытуемый выполняет что-то иное, кроме целевого действия. Например, при процедуре пропуска животное вознаграждается питанием после каждого стимула (прим. вспышки света), за исключением случаев, когда животное выполняет «пищевое» поведение в ответ на стимул, и в этом случае пища удерживается. В этом случае, животное перестало бы пытаться проявлять «пищевое» поведение по отношения к стимулу, поскольку за этим поведением следует удержание пищи. Но оно продолжает упорствовать в попытке «потребить» условный стимул и неспособно прекратить свои попытки, даже если это мешает получить награду. Это явление также известно как negative automaintenance (отрицательное автоматическое обслуживание — прим.пер.)

В данном случае процедура пропуска включает в себя удержание вознаграждения после клевка голубя по белому кругу. Голубь, который изначально проходил обучение автошейпинга, помещается в график бездействия. Первые два испытания показывают, что птица клюет круг и не получает зерна. В конце концов, птица прекращает клевать, но ориентация на круг продолжается.

____________________________________________________________
1.Brown, P. & Jenkins, H.M. (1968) Auto-shaping of the pigeon’s key peck J. Exper. Analys. Behav.
2.Bruce R. Moore, H. M. Jenkins. (1973) The form of the auto-shaped response with food or water reinforcers J. Exper. Analys. Behav.

Поделиться
Отправить
Запинить
Популярное