?

Log in

No account? Create an account
Подоплеки и околичности
October 6th, 2007
09:12 am

[Link]

Previous Entry Share Next Entry
еще раз ии
В результате разговоров об искусственном интеллекте, стало ясно, что на вопрос «Может ли машина мыслить?» лучше всего отвечать, ставя другой вопрос - «Может ли машина чувствовать?» Идея тут такая - если может чувствовать, значит может мыслить (что, разумеется, есть скрытое частичное определение мышления). Этот второй вопрос гораздо эффективнее, поскольку полностью снимает по крайней мере две неприятные проблемы - с одной стороны, не надо больше раздумывать, не является ли мышление машины мышлением создавших ее программистов, с другой - уходит затемняющее и путающее все сходство машинного железа и человеческого мозга.

Вопрос «Может ли машина чувствовать?» показывает действительную глубину и сложность проблемы.

Tags:

(190 comments | Leave a comment)

Comments
 
Page 1 of 2
<<[1] [2] >>
[User Picture]
From:antonk83
Date:October 6th, 2007 02:20 pm (UTC)
(Link)
По-моему лучше даже сказать, что положительный ответ на второй вопрос является необходимым, но не достаточным для положительного ответа на первый. То есть не "если может чувствовать, значит может мыслить", а наоборот.

А в принципе да, такая постановка вопрос сильно проясняет.
[User Picture]
From:dennett
Date:October 6th, 2007 02:30 pm (UTC)
(Link)
Да, с вашим замечанием я согласен. Мышление отличается от чувствования - при мышлении к чувствованию что-то добавляется - я бы даже сказал - из него что-то строится.
[User Picture]
From:patricus
Date:October 6th, 2007 02:25 pm (UTC)
(Link)
Как раз в том, что машина чувствует, сомневаться, по-моему, не приходится.
Работоспособность ее зависит от температуры, радиации, страдает от ударов и находится под влиянием очень многих факторов.
Субъекта чувства может и не быть, но любая сложная структура (даже если это просто кристаллическая решетка) уже сама по себе вполне чувствительна к внешним на нее воздействиям.
[User Picture]
From:dennett
Date:October 6th, 2007 02:29 pm (UTC)
(Link)
Чувствительность, которая есть и у простого магнита, еще не означает чувствования в том смысле, который я имею в виду - т.е. нечто вроде - может ли машина чувстовать боль.
[User Picture]
From:gignomai
Date:October 6th, 2007 03:27 pm (UTC)
(Link)
Слово "чувствовать" двусмысленно. Вы имеете в виду сенсорику или эмоции?
[User Picture]
From:dennett
Date:October 6th, 2007 03:45 pm (UTC)
(Link)
Сначала сенсорику, потом эмоции. Как это ни странно, суть проблем при переходе от одного к другому остается почти той же.

И еще одно замечание. «Может ли машина думать?» - это некий програмный вопрос. Лозунг в некотором смысле. Я просто подумал, что можно бы предложить другой лозунг. В новом лозунге тоже есть двусмысленность, но она лучше, четче, чем в старом.
[User Picture]
From:mikeura
Date:October 6th, 2007 04:07 pm (UTC)
(Link)
я сначала подумал, что вы шутите, а вы серьезны
[User Picture]
From:dennett
Date:October 6th, 2007 04:09 pm (UTC)
(Link)
это горький упрек?
[User Picture]
From:ivanov_petrov
Date:October 6th, 2007 04:36 pm (UTC)
(Link)
Я задавал такой вопрос. Сторонники Ии из программистов отвечают уверенно. Что. мол, если Ии - дело близкого будущего, то это-то совсем просто. программку "чувство" можно в пять минут написать. Скажем, при перебоях питания будет комп пищать. Чего еще для чувства нужно? Мало внешних проявлений? нет проблем, поставить дело так, чтобы при этом сбоили подсчеты - легче легкого. Вот тебе и чувство.
[User Picture]
From:dennett
Date:October 6th, 2007 08:52 pm (UTC)
(Link)
А вы дальше с ними разговаривали?
Вот мол есть перебой питания - вот вот строки кода, вот писк, колебания мембраны громкоговорителя, - а где чувство? - что ж, выходит, что чувство это просто название програмки? Не, так просто программисту не отойти, нужно еще хотя бы два шага.
[User Picture]
From:troposfera
Date:October 6th, 2007 04:45 pm (UTC)
(Link)
Совершенно с Вами согласна. Только как это описать в языке? Это задача посложнее будет, чем новую модель ИИ сконструировать. Когда ученые об ИИ говорят с т.з. аналитической философии, философии науки и т.п. они идут от логических процедур, и только после этого связывают их с языком. А тут вот сложно.
[User Picture]
From:dennett
Date:October 6th, 2007 09:09 pm (UTC)
(Link)
Да, тут гораздо сложнее и интереснее задача. Программисты легко не отделаются от этого вопроса, как они отделываются от вопроса о мышлении. Они ведь с вопросом о мышлении что делают - говорят, что мышление функционально - это решение разных задач - распознавание образов, перевод, математические операции, принятие решений, пространственное перемещение - и так далее все большей сложности - и говорят - вот эти простые задачи мы уже решили, решим и все сложные задачи, научимся делать все, что составляет мышление. А с чувствованием, с сенсорикой - так не выйдет. Нельзя сказать - дайте нам лучшие процессоры и программы и мы научимся - тут даже подход неясен, общее направление - как машина будет начинать чувствовать, переживать боль.
[User Picture]
From:falcao
Date:October 6th, 2007 04:45 pm (UTC)

боль

(Link)
Вы только меня извините, если опять скажу что-то не то. Меня просто Ваш вопрос поразил. Очень хорошо было бы в нём разобраться.

Вы на самом деле считаете, что наши антропоморфные представления "конвертируемы"? Я исхожу вот из чего. "Моя боль", ощущаемая мной -- это вещь чисто внутренняя. У меня есть "душа", то есть в одном из значений это "мой аккаунт". Это нечто абсолютно неповторимое -- не в смысле неповторимой ценности, а в смысле того, что любой другой "аккаунт" -- это нечто отличающееся. События, происходящие с моим "аккаунтом" ("боль" и прочее) внутри моего мира, "аккаунта", имеют значимость абсолютную. Именно потому что они "мои". Опять же, не в плане важности, а в плане принадлежности. Эти события происходят со мной, просто по той причине, что я есть.

Теперь посмотрим извне на это же событие. Где-то в чём-то произошёл какой-то процесс. Куда-то пробежал ток, какой-то битик куда-то сместился. То есть ничего не происходит -- обычные физические процессы. А я могу при этом испытывать невероятную боль. Поэтому здесь сосредоточен главный вопрос. Почему так получается, что событие, имеющее для меня колоссальную значимость, чисто бытийственно сводится к каким-то обычным природным процессам. Вы понимаете, в чём тут "интрига"? Я впервые задаю этот вопрос. Надо как-то разрешить это противоречие.

Я попробую сделать первый шаг. В чём особенность боли? В том, что её невозможно выносить. Ситуация нуждается в каком-то разрешении, она не может длиться просто так. Кроме того, это точка некоторой "неустойчивости" -- мы знаем, что под воздействием боли, стремясь выйти из ситуации, люди способны на всё. И в результате может получиться нечто такое, "чего никто не хотел". То есть сама боль, которую мы испытываем -- это грубый физический процесс, и он может быть вызван электродами или таблетками. Но значимость его в том, что мир таким "варварским", надо сказать, способом подаёт нам сигнал. Что-то происходит. Надо что-то менять. Или что-то запомнить (боль играет прежде всего роль как механизм памяти: "бит" -- это ведь вещь не "бескровная". Это "боль мира", "удар", "укус", "вмятина".

То есть тут два момента: память -- настолько важный и общий механизм бытия, что само её существование в мире происходит только за счёт эффектов ломки, разрушения, причинения боли. И второе -- это то, с чего я начал. То есть с идеи того, что боль -- это сигнал о значимости.

Поэтому напрашивается такой вывод, что боль -- это феномен всеобщий. Всему миру больно, а не только нам с Вами. Но только дальше надо быть с выводами аккуратнее. Я пока дальнейших "ходов" делать не буду. Мне интересно, что Вы скажете.
[User Picture]
From:dennett
Date:October 6th, 2007 09:06 pm (UTC)

Re: боль

(Link)
--Вы только меня извините, если опять скажу что-то не то.
--Заранее извиняться не надо. Я человек незлой, добрый даже.

--Вы на самом деле считаете, что наши антропоморфные представления "конвертируемы"?
--Конечно конвертируемы. Боль может быть не только у меня, но и у вас. И я с вашей болью постоянно работаю. Например, запрет пытки связан с отношением каждого из нас к чужой боли. И антропоморфный язык - боли, сенсорики, чувств, желаний - мы постоянно применяем к другим сущностям, не только к людям - к растениям, коллективам, рекам, Земле как целому - причем не только в чисто метафорическом ключе. Так что - конвертируемы. И нам придется их конвертировать, когда встанет вопрос о том, можно ли отключать от сети человекообразного робота, который молит о пощаде.

--Вы понимаете, в чём тут "интрига"? Я впервые задаю этот вопрос. Надо как-то разрешить это противоречие.
--У меня в журнале - множество записей про эту интригу. С самого начала в 2004 году.

--В чём особенность боли? В том, что её невозможно выносить.
--Нет, особенность боли не в этом. Можно написать программу, согласно которой машина бы стремилась избегать некоторых воздействий и называла бы их болью - не могла бы выносить этих воздействий. Но болью бы это не было. Особенность боли - не в том поведении, которое она вызывает. Особенность боли - в ее внутреннем качественном невыразимом словами характере, который отличает ее от чесотки, щекотки и ощущения давления. Можно вообразить другое сенсорное ощущение, которое невозможно выносить - и которое при этом болью не будет. Я согласен, что у боли негативный окрас - она принадлежит к классу неприятных ощущений - но она к неприятности своей не сводится - и даже сущность ее как ощущения не в неприятности - а в болезненности.
[User Picture]
From:lanuar
Date:October 6th, 2007 06:24 pm (UTC)
(Link)
Вопрос: что такое чувствовать? По К.Юнгу, например, логическое определение чувствования вообще нельзя дать. Потому что чувства это отнюдь не эмоции. И более близки к понятию отношений, т.е., как я понимаю, отношения всегда связаны с общими границами между относящимися. Кто-то давит, другой ощущает напряжение. Это напряжение и есть чувствование. Напряжение требует разрядки, как пружинка. Каковы общие границы у человека с машиной? Чисто физические. Биологических и тем более душевных границ у нас нет. Конечно, на уровне электромагнитных излучений мы можем воздействовать друг на друга, но это те же отношения, что с любым электроприбором.
[User Picture]
From:dennett
Date:October 6th, 2007 08:53 pm (UTC)
(Link)
Даже если логического определения нельзя дать, это же ведь не значит, что это слово пустое, не имеет смысла - или что мы с вами не чувствуем - так ведь? А если слово не пустое, значит имеет смысл говорить о критериях его приписывания тем или иным сущностям, людям, растениям, нациям, машинам.
[User Picture]
From:justso123
Date:October 6th, 2007 07:48 pm (UTC)
(Link)
1. Мне нравится буддистская идея о том, что мышление - один из органов чувств. Есть зрение, есть слух, а есть мышление - явление того же уровня.
2. Я исхожу из того, что может. И чувствовать, и мыслить. Так больше возможностей - что ж себя в угол-то загонять, упиваясь собственной исключительностью и упираясь в нее. Мне проще выстраивать отношения с машиной, если я представляю ее дополнительным отростком собственного тела (вроде третьей руки) или отдельным живым существом вроде большой собаки. Что чувствует чужой человек и чувствует ли вообще для меня так же неизвестно и непроверяемо, как и что чувствует мой лаптоп.
[User Picture]
From:dennett
Date:October 6th, 2007 08:56 pm (UTC)
(Link)
Давайте обсудим пункт один. Интересно, что органы чувств могут быть, а самих чувств может при этом не быть. Например, видеокамера видит картинку и может записывать звук (слышит) его - но можно ли сказать, что у нее есть чувства, напр, цвета или громкости в том же смысле, что и у нас. Я думаю, нельзя.

Я пока даже не пытаюсь ответить на свой ворпос. Мне пока все равно, может машина мыслить или не может. Идея моя в том, что ворпос о сенсорике машины плодотворнее ворпоса и мышлении машины - ибо снимает важны узлы путаницы.
[User Picture]
From:fregimus
Date:October 6th, 2007 09:37 pm (UTC)
(Link)
Хотел бы заранее попросить прощения, но мои прежние попытки принять участие в подобных дискуссиях заканчивались немедленным разрушением последних с причинением мне эпитетов. В последний раз я оказался, к примеру, попом ИИ. Дело, наверное, в том, что я совершенно не разбираюсь ни в философии, ни в религии, а к тому же, в силу собственной ограниченности, часто не могу отличить вопроса, заданного, чтобы узнать, от заданного, чтобы подтвердить уже сложившееся мнение.

Видится мне, что ни в предыдущем, ни в этом обсуждении не упомянуто двух важных вещей. Первая из них — сложность, в математическом понятии, такая, что проявляется в аттракторе Лоренца, бифуркации логистического отображения или автомате №30 Вольфрама. Сложные системы непостижимы не в силу сложного устройства, а в силу сложного поведения. Глядя на поведение, мы не видим за ним системы, способной это поведение повторить. Это свойство принципиально. Мышление машины поэтому никак не может быть мышлением ее создателей: человек не может вычислить собственного устройства, и, следовательно, не повторяет его в машине, а создает машину с собственным устройством и поведением.

Второе опущение — это понятие цели. Вот у нас есть машина такая сложная, замечательная, мыслящая. Мы ее включаем, а она — раз, и не мыслит. А зачем?

Животное чувствует голод. Голод — сигнал о падении автономного запаса энергии ниже некоего критического уровня. Животное устроено таким образом, что чувство голода побуждает его к действиям, чтобы голод утолить. Боль — сигнал о том, что возможно физическое разрушение части тела, ставящий цель проанализировать и исправить, по возможности, ее состояние.

Более сложная сенсорика — чувство языка, например. Замечено из всей живой природы только человека. Хочется в мысленном эксперименте собрать такую сложную машину, включить ее, годик ей посюсюкать, лет пять сказки почитать, еще лет десять — Гоголя и Гегеля… К сожалению, мысленный эксперимент ничего не даст, из-за фундаментальной непредсказуемости сложной системы. Для реального эксперимента пока еще не достаточно вычислительной мощности сжать это все в, скажем, месяцы. Поэтому вполне логично изготовить блок анализа языка — пусть примитивного анализа, «… „скрипка-лиса“, 40%, „скрепколесá“, 15%, …», такого, чтобы избежать многолетней тренировки.

Дальше идут уровни символических проекций сенсорики. Например, чувство глубокого удовлетворения от введения нового члена в Политбюро. И так далее.

Если правильно понял, Вы — работающий у технарей языковед. Есть три книги без единой формулы, которые будут Вам совершенно понятны:

О сложности: Stephen Wolfram, A New Kind of Science (2005). Если Вы сможете пропускать Вольфрамову самопохвалу по разу на страницу, то эта книга, наверное, самая понятная и всеохватная из всех о сложности. Только большая, ~1200 страниц.

Об интеллекте: Marvyn Minsky, Society of Mind (1988), и ее продолжение, The Emotion Machine (2007).
[User Picture]
From:dennett
Date:October 6th, 2007 09:42 pm (UTC)
(Link)
Все эти три книги я читал.

Вот с этого можно начать.
--Боль — сигнал о том, что возможно физическое разрушение части тела, ставящий цель проанализировать и исправить, по возможности, ее состояние.
--Это вы даете определение боли, или просто одно из соображений о том, что боль делает, перечисляете одну (возможно, самую важную, из ее функций??
[User Picture]
From:palmas1
Date:October 6th, 2007 11:37 pm (UTC)
(Link)
А не могли бы Вы несколько конкретнее описать, что вы называете словом "чувствовать"? На уровне определений это, видимо, затруднительно, но можно на примерах. Скажем, дать два списка предметов, вот эти - могут чувствовать, а вот эти - нет. Потому что если чувство - это просто реакция, то аналог чувства можно найти и в термодинамике, принцип Ле Шателье: при воздействии на систему она реагирует так, чтобы скомпенсировать это воздействие. Или при отклонении от положения устойчивого равновесия возникает сила, стремящаяся вернуть систему в положение равновесия. Это "чувство" или нет?
[User Picture]
From:dennett
Date:October 7th, 2007 12:36 am (UTC)
(Link)
Чувство, которое я, среди прочего, тут имею в виду - это ощущение. Например боль. Или субъективное восприятии света определенной длины волны - но вот скажем красное.

[User Picture]
From:captainl
Date:October 7th, 2007 12:42 am (UTC)
(Link)
== Этот второй вопрос гораздо эффективнее ==

Можно, конечно, представить себе задачу построения интеллекта, соизмеримого по возможностям с человеческим, но не являющегося его моделью. Но мне кажется, что такую задачу решать не нужно - мы ведь хотим нормально общаться с ИИ, эффективно передавать ему накопленные людьми знания и т.д.
Если же мы строим антропоморфный ИИ, то наличие органов чувств у ИИ неизбежно. Наивно было бы предполагать, что можно каким-то образом единоразово "закачать" в ИИ знания, после чего этот ИИ сможет сколь угодно долго функционировать в мире, о котором он получает информацию только опосредованно, скажем, из диалогов с людьми. В этом плане очень показательны проблемы переводчиков - непонимание элементарных (для носителя языка) вещей, возникающее из-за отсутствия у переводчика ежедневного притока новой информации о другой стране - тысяч мелочей, воспринимаемых органами чувств, но не описанных ни одним словарем.
Поэтому возможность чувствовать является необходимой составной частью ИИ, а сам второй вопрос является частью первого.

== Этот второй вопрос ... полностью снимает по крайней мере две неприятные проблемы - с одной стороны, не надо больше раздумывать, не является ли мышление машины мышлением создавших ее программистов, с другой - уходит затемняющее и путающее все сходство машинного железа и человеческого мозга.==

Не вижу ни первой, ни второй проблемы. Антропоморфный ИИ только моделирует мышление разработчиков, но не является мышлением разработчиков per se.
Сходство же машинного железа и человеческого мозга настолько условно, что вряд ли оно может путать тех, кто имеет пусть даже общее представление об одном и другом.

== если может чувствовать, значит может мыслить ==
Нет, это необходимое, но не достаточное условие. Кроме упомянутой выше способности к целеполаганию должны быть еще воля (драйв к достижению целей), способность делать умозаключения, и многое другое.
[User Picture]
From:dennett
Date:October 7th, 2007 12:44 am (UTC)
(Link)
А как вы отвечаете на вопрос, может ли машина мыслить?
[User Picture]
From:palmas1
Date:October 7th, 2007 12:47 am (UTC)
(Link)
Ну, скажем, амебы способны улавливать неблагоприятные химические вещества и двигаться против их градиента. Они испытывают боль? Или вообще какое-то чувство? А рыбы, змеи, собаки?
[User Picture]
From:dennett
Date:October 7th, 2007 12:50 am (UTC)
(Link)
Это законные вопросы - мне интересно, как вы на них отвечаете.

И просьба - не могли бы вы удерживаться в рамках одной ветки - и не вставлять свои комментарии все время к основной записи.
[User Picture]
From:mikeura
Date:October 7th, 2007 07:22 am (UTC)
(Link)
что вы, я это читал, причем по-русски. Я просто не понимаю почему ваш вопрос плодотворнее, если нет даже намёков на возможность его верификации.
Патнем в своих ранних работах показывал, что внутренние состояния машины Тьюринга можно в каком-то смысле рассматривать аналагом состояний сознания. Причем неважно, мысли это или чувства. Может это действительно неважно?
[User Picture]
From:dennett
Date:October 7th, 2007 10:10 am (UTC)
(Link)
Плодотворнее, потому что надо разрабатывать процедуру верификации, новую и свежую. Вся проблема мышления - если вы прочтете дискуссии у иванова-петрова и у меня пару дней назад - погрязли в путанице, о которой я говорю частично в изначальной записи.

Это в некотором роде вызов для сторонников ИИ - вот вы попробуйте создать чувствующую машину, а тогда поговорим. Ведь критерием же не является простота верификационной процедуры - эта процедура для чего-то нужна - а нужна она для разработки критериев применимости антропоморфного языка к машине - мыслить, хотеть, чувствовать - а эти критерии нужны для выработки отношения людей к машинам. Вот это отношение - основная задача - и рано или поздно решать ее придется.
[User Picture]
From:shkrobius
Date:October 7th, 2007 04:07 pm (UTC)
(Link)
I never understood the meanings of the terms "machine" and "artificial" in the context of such AI discussions. Would the "machine" that feels be a machine? The definitions of "machine" are either very nebulous (everything is a machine of sorts) or overly specific (a kind of present-day computer, but very powerful). In the first case, we are the machines, so the answer to your question is yes. In the second case, the answer is meaningless, because it relates to the possibilities of a specific technology. It is like asking: can a system of levers and pulleys televise? It cannot, but some other system can. Would the artificially replicated human (brain, nerve cell) be a machine? What if various alterations/simplifications are introduced during the replication? What if the "machine" models the physical operation of the brain? I think that the only way in which we would be able to recognize "machine's" feelings as such would be if such a machine more-or-less mimics ourselves, but such a "machine" is still, basically, us. If it isn't us, then there is no way to test if it has qualia. So the real question boils down to whether we are the machines, rather than what the machines are capable of, in principle.
[User Picture]
From:dennett
Date:October 7th, 2007 11:33 pm (UTC)
(Link)
--So the real question boils down to whether we are the machines, rather than what the machines are capable of, in principle.
--Конечно, но это сложный вопрос. Его надо разбивать на простые. Один из таких упрощенных вопросов - может ли машина мыслить-чувствовать.

Машину на сегодня можно определить так - любая система принципы поведения которой на физическом уровне нам известны. Это тоже проблематичное определение, но о нем надо говорить отдельно.
Powered by LiveJournal.com