Хари Харисън, Марвин Мински
Опцията на Тюринг (25)

25.

— Брайън Делейни, нима си работил цяла нощ? Като си тръгвах снощи, обеща, че ще останеш само за още няколко минути. А беше десет часа — ядосана, Шели нахлу енергично в лабораторията.

Брайън разтърка бакенбардите си, примигна виновно със зачервени очи и го заусуква:

— Кое те кара да мислиш така?

Ноздрите й се разшириха.

— Ами, достатъчно е само да те погледне човек. Изглеждаш ужасно. Освен това ти позвъних по телефона, но никой не се обади. Както можеш и сам да се сетиш, доста се разтревожих.

Брайън попипа колана си там, където обикновено бе окачен телефонът му: нямаше го.

— Трябва да съм го оставил някъде, не съм го чул да звъни.

Тя извади своя телефон и натисна бутона за автоматично повторно избиране. Чу се далечен звън. Намери апарата му до кафеварката. Върна му го с ледено мълчание.

— Благодаря.

— Трябва да е винаги близо до теб. Наложи се да потърся бодигардовете ти. Те ми казаха, че си още тук.

— Предатели — измърмори той.

— И те се тревожат като мен. Нищо не е толкова важно, че да рискуваш здравето си за него.

— Има нещо важно, Шели, там е работата. Спомняш ли си за неприятностите, които имахме с новата мениджърска програма преди да си тръгнеш снощи? Каквото и да правехме, системата просто се сгърчваше и умираше. Затова започнах отново с една много проста програма за подреждане на цветни квадрати, после я усложних с различни по форма и по цвят петна. И какво да видя — мениджърската програма продължаваше да работи, но всички останали сякаш бяха изключени. Затова записах какво се бе получило и опитах отново. Този път инсталирах програма, която да проследи всички команди, издавани от мениджъра до останалите подпрограми. Нещата се забавиха достатъчно, за да мога да открия какво става. Нека да го видим заедно.

Той пусна записа, направен през нощта. На екрана се показа как ИИ бързо подрежда цветните петна, как последва забавяне, след това помръдваше едва-едва, докато накрая спря напълно. Дълбокият бас на Робин-3 прогърмя в говорителя.

— … К-линия 8997, отговорѝ веднага на входящ сигнал 10983 — прекалено си бавна… — отговорѝ веднага… забрана. Избор на подпроблем 384. Приет отговор от К-4093, забрана заради бавни отговори от К-3724 и К-2314. Избор на подпроблем 385. Отговорите от К-2615 и К-1488 са в противоречие — забрана и на двете. Избор на…

Брайън изключи записа.

— Разбра ли?

— Всъщност, не. Ако изключим това, че програмата непрекъснато издаваше забрани.

— Да, и в това е проблемът. Тя би трябвало да се учи от придобития опит, като възнаграждава успелите подпрограми и да забранява онези, които се провалят. Ала прагът на мениджъра за успех е заложен тъй високо, че приема само перфектно и моментално подчинение. Затова той възнаграждава само елементите, които отговарят бързо, и изключва по-бавните — дори и когато онова, което те се опитват да правят, да се окаже в крайна сметка по-добро.

— Разбирам. И това е причинило ефекта на доминото, защото след изключването на поредния елемент останалите се обезсилват поради връзките си с него.

— Точно така. И техните отговори към други елементи се забавят, докато самите те на свой ред не се изключат. И не след дълго мениджърската програма ги убива всичките.

— Каква ужасна мисъл! Нима искаш наистина да кажеш, че системата се е самоубила?

— Не съвсем — гласът му бе дрезгав от умора. — Мисълта ти е прекалено антропоморфна. Машината не е човек. Какво лошо, по дяволите, има в това една верига да изключва друга? Господи, та това са само купчина електронни елементи и програмни продукти. След като не са замесени човешки същества, не може да се случи нищо ужасно, това е очевидно…

— Не ми говори по такъв начин или с този тон!

Брайън се зачерви от яд, но сведе поглед.

— Извинявай, вземам си думите назад. Мисля, че съм малко уморен.

— Ти си мислиш, а аз знам. Извинението се приема. Но е вярно — мисълта ми бе наистина антропоморфна. Не ставаше въпрос за това, което ми каза, а за начина, по който го направи. А сега хайде да спрем да се заяждаме и да излезем да глътнем малко чист въздух. А после си лягаш.

— Добре, но чакай да погледна първо това.

Брайън отиде до терминала и се зае да проследи вътрешните изчисления на робота. Те се появиха на терминала — екран подир екран. Най-накрая той кимна унило.

— Поредният дефект, разбира се. Появи се веднага, след като отстраних последния. Нали си спомняш, конфигурирах системата така, че да се потисне преждевременното изключване и роботът да не се изключва спонтанно. Сега обаче той отиде в другата крайност. Не знае кога да спре. Този ИИ изглежда много добър, когато трябва да отговаря директно на зададени въпроси, но само ако отговорите се постигат с елементарно мислене. Ала нали видя какво става, когато не може да открие отговора. Почна да търси напосоки, изгуби ориентация, не знае кога да спре. Човек би казал, че той не знае това, че не знае.

— На мен ми се стори, че той просто полудя.

— Да, може да се каже и така. Разполагаме с множество думи за дефектите у човека — паранои, кататонии, фобии, неврози, алогично поведение. Предполагам, че ще ни е необходим нов набор от думи за новите дефекти, които се проявяват у роботите. И нямаме причини да очакваме, че всяка нова версия на робота ще заработи от първия път. В този случай стана така, че той се опита да използва едновременно всички експертни системи, за да реши един и същ проблем. Мениджърът не се оказа достатъчно силен, за да изключи неподходящите. Всичката онази бъркотия от думи показва, че той се улавяше като удавник за сламка за всяка асоциация, която евентуално можеше да го насочи към поставения проблем — без значение колко е далечна от него. Освен това показа, че когато един подход пропадне, той просто не знае кога да спре. Дори и ако този ИИ функционира, то не съществува правилото, че би трябвало да е с всичкия си, според нашите разбирания.

Брайън потърка наболата си четина и се взря в замлъкналата машина.

— А сега нека се вгледаме по-внимателно — той посочи графиката върху екрана. — Виждаш какво стана този път. При Роб-3.1 имаше много забрани, затова всичко се изключи. Затова промених тези параметри, но сега пък няма достатъчно забрани.

— И къде е тогава решението?

— Отговорът е, че няма отговор. Не, не искам да възприемеш думите ми като загадъчни. Исках да кажа, че мениджърът просто трябва да разполага с повече познание. Тъкмо защото мистиката липсва, липсва и общовалиден отговор. Не съществува общо решение за всички случаи, просто защото и проблемите са различни. След като човек осъзнае това, всичко му става много по-ясно! Този мениджър трябва да се основава на познанието. И тогава ще може да научи сам какво трябва да направи!

— Значи искаш да кажеш, че трябва да накараме мениджъра да научи каква стратегия да използва при всяка възникнала ситуация, като си припомни кое е сработило преди и кое — не?

— Точно така. Вместо да се опитва да намери фиксирана формула, която винаги работи, трябва да го накараме да се учи от опита, от всеки конкретен случай. Защото целта ни е машина, която е интелигентна сама по себе си, за да не се налага непрекъснато да висим до нея и да я поправяме, когато нещо се обърка. Вместо това трябва да й дадем възможност да се научи да ликвидира дефектите сама, още щом се появят. Сама, без помощта ни. Да, сега вече знам какво трябва да направя. Спомняш ли си, когато системата изглеждаше като зациклила и повтаряше непрекъснато едно и също за червения цвят? За нас бе лесно да установим, че е зациклила, защото не напредваше. Но тя не го разбираше, именно защото бе зациклила. Не можеше да се измъкне от омагьосания кръг и да погледне на нещата от по-глобална гледна точка. Можем да поправим това, като й добавим рекордер, който да записва станалото до момента. А също и часовник, който да прекъсва програмата на определени интервали, за да може тя да прослуша записите и да види дали не се повтаря в действията си.

— Или още по-добре ще е да му добавим втори процесор, който да действа паралелно и да наблюдава първия. Б-съзнание, което да следи А-ума.

— А може би и В-ум, който да внимава да не би Б-умът да зацикли. По дяволите! Току-що си спомних една от старите си бележки, в която се казва: „Използвай Б-ума, за да избегнеш зациклянето.“ Как ми се иска тези бележки да бяха по-ясни! Най-добре да се залавям с конструирането на Б-съзнанието.

— Най-добре обаче ще е да не го правиш веднага! В сегашното си състояние само ще объркаш работата.

— Права си. Време е за лягане. Ще си легна, не се безпокой, но първо искам да хапна нещо.

— Ще ти правя компания, ще изпия едно кафе.

Брайън отвори вратата и премигна на ярката слънчева светлина.

— Думите ти прозвучаха така, сякаш ми нямаш доверие.

— Нямам ти. Не и след снощи!

Шели си посръбваше от кафето, докато Брайън поглъщаше „тексаската“ си закуска: стек, яйца и палачинки. Не можа да я изяде цялата, въздъхна и побутна чинията настрани. Като се изключат двамата войници, свободни от дежурство, с Шели бяха сами в столовата.

— Сега вече се чувствам малко по̀ човек — рече той. — Още кафе?

— Даже ми дойде много, благодаря. Смяташ ли, че можеш да поправиш този твой разбичкан ИИ?

— Не. Толкова много му се ядосах, че изтрих паметта му. Ще трябва да пренапишем някои от програмите му, преди да го заредим отново. Което ще ни отнеме няколко часа. Дори и на асемблера ЛАМА-5 му трябва доста време, за да се справи с толкова сложна система. А и този път, преди да пуснем новата версия, ще направя бекъп-копие.

— Бекъп означава дубликат. Когато направиш действащ хуманоиден изкуствен интелект, мислиш ли, че той ще бъде в състояние да си прави сам копия?

— Разбира се. Каквото и да направи, той все пак ще си остане една програма. А всяко копие на дадена програма е абсолютно идентично с оригинала. Защо попита?

— Мисля, че това е въпрос на идентичност. Дали вторият ИИ ще е същият като първия?

— Да, но само в мига на копирането. Веднага щом започне да функционира, да мисли сам, той ще започне да се променя, да помни. Нали ние самите сме онова, което е собствената ни памет? Когато забравим нещо или научим нещо ново, ние „произвеждаме“ нова мисъл или правим нова връзка — променяме се. Ставаме по-различни. Същото ще се отнася и за ИИ.

— Сигурен ли си в това? — попита недоверчиво тя.

— Абсолютно. Защото мозъкът функционира тъкмо така. Което означава, че ми предстои маса работа по паметта. Нали заради това не успяхме с всички предишни версии на Робин. Проблемът за оценка на приоритетите, за който говорихме преди. Не е достатъчно той да се учи само по простия метод „стимул-отговор-награда“, защото по този начин би могъл да реши единствено прости проблеми с краткотраен ефект. Вместо това трябва да е в състояние да извършва широкомащабен рефлективен анализ, в който да може да осмисли поведението си в по-дългосрочен план, да открие онези стратегии, които ще му донесат успех, както и онези, които биха го натикали в задънена улица, макар на пръв поглед да изглеждат перспективни.

— Като те слуша човек, мозъкът изглежда като глава лук.

— Така е — той се усмихна при тази мисъл. — Добра аналогия. Люспа подир люспа, слой подир слой — и всичките свързани взаимно. Човешката памет не е просто асоциативна — да свързва ситуации, отговори, стимули. Тя е освен това насочена напред, в перспектива, и назад — разсъдителна. Направените връзки трябва да бъдат въвлечени в дългосрочни цели и планове. Именно затова съществува това важно разделение между краткосрочната и дългосрочната памет. Защо е необходим около час, за да се запомни нещо, което принадлежи на дългосрочната? Защото е необходим буферен период, в който да се реши дали дадено поведение си струва да бъде запомнено или не.

Умората го покоси неочаквано. Кафето бе изстинало; започна да го наболява глава; бе близо до депресията. Шели забеляза това и леко го бутна по ръката.

— Време за почивка — рече тя.

Той кимна лениво и с мъка се изправи.