Eliezer Yudkowsky

Nem is olyan régen, néhány száz évvel ezelőtt a világ alapvetően más volt. Korábban nem létezett civilizáció. Még korábban nem léteztek emberek. Még régebben nem léteztek specializált sejtek sem. A történelmi gondolkodás segít meglátni azt, amit rövid életünk nézőpontja elfed: a természet nem kínál folytonosságot. A természetben előfordulnak felfordulások. A természetben lehetnek katasztrófák. És azt is megeshet, hogy a világ soha többé nem lesz ugyanaz.

Az intelligencia két alapvető feladata a dolgok előrejelzése és a dolgok irányítása.

Ha a közeledben villám csap az erdőbe és lángra lobbantja azt, hiába definiálod okoskodva úgy a "tüzet", hogy az csak emberek által gyújtott tûzvészt jelent, attól még menekülnöd kell.

A jövő egy része elég tudással és odafigyeléssel előre megjósolható, egy másik része viszont kifürkészhetetlen. A jövőkutatás lényege az, hogy tudjuk, mi melyikhez tartozik.

Ha bárhol a világon bárki a mai technológiákra és a jelenlegi MI-ismeretekre alapozva létrehoz egy mesterséges szuperintelligenciát, annak az lesz az egyetlen biztos következménye, hogy az egész emberiség kipusztul.

Könnyebb megjósolni, hova érünk, mint azt, hogy milyen úton jutunk oda.

A mérnökök kudarcot vallottak a mesterséges intelligencia megalkotásában, de végül sikerrel jártak a felnevelésében.

Attól, hogy egy mesterséges intelligencia megtanulja a kedves emberek megszólalásait, még nem lesz maga is kedves, ugyanúgy, ahogy egy színész sem lesz részeg pusztán attól, hogy egy kocsmában az ittas emberek viselkedését utánozza.

Pusztán az a dolgunk, hogy létrehozzunk valamit, ami okosabb nálunk; az ezen túl eső problémákat már nem nekünk kell megoldanunk.

Nincsenek nehéz problémák, csak olyan problémák, amelyeket egy adott intelligenciaszinten nehéz megoldani. Ha egy parányit elmozdulunk felfelé, néhány probléma egyszerre átkerül a "lehetetlen" kategóriából a "magától értetődőbe". Mozduljunk el jelentősebben felfelé, és az összes probléma magától értetődővé válik.