Scribd Logo
Upload

Welcome to Scribd!

  • Карта путей предотвращения глобальных рисков

    Uploaded by

    Turchin Alexei
    359 views1 page
    Карта путей предотвращения глобальных рисков Текст о карте “Предотвращение рисков” В последние годы было открыто значительное число глобальных рисков, могущих угрожать существованию человечества. В первую очередь это враждебный ИИ, риск генетической модификации вирусов и бактерий, риск неуправляемых нанороботов-репликаторов, ядерной войны и необратимого глобального потепления, а также еще более десяти менее вероятных рисков. Был также высказан ряд идей о том, что можно сделать, чтобы их предотвратить, причем разные авторы агитировали за самые разные идеи. Я решил составить и упорядочить полный список путей предотвращения глобальных рисков. Как устроена карта? Карта описывает планы действий А, Б и С, каждый из которых вступает в силу в случае провала предыдущего. Планы отложены по вертикали сверху вниз. По горизонтали отложено время и указаны некоторые приблизительные даты, когда те или иные события могут происходить. Даты эти довольно условны и скорее предложены для удобства организации восприятия. Контекст карты – курцвйловская модель будущего В целом карта опирается на курцвейловскую модель мира, в которой главной движущей силой истории является развитие экспоненциальное технологий, и в которой сильный искусственный интеллект будет создан примерно к 2050 году. На самом деле у нас нет хорошего плана При этом ситуация такова, что на самом деле у нас нет ни одного хорошего плана, поскольку каждый из планов имеет собственные риски, и к тому же мы не знаем, как его на самом деле реализовать. То есть, несмотря на большую карту планов предотвращения рисков, ситуация с их предотвращением очень нехороша. Нетрудно раскритиковать каждый из предложенных планов как нереализуемый и опасный. Но даже какой-то план лучше, чем никакого Во-первых, мы можем отталкиваться от него, чтобы создать еще лучший план. Во-вторых, даже реализация этого плана поможет отсрочить глобальную катастрофу или снизить ее вероятность. Без него ее вероятность разные ученые оценивают в 50 процентов до конца 21 века.

    Copyright

    © © All Rights Reserved

    Available Formats

    PDF, TXT or read online from Scribd

    Did you find this document useful?

    Is this content inappropriate?

    Report this Document
    Карта путей предотвращения глобальных рисков Текст о карте “Предотвращение рисков” В последние годы было открыто значительное число глобальных рисков, могущих угрожать существованию человечества. В первую очередь это враждебный ИИ, риск генетической модификации вирусов и бактерий, риск неуправляемых нанороботов-репликаторов, ядерной войны и необратимого глобального потепления, а также еще более десяти менее вероятных рисков. Был также высказан ряд идей о том, что можно сделать, чтобы их предотвратить, причем разные авторы агитировали за самые разные идеи. Я решил составить и упорядочить полный список путей предотвращения глобальных рисков. Как устроена карта? Карта описывает планы действий А, Б и С, каждый из которых вступает в силу в случае провала предыдущего. Планы отложены по вертикали сверху вниз. По горизонтали отложено время и указаны некоторые приблизительные даты, когда те или иные события могут происходить. Даты эти довольно условны и скорее предложены для удобства организации восприятия. Контекст карты – курцвйловская модель будущего В целом карта опирается на курцвейловскую модель мира, в которой главной движущей силой истории является развитие экспоненциальное технологий, и в которой сильный искусственный интеллект будет создан примерно к 2050 году. На самом деле у нас нет хорошего плана При этом ситуация такова, что на самом деле у нас нет ни одного хорошего плана, поскольку каждый из планов имеет собственные риски, и к тому же мы не знаем, как его на самом деле реализовать. То есть, несмотря на большую карту планов предотвращения рисков, ситуация с их предотвращением очень нехороша. Нетрудно раскритиковать каждый из предложенных планов как нереализуемый и опасный. Но даже какой-то план лучше, чем никакого Во-первых, мы можем отталкиваться от него, чтобы создать еще лучший план. Во-вторых, даже реализация этого плана поможет отсрочить глобальную катастрофу или снизить ее вероятность. Без него ее вероятность разные ученые оценивают в 50 процентов до конца 21 века.

    Copyright:

    © All Rights Reserved
    Download as PDF, TXT or read online from Scribd
    Flag for inappropriate content
    359 views1 page

    Карта путей предотвращения глобальных рисков

    Uploaded by

    Turchin Alexei
    Карта путей предотвращения глобальных рисков Текст о карте “Предотвращение рисков” В последние годы было открыто значительное число глобальных рисков, могущих угрожать существованию человечества. В первую очередь это враждебный ИИ, риск генетической модификации вирусов и бактерий, риск неуправляемых нанороботов-репликаторов, ядерной войны и необратимого глобального потепления, а также еще более десяти менее вероятных рисков. Был также высказан ряд идей о том, что можно сделать, чтобы их предотвратить, причем разные авторы агитировали за самые разные идеи. Я решил составить и упорядочить полный список путей предотвращения глобальных рисков. Как устроена карта? Карта описывает планы действий А, Б и С, каждый из которых вступает в силу в случае провала предыдущего. Планы отложены по вертикали сверху вниз. По горизонтали отложено время и указаны некоторые приблизительные даты, когда те или иные события могут происходить. Даты эти довольно условны и скорее предложены для удобства организации восприятия. Контекст карты – курцвйловская модель будущего В целом карта опирается на курцвейловскую модель мира, в которой главной движущей силой истории является развитие экспоненциальное технологий, и в которой сильный искусственный интеллект будет создан примерно к 2050 году. На самом деле у нас нет хорошего плана При этом ситуация такова, что на самом деле у нас нет ни одного хорошего плана, поскольку каждый из планов имеет собственные риски, и к тому же мы не знаем, как его на самом деле реализовать. То есть, несмотря на большую карту планов предотвращения рисков, ситуация с их предотвращением очень нехороша. Нетрудно раскритиковать каждый из предложенных планов как нереализуемый и опасный. Но даже какой-то план лучше, чем никакого Во-первых, мы можем отталкиваться от него, чтобы создать еще лучший план. Во-вторых, даже реализация этого плана поможет отсрочить глобальную катастрофу или снизить ее вероятность. Без него ее вероятность разные ученые оценивают в 50 процентов до конца 21 века.

    Copyright:

    © All Rights Reserved
    Download as PDF, TXT or read online from Scribd
    Flag for inappropriate content
    of 1

    ,

    Exact dates depend on


    the pace of technological progress
    and of our activity to prevent risks

    1.1

    21 (2025-2050)

    (2015 2025)






    ,
    (
    ,

    )


    ,
    , .

    ,
    ,



    :
    ,
    ,
    ,
    (
    )




    ()

    ,



    : , ,
    ,

    (, ,
    , )
    ,

    ( 80-)


    :

    ,
    .




    , ,

    ,


    ,
    ,

    ()

    Plan A
    Prevent the catastrophe




    -
    Facebook ,

    - , ,

    ,

    ,



    ( )

    ,
    ( ,
    )



    ()


    (. ?
    )


    ,

    ,


    ,
    ,

    ,



    ( WISE)
    ,
    ,
    LHC
    -

    ,
    IQ
    , ,

    ,

    ,
    ,
    ()

    : ,


    - ()



    , ,

    : , ,

    x-,


    ,

    ,

    ,

    :
    ,
    ;
    ( , )

    :
    ,

    : ,
    , , ( )

    (MIRI)




    (Less Wrong)
    -
    ( , )





    ( , )
    (
    , , ,
    , )

    ,
    , ,
    , ,
    . . ( )


    ( , )

    (Richard Posner, )

    :
    2 ,
    .

    ,
    : 1)
    2)

    3)

    (
    )

    (

    )

    , x-



    ()

    -

    :
    .
    : ,
    ,
    ,


    : ,
    .


    30 (SETI,
    ITER, LHC)
    ,


    ( ) ; -

    ,
    : , ,
    , ,
    ()
    ,

    :

    :

    : ,
    ,
    ,


    .
    ,





    -
    (, , ).
    .

    ,
    - ,
    ,
    - ,
    - ,
    - .
    - ,

    .
    ,
    (, )



    (,
    , ),

    1.2

    21 (2050-2100)

    ,
    :
    -


    -

    ,

    ,
    ,
    ,

    , ,
    ,
    -



    :




    - -,
    - ,
    - ,
    - -,
    -

    : ( )
    - -

    - Anonymous

    :
    - ;
    -

    - :

    -
    - , (whistleblower)
    :
    - ,
    -
    :
    - , x-
    -


    -
    -

    AI
    -,

    , ,


    , ,
    .


    , :
    -
    -
    ,
    - .

    ,


    (, )


    ,

    -
    ,
    ,
    , AI Nanny
    ,





    , :



    ,
    (paperclip maximazer)





    ( )

    (Dartnell Knowledge)
    ,

    (Doomsday Vault
    )


    Long Now Foundation
    ( M disks)

    ,


    ,
    .

    (
    )

    100-1000
    (Elon Musk)

    ,

    :
    Voyager


    ,


    ,
    ,
    , ,

    , ,

    ,




    (Wilard Wells)
    ()



    (World made by hand)
    C ,



    ,

    (-)
    (, )

    , (
    )


    ,

    , , ()
    ()

    ()





    (, ,
    )

    ,

    -


    ,




    -,



    ( UN++, )
    ,

    ,
    ( , ,
    , )



    Doomsday argument


    ,

    ,



    ,

    You might also like