Rambler's Top100
ДАЙДЖЕСТ

Нассим Талеб: Логика риска

[07:40 13 сентября 2017 года ] [ insider.pro, 10 сентября 2017 ]

Делимся переводом центральной главы новой книги легендарного автора “Антихрупкости” и “Черного лебедя”.

При­шло время разо­брать­ся в том, что такое эр­го­дич­ность, ги­бель и (опять же) ра­ци­о­наль­ность. Рас­смот­рим один мыс­лен­ный экс­пе­ри­мент.

В пер­вом слу­чае сто че­ло­век от­прав­ля­ют­ся в ка­зи­но. Каж­дый из них пла­ни­ру­ет по­ста­вить опре­де­лен­ную сумму и по­лу­чить бес­плат­ный джин с то­ни­ком — см. ко­микс на ил­лю­стра­ции. Кто-то про­иг­ра­ет, кто-то по­бе­дит, а мы смо­жем в конце дня оце­нить пре­иму­ще­ство, про­сто под­счи­тав, сколь­ко денег оста­лось у людей после воз­вра­ще­ния из ка­зи­но. Так мы можем вы­яс­нить, на­сколь­ко верно ка­зи­но про­счи­ты­ва­ет ве­ро­ят­но­сти. Пред­по­ло­жим, игрок № 28 про­иг­рал­ся в пух и прах. По­вли­я­ет ли это на иг­ро­ка № 29? Нет.

Нассим Талеб: Логика риска

Разница между ситуациями, когда 100 человек идут в казино, и когда один человек идет в казино 100 раз — конвенциональное понимание вероятности. Это заблуждение имеет место в экономике и психологии с незапамятных времен.

Можно смело под­счи­тать, со­глас­но при­ве­ден­но­му при­ме­ру, что около 1% иг­ро­ков оста­нут­ся ни с чем. Если вы про­дол­жа­е­те иг­рать, со­от­но­ше­ние оста­нет­ся при­мер­но оди­на­ко­вым: 1% иг­ро­ков за весь вре­мен­ной про­ме­жу­ток.

Те­перь рас­смот­рим вто­рой слу­чай. На­при­мер, ваш дво­ю­род­ный брат Тео­дор Ибн Варка на про­тя­же­нии 100 дней под­ряд по­се­ща­ет в ка­зи­но с опре­де­лен­ной сум­мой. На 28-й день Тео­дор про­са­жи­ва­ет все. Будет ли 29-й день? Нет. У него не оста­лось ре­сур­сов для про­дол­же­ния. Игра окон­че­на.

Неза­ви­си­мо от того, на­сколь­ко Тео­дор Ибн Варка хорош или на­блю­да­те­лен, легко под­счи­тать, что ве­ро­ят­ность того, что он в ко­неч­ном счете про­иг­ра­ет вчи­стую, равна 100%.

Ве­ро­ят­ность успе­ха, ко­то­рая при­ме­ни­ма к груп­пе людей, не от­но­сит­ся к ку­зе­ну Тео­до­ру. На­зо­вем пер­вый слу­чай “ко­ли­че­ствен­ной ве­ро­ят­но­стью”, а вто­рой — “еди­но­вре­мен­ной ве­ро­ят­но­стью” (по­сколь­ку в пер­вом слу­чае речь идет о неко­то­ром ко­ли­че­стве людей, а во вто­ром — об одном че­ло­ве­ке на про­тя­же­нии опре­де­лен­но­го вре­ме­ни).

Будь­те осто­рож­ны впредь, читая тек­сты про­фес­со­ров и фи­нан­со­вых гуру или изу­чая ин­ве­сти­ци­он­ные ре­ко­мен­да­ции мест­но­го банка, если они ос­но­ва­ны на дол­го­сроч­ной до­ход­но­сти рынка. Даже если бы их про­гно­зы были прав­дой (а это не так), никто не может по­лу­чить доход от рынка — разве что у вас есть без­дон­ные кар­ма­ны и от­сут­ству­ет риск невос­пол­ни­мой по­те­ри. Эти люди пу­та­ют ко­ли­че­ствен­ную ве­ро­ят­ность с еди­но­вре­мен­ной. Когда ин­ве­сто­ру рано или позд­но при­дет­ся умень­шить свой лимит из-за убыт­ков, или из-за вы­хо­да на пен­сию, или по­то­му, что он же­нил­ся на быв­шей жене со­се­да, или по­то­му, что он по­ме­нял свои взгля­ды на жизнь, его до­хо­ды пе­ре­ста­нут со­от­вет­ство­вать до­хо­ду рынка — и точка.

Уо­р­рен Баф­фетт ко­гда-то го­во­рил, что прак­ти­че­ски любой, кто выжил в рис­ко­ван­ном биз­не­се, го­во­рит одно и то же раз­ны­ми сло­ва­ми: “чтобы до­бить­ся

успе­ха, сна­ча­ла нужно вы­жить”. Моя вер­сия зву­ча­ла так: “не сто­ить пе­ре­се­кать реку, в ко­то­рой два метра глу­би­ны”. Я эф­фек­тив­но ор­га­ни­зо­вы­вал всю свою жизнь ис­хо­дя из того, что по­сле­до­ва­тель­ность со­бы­тий имеет зна­че­ние, и фак­тор ги­бе­ли не поз­во­ля­ет про­во­дить ана­лиз за­трат и выгод; но я не пред­став­лял, на­сколь­ко глу­бо­ким был изъян в тео­рии при­ня­тия ре­ше­ний. Все из­ме­ни­лось, когда вне­зап­но вышла ста­тья фи­зи­ка Оле Пе­тер­са, ра­бо­тав­ше­го с ве­ли­ким Марри Гелл-Ман­ном.

Они по­ка­за­ли раз­ни­цу между ко­ли­че­ствен­ной и еди­но­вре­мен­ной ве­ро­ят­но­стью на при­ме­ре мыс­лен­но­го экс­пе­ри­мен­та, по­доб­но­го тому, что я при­вел выше, и про­де­мон­стри­ро­ва­ли, что со­ци­аль­ные науки за­блуж­да­ют­ся в своем тол­ко­ва­нии ве­ро­ят­но­сти. Глу­бо­ко за­блуж­да­ют­ся. Очень глу­бо­ко за­блуж­да­ют­ся. Про­шла чет­верть ты­ся­че­ле­тия с тех пор, как ма­те­ма­тик Якоб Бер­нул­ли вывел фор­му­лу, при­ня­тую за стан­дарт, и все это время почти все люди, име­ю­щие от­но­ше­ние к тео­рии при­ня­тия ре­ше­ний, за­блуж­да­лись. Все ли? Не со­всем: все эко­но­ми­сты, но не все.

Нассим Талеб: Логика риска

Марк Шпицнагель

Ма­те­ма­ти­ки Клод Шен­нон, Эд Торп и физик Дж. Л. Келли, из­вест­ный бла­го­да­ря кри­те­рию Келли, при­шли к вер­но­му по­ни­ма­нию. Отец стра­хо­вой ма­те­ма­ти­ки, швед­ский ма­те­ма­тик Ха­ральд Кра­мер также понял суть. Более два­дца­ти лет назад такие прак­ти­ки, как Марк Шпиц­на­гель и я сам, стро­и­ли во­круг этого прин­ци­па всю свою ка­рье­ру в биз­не­се. (Я по­ни­маю, как это ра­бо­та­ет на сло­вах, при сдел­ках и при­ня­тии ре­ше­ния, могу опре­де­лить на­ру­ше­ние эр­го­дич­но­сти, но я ни­ко­гда не мог до конца разо­брать­ся в ма­те­ма­ти­че­ской струк­ту­ре — об эр­го­дич­но­сти можно про­честь в “Оду­ра­чен­ных слу­чай­но­стью”). Мы со Шпиц­на­ге­лем спе­ци­аль­но за­пу­сти­ли биз­нес, ко­то­рый дол­жен был по­мочь ин­ве­сто­рам из­ба­вить­ся от огра­ни­чи­ва­ю­щих фак­то­ров, ко­то­рые ме­ша­ли им по­лу­чить доход от рынка. Позже я ото­шел от дел, но Марк про­дол­жа­ет за­ни­мать­ся Universa — неустан­но и успеш­но, в то время как все осталь­ные по­тер­пе­ли неуда­чу. Мы были разо­ча­ро­ва­ны эко­но­ми­ста­ми, ко­то­рые не по­ни­ма­ют, что такое эр­го­дич­ность, и про­дол­жа­ют го­во­рить, что бес­по­кой­ство о хво­стах “ир­ра­ци­о­наль­но”.

Про­бле­ма прин­ци­па “шкуры на кону” — в сле­по­те окру­жа­ю­щих. Идея, ко­то­рую я здесь из­ло­жил, про­ста. Но по­че­му за 250 лет никто до этого не дошел? Еще раз: “шкура на кону”.

 

Эргодичность

Как мы уже знаем, си­ту­а­ция счи­та­ет­ся неэр­го­дич­ной, когда на­блю­да­е­мая в про­шлом ве­ро­ят­ность не при­ме­ни­ма к бу­ду­щим про­цес­сам. Где-то есть “оста­нов­ка”, по­гло­ща­ю­щий ба­рьер, ко­то­рый предот­вра­ща­ет по­яв­ле­ние людей со “шку­рой на кону” — и си­сте­ма неиз­мен­но будет стре­мить­ся к этому мо­мен­ту. На­зо­вем такие си­ту­а­ции “ги­бе­лью”, по­сколь­ку это со­сто­я­ние не под­ра­зу­ме­ва­ет вос­ста­нов­ле­ния. Ос­нов­ная про­бле­ма в том, что при ве­ро­ят­ной ги­бе­ли ана­лиз за­трат-вы­год боль­ше невоз­мо­жен.

Рас­смот­рим более экс­тре­маль­ный при­мер по срав­не­нию с экс­пе­ри­мен­том в ка­зи­но.

Пред­по­ло­жим, что груп­па людей иг­ра­ет в рус­скую ру­лет­ку с при­зом в один мил­ли­он дол­ла­ров. Около пяти из шести оста­нут­ся в вы­иг­ры­ше. Если ис­поль­зо­вать стан­дарт­ный ана­лиз за­трат и ре­зуль­та­тов, можно утвер­ждать, что у каж­до­го иг­ро­ка есть 83,33% шан­сов на при­быль, а “ожи­да­е­мая” сред­няя при­быль за каж­дый вы­стрел со­ста­вит около $833333. Но про­бле­ма в том, что мно­го­крат­ная игра в рус­скую ру­лет­ку непре­мен­но при­ве­дет вас на клад­би­ще. Ваш ожи­да­е­мый доход... не вы­чис­лить.

Повторяющиеся риски

Да­вай­те раз­бе­рем­ся, по­че­му “ста­ти­сти­че­ских ис­пы­та­ний” и “на­уч­ных” за­яв­ле­ний недо­ста­точ­но, когда есть “ги­бель” и по­вто­ря­ю­щий­ся риск. Если кто-то возь­мет­ся утвер­ждать, что “ста­ти­сти­че­ские дан­ные под­твер­жда­ют без­опас­ность этого са­мо­ле­та” с уве­рен­но­стью 98% (в ста­ти­сти­ке мень­ший про­цент не имеет смыс­ла), и будет дей­ство­вать, ис­хо­дя из этой уве­рен­но­сти, то ни один опыт­ный пилот не дожил бы до наших дней.

В моей войне с Monsanto сто­рон­ни­ки ге­не­ти­че­ски мо­ди­фи­ци­ро­ван­ных (транс­ген­ных) ор­га­низ­мов при­во­ди­ли в ка­че­стве ар­гу­мен­та ана­лиз выгод (чаще всего несо­сто­я­тель­ный и вы­со­сан­ный из паль­ца), вме­сто того, чтобы про­ана­ли­зи­ро­вать оста­точ­ные риски в си­ту­а­ции их по­вто­ре­ния.

Пси­хо­ло­ги ста­вят ди­а­гноз “па­ра­нойя” или “непри­я­тие риска” на ос­но­ве од­но­го-един­ствен­но­го экс­пе­ри­мен­та, а после бе­рут­ся утвер­ждать, что у этих людей про­бле­мы с ра­ци­о­наль­ным вос­при­я­ти­ем и врож­ден­ная тен­ден­ция “пе­ре­оце­ни­вать” неболь­шие ве­ро­ят­но­сти. Можно по­ду­мать, че­ло­век ни­ко­гда боль­ше не сде­ла­ет ни­че­го рис­ко­ван­но­го! На­пом­ним, что уче­ные в об­ла­сти со­ци­аль­ных наук стра­да­ют от про­блем с ди­на­ми­че­ским вос­при­я­ти­ем. Они неспо­соб­ны за­ме­тить оче­вид­ное про­ти­во­ре­чие та­ко­го по­ве­де­ния уко­ре­нив­шей­ся по­все­днев­ной ло­ги­ке. В том, чтобы вы­ку­рить одну си­га­ре­ту, нет ни­че­го опас­но­го, по­это­му ана­лиз за­трат и ре­зуль­та­тов со­чтет ир­ра­ци­о­наль­ным отказ от столь боль­шо­го удо­воль­ствия за такой неболь­шой риск! Но имен­но ку­ре­ние уби­ва­ет людей, опре­де­лен­ное ко­ли­че­ство пачек си­га­рет, де­сят­ки тысяч си­га­рет в год — дру­ги­ми сло­ва­ми, по­вто­ря­е­мое се­рий­ное дей­ствие.

Кроме того, в ре­аль­но­сти каж­дый от­дель­ный риск вно­сит вклад в со­кра­ще­ние про­дол­жи­тель­но­сти вашей жизни. Если вы взой­де­те на гору, ся­де­те на мо­то­цикл, за­ве­де­те зна­ком­ство с ма­фи­о­зи, нач­не­те са­мо­сто­я­тель­но управ­лять са­мо­ле­том или вы­пье­те немно­го аб­сен­та, ваша про­дол­жи­тель­ность жизни зна­чи­тель­но умень­шит­ся, хотя ни одно дей­ствие не ока­жет зна­чи­мо­го эф­фек­та само по себе. Из-за этого по­вто­ре­ния па­ра­нойя по по­во­ду ма­ло­ве­ро­ят­ных со­бы­тий ста­но­вит­ся со­вер­шен­но ра­ци­о­наль­ным по­ве­де­ни­ем. Но нам не стоит слиш­ком пе­ре­жи­вать о себе; необ­хо­ди­мо пе­ре­не­сти неко­то­рые из наших забот на более зна­чи­тель­ные вещи.

Кто есть “ты”?

Об­ра­тим­ся к по­ня­тию “пле­ме­ни”. Недо­ста­ток со­вре­мен­но­го мыш­ле­ния в том, что люди вяз­нут в ил­лю­зии, будто каж­дый из нас — от­дель­ный ор­га­низм, не за­ме­чая в этом про­ти­во­ре­чия. Я вы­брал де­вя­но­сто че­ло­век из тех, кто по­се­ща­ет мои се­ми­на­ры, и спро­сил их: “На­зо­ви­те худ­шее со­бы­тие, ко­то­рое может с вами слу­чить­ся”. Во­семь­де­сят во­семь че­ло­век от­ве­ти­ли “моя смерть”.

Толь­ко для пси­хо­па­та такой рас­клад может быть худ­шим. По­это­му я спро­сил тех, кто уве­рен, что самый страш­ный кош­мар — это их соб­ствен­ная смерть: “Ваша смерть плюс смерть ваших детей, пле­мян­ни­ков, дво­ю­род­ных бра­тьев, кошек, собак, по­пу­га­ев, хо­мяч­ков (если у вас во­об­ще есть кто-то из них) и че­ло­ве­че­ства в целом — это ведь хуже, чем про­сто ваша смерть? Ра­зу­ме­ет­ся, да. Тогда по­че­му вы на­зва­ли смерть самым пло­хим рас­кла­дом?”

Таким об­ра­зом, ста­но­вит­ся ясно, что ги­бель ин­ди­ви­да — это не так страш­но, как ги­бель целой груп­пы. Не стоит за­бы­вать и про эко­цид, необ­ра­ти­мое уни­что­же­ние окру­жа­ю­щей среды — вот о чем дей­стви­тель­но стоит бес­по­ко­ить­ся.

Нассим Талеб: Логика риска

 

Иерархия рисков. Личный риск для спасения коллектива — это “храбрость” и “благоразумие” в одном флаконе, поскольку вы снижаете риск для всего общества

При­ме­ни­тель­но к струк­ту­ре эр­го­дич­но­сти: моя смерть за игрой в рус­скую ру­лет­ку не эр­го­дич­на для меня са­мо­го, но яв­ля­ет­ся та­ко­вой для си­сте­мы. Прин­цип предо­сто­рож­но­сти в трак­тов­ке, ко­то­рую я вывел с моими кол­ле­га­ми — как раз о гло­баль­ных рис­ках.

Каж­дый раз, когда я об­суж­даю прин­цип предо­сто­рож­но­сти, ка­кой-ни­будь су­пер­про­дви­ну­тый ин­тел­лек­ту­ал на­чи­на­ет рас­суж­дать о том, что “мы рис­ку­ем, пе­ре­хо­дя до­ро­гу”, так зачем бес­по­ко­ить­ся о си­сте­ме? Эта со­фи­сти­ка меня утом­ля­ет. По­ми­мо того факта, что риск быть сби­тым ма­ши­ной со­став­ля­ет 1 на 47 000 лет, дело в первую оче­редь в том, что моя смерть — да­ле­ко не худ­ший сце­на­рий, если она не пе­ре­кли­ка­ет­ся со смер­тью дру­гих.

Моя жизнь ко­неч­на, но че­ло­ве­че­ский род про­дол­жа­ет су­ще­ство­вать.

Или

Я бес­смер­тен, но че­ло­ве­че­ство и эко­си­сте­ма об­ре­че­ны на вы­ми­ра­ние.

Как я из­ло­жил в “Ан­ти­хруп­ко­сти”, хруп­кость ком­по­нен­тов — это залог проч­но­сти си­сте­мы. Если бы срок че­ло­ве­че­ской жизни был не огра­ни­чен, че­ло­ве­че­ство бы вы­мер­ло от несчаст­но­го слу­чая или из-за по­сте­пен­ной де­гра­да­ции. Но ко­рот­кая жизнь каж­до­го че­ло­ве­ка в от­дель­но­сти спо­соб­ству­ет тому, что из­мен­чи­вость окру­жа­ю­щей среды со­про­вож­да­ет­ся необ­хо­ди­мы­ми ге­не­ти­че­ские из­ме­не­ни­я­ми — люди эво­лю­ци­о­ни­ру­ют и при­спо­саб­ли­ва­ют­ся.

Храбрость и предосторожность — не противоположности

 

Каким об­ра­зом и храб­рость, и бла­го­ра­зу­мие могут быть клас­си­кой доб­ро­де­те­ли? Доб­ро­де­тель по “Ни­ко­ма­хо­вой этике” Ари­сто­те­ля вклю­ча­ет в себя: рас­су­ди­тель­ность, бла­го­ра­зу­мие и некую форму здра­во­го смыс­ла, ко­то­рую он опи­сал более ши­ро­ким по­ня­ти­ем фро­не­зи­са. Разве это не про­ти­во­ре­чит му­же­ству?

В нашем кон­тек­сте — аб­со­лют­но нет. Это одно и то же. Как же так?

Я могу про­явить храб­рость, спа­сая груп­пу детей, ко­то­рые вот-вот уто­нут — и это также в неко­то­ром роде со­от­вет­ству­ет бла­го­ра­зу­мию. Я жерт­вую ниж­ним зна­че­ни­ем пе­ре­вер­ну­той пи­ра­ми­ды (см. кар­тин­ку выше) ради тех, что рас­по­ла­га­ют­ся выше.

Храб­рость, со­глас­но гре­че­ско­му иде­а­лу, ко­то­рый уна­сле­до­вал Ари­сто­тель от Го­ме­ра, Со­ло­на, Пе­рик­ла и Фу­ки­ди­да, про­ти­во­по­лож­на эго­из­му:

Храб­рость — это когда вы жерт­ву­е­те соб­ствен­ным бла­го­по­лу­чи­ем ради вы­жи­ва­ния груп­пы людей.

Как ви­ди­те, это вполне со­от­вет­ству­ет нашей схеме под­дер­жа­ния устой­чи­во­сти си­сте­мы.

Глу­пый азарт­ный игрок — вовсе не смель­чак, осо­бен­но если он рис­ку­ет чу­жи­ми день­га­ми или дол­жен кор­мить семью. Этот при­мер, как и про­чие формы без­рас­суд­ной храб­ро­сти, на самом деле к храб­ро­сти от­но­ше­ния не имеют.

И снова о рациональности

 

Я го­во­рил о ​​ра­ци­о­наль­но­сти с точки зре­ния фак­ти­че­ских ре­ше­ний, а не того, что мы на­зы­ва­ем “убеж­де­ни­я­ми” — по­сколь­ку они могут быть адап­ти­ро­ва­ны таким об­ра­зом, чтобы вну­шить нам необ­хо­ди­мость из­бе­гать всего, что угро­жа­ет вы­жи­ва­нию си­сте­мы. Если суе­ве­рия в этом по­мо­гут, то в них нет аб­со­лют­но ни­ка­ко­го про­ти­во­ре­чия ра­ци­о­наль­но­сти — более того, фор­маль­но было бы ир­ра­ци­о­наль­но ме­шать их рас­про­стра­не­нию.

Вер­нем­ся к Уо­р­ре­ну Баф­фет­ту. Он за­ра­бо­тал свои мил­ли­ар­ды не на ана­ли­зе эф­фек­тив­но­сти за­трат — ско­рее, про­сто тща­тель­но филь­тро­вал ин­фор­ма­цию из це­ле­вых ис­точ­ни­ков, а затем ловил воз­мож­но­сти, ко­то­рые про­шли отбор. “Раз­ни­ца между успеш­ны­ми лю­дь­ми и по-на­сто­я­ще­му успеш­ны­ми в том, что по-на­сто­я­ще­му успеш­ные го­во­рят „нет“ прак­ти­че­ски всему”, — писал он. Такая схема может при­ме­нять­ся и для того, чтобы го­во­рить “нет” оста­точ­ным рис­кам. По­то­му что есть мил­ли­о­ны спо­со­бов за­ра­бо­тать день­ги без при­ня­тия оста­точ­ных рис­ков. Есть мил­ли­о­ны спо­со­бов ре­ше­ния про­блем (на­при­мер, ми­ро­во­го го­ло­да) без слож­ных тех­но­ло­гий, внед­ре­ние ко­то­рых по­вле­чет за собой хруп­кость си­сте­мы и непро­гно­зи­ру­е­мую воз­мож­ность воз­ник­но­ве­ния оста­точ­ных рис­ков.

Нам вроде было бы неслож­но от­ка­зать­ся от ка­ких-ни­будь низ­ко­проб­ных тех­но­ло­гий. Мне неслож­но ужи­вать­ся со своим “па­ра­но­и­даль­ным пси­хо­зом”, даже если это не со­всем пра­виль­но. Ведь од­на­ж­ды моя па­ра­нойя может оправ­дать себя, и это спа­сет мою жизнь.

Любовь к рискам определенного рода

Ос­нов­ная идея “Ан­ти­хруп­ко­сти” в том, что люди пу­та­ют риск ги­бе­ли с его ва­ри­а­ци­я­ми — упро­ще­ние, ко­то­рое на­ру­ша­ет более глу­бо­кую и стро­гую ло­ги­ку вещей. Это до­ка­зы­ва­ет обос­но­ван­ность любви к рис­кам, си­сте­ма­ти­че­ско­го “вы­пук­ло­го” вза­и­мо­дей­ствия со сре­дой, при­ня­тия мно­гих рис­ков, ко­то­рые не вклю­ча­ют в себя оста­точ­ные риски, но дают воз­мож­ность по­лу­че­ния оста­точ­ной при­бы­ли.

Во­ла­тиль­ные ин­стру­мен­ты не обя­за­тель­но со­пря­же­ны с риском, и на­о­бо­рот. Спор­тив­ные прыж­ки со ска­мей­ки тре­ни­ру­ют мышцы и укреп­ля­ют кости — чего не ска­жешь о прыж­ке с два­дцать вто­ро­го этажа. Неболь­шие трав­мы при­но­сят поль­зу, в от­ли­чие от тя­же­лых. В одних слу­ча­ях па­ни­ка бес­по­лез­на, в дру­гих оправ­да­на. Риск и ги­бель — это раз­ные вещи.

Подготовила Евгения СИДОРОВА

Добавить в FacebookДобавить в TwitterДобавить в LivejournalДобавить в Linkedin

Что скажете, Аноним?

Если Вы зарегистрированный пользователь и хотите участвовать в дискуссии — введите
свой логин (email) , пароль  и нажмите .

Если Вы еще не зарегистрировались, зайдите на страницу регистрации.

Код состоит из цифр и латинских букв, изображенных на картинке. Для перезагрузки кода кликните на картинке.

ДАЙДЖЕСТ
НОВОСТИ
АНАЛИТИКА
ПАРТНЁРЫ
pекламные ссылки

miavia estudia

(c) Укррудпром — новости металлургии: цветная металлургия, черная металлургия, металлургия Украины

При цитировании и использовании материалов ссылка на www.ukrrudprom.ua обязательна. Перепечатка, копирование или воспроизведение информации, содержащей ссылку на агентства "Iнтерфакс-Україна", "Українськi Новини" в каком-либо виде строго запрещены

Сделано в miavia estudia.