поделился событием
Александр Анатольевич Слуцкий: интервью для портала Империя Консалтинга

« Вообще, вопросы о неопределённости, точности, достоверности, с постоянством «всплывают» тогда, когда происходит «обвал» рынка, а у оценщиков начинают спрашивать: «Ну и что теперь? Вы где были, что считали?»... 

Александр Анатольевич, огромное спасибо, что согласились ответить на наши вопросы!

И Вам спасибо за приглашение к беседе. Сделаю это с удовольствием.

Вы перевели на русский язык документ Международного комитета по стандартам оценки "Неопределенность Оценки". Что это за документ? Что все-таки включает в себя понятие «неопределенность оценки»? Какая разница между неопределённостью оценки и риском рынка?

Моё мнение таково, что этот документ - направление, куда должна двигаться оценка стоимости в средне- и долгосрочном периоде. Но он явно не окончательный. 

Вообще, вопросы о неопределённости, точности, достоверности, с постоянством «всплывают» тогда, когда происходит «обвал» рынка, а у оценщиков начинают спрашивать: «Ну и что теперь? Вы где были, что считали?». Оговорюсь, что это «островной» (британский) подход RICS. В США иначе, там в таких случаях вспоминают, с чего начиналась профессия в начале ХХ века, о чём было написано в учебнике Фредерика Бабкока: что есть стоимость (не рыночная, а вообще), а есть рыночная цена, которая и «обвалилась». А в Германии, например, таких вопросов нет, поскольку система оценки, ориентированная на стабильные стоимости, является составной частью системы мер, направленных на обеспечение низкой инфляции и предотвращение бумов/крахов. 

В Документе говорится про две неопределённости оценки: нормальную и абнормальную (ненормальную).

Первая связана с оценкой во времена спокойного рынка, когда сделки регулярны, а данные (подчеркнём - данные о ценах сделок) о них легко доступны, им можно верить. Однако, поскольку все тенденции «дрожат» в некоторых пределах (необязательно в 5-10%, может и сильнее), то такая неточность оценки рыночной стоимости относительно цен реальных состоявшихся сделок, на основании которых выполнена оценка, и есть нормальная неопределённость. Сюда же относится неопределённость, связанная с используемыми моделями: один оценщик использует, например, прямую капитализацию, а второй - дисконтирование денежных потоков, при этом не факт, что они получат один и тот же результат (хотя в теории должны, если используют одинаковые предположения).

Абнормальная неопределённость гораздо хуже. Это неопределённость рынка. Как раз она и возникает тогда, когда пропадают данные о сделках - их (сделок) просто нет, а те сделки, которые есть вызывают сомнения относительно вынужденности/невынужденности, например, и данные о них доверия не вызывают. Что в этих условиях должно делать оценщику? Документ содержит ответы на этот вопрос. Мой комментарий к ним был такой: «Не навреди» или «Не занимайся ерундой», нельзя найти точность и определённость там, где её нет и быть не может. Здесь полная аналогия с поговоркой про чёрную кошку в тёмной комнате.

Пользуясь случаем, скажу, что только что в Библиотеке оценщика LABRATE.RU опубликована моя статья (Слуцкий А.А. Техника группы инвестиций: применение к анализу рынка // Библиотека оценщика LABRATE.RU ), где я на цифрах анализирую абнормальную неопределённость в посткризисный период (2008 - 2012 годы) на офисном рынке класса «А» в Москве. Меня лично мои результаты впечатляют. А ведь это традиционно самый понятный, ликвидный, инвестиционно-привлекательный сегмент рынка коммерческой недвижимости не только в Москве, а и во всей России.

Теперь о разнице «неопределённость/риск». Тут всё не просто в «нашей Раше», ох, непросто ... По моему мнению, наша практика оценки, закреплённая в 135-ФЗ и ФСО, порочна, начиная с того, что у нас, в отличие от развитых оценочных систем - их три, я о них сказал выше - рыночная стоимость, хотя и определяется на дату оценки, но может быть рекомендована для совершения сделки в течение 6 месяцев вперёд от даты оценки.

Так вот, у «них» рыночная стоимость определяется исключительно на дату оценки. Никаких «рекомендаций» относительно будущих сделок из неё следовать не может и не следует. Соответственно, в Документе определено, что «неопределённость» - это то, что связано с величиной стоимости на дату оценки, а «риск» - это то, что с этой стоимостью может случиться в будущем и это оценщика, как такового не касается. А как это относится к нам? Не знаю, честно говоря... Видимо, если следовать духу Документа, надо указывать для одной величины стоимости две характеристики: неопределённость на дату оценки и риск на будущие 6 месяцев. И за обе нести ответственность.
Например, в США, о чём я тоже писал на LABRATE.RU (Слуцкий А.А. Рыночная стоимость и альтернативные базы стоимости, устремлённые в будущее. Практика США // Библиотека оценщика LABRATE.RU ) для случая продажи в будущем, когда экспозиция начинается в дату оценки (а не завершается, как в определении рыночной стоимости) существуют две другие базы оценки стоимости - стоимость реализации и ликвидационная стоимость.

Отдельно (в ветке дискуссии по последней редакции Европейских Стандартов Оценки) я приводил подтверждение того, что и в ЕСО рыночная стоимость - это стоимость только на дату оценки. В результате, суть базы рыночной стоимости у нас извращена и никаких подвижек (даже в связи со вступлением в ВТО) у нас не предвидится. Соответственно, наша практика оценки «суверенна», «сермяжна» и т.д., а в целом - маргинальна без кавычек.

И последнее, на чём хотелось бы остановиться, российская практика оценки постоянно осуществляется в условиях абнормальной неопределённости. Причина этого банальна: отсутствие цен сделок во всех без исключения отчётах об оценки. Достоверной в общепринятой практике оценки информации у нас нет. А относительно использования пресловутой «поправки на торг», кумулятивных построений ставки капитализации и тем более ставки дисконтирования у меня мнение простое: это недопустимая оценочная практика. Например, в США после начала кризиса, когда вдруг пропали сделки, соответствующие определению рыночной стоимости, не позволили себе опуститься до использования «скидок на торг» и кумулятива. А у нас пропагандой этого порока занимаются руководители саморегулируемых организаций, их экспертных, методологических советов и пр. квазиумных структур. Слов, что называется, нет: «Это наша оценка, сынок ...». 

Вот очень хорошая фраза из Документа: « ... поиск точности в измерении чего-либо, что неотъемлемо неточно, является ложной наукой и может дать пользователям несоответствующую гарантию, которая будет вводить в заблуждение более, чем отсутствие раскрытия неопределённости вообще».

Александр Анатольевич, оценка и вероятность - совместимые или взаимоисключающие понятия?

Абсолютно совместимые и не взаимоисключающие. 
Однако нужно «зарубить себе на носу», что «вероятность» - это не только статистическое (частотное) понятие. Это понятие философское и имеет свою многовековую историю. Приведу наиболее полный перечень концепций «вероятности», из тех которые встречал, вместе с выдающимися учёными, которые их «исповедовали» (среди них несколько Нобелевских Лауреатов, в т.ч. по экономике, включая такого гения, как Кейнс):

1.физическая вероятность: 
•классическая и частотная: Jacob Bernoulli, Pierre Simon Laplace, John Venn, Hans Reichenbach, Richard Edler von Mises, Ronald Aylmer Fisher, Jerzy Splawa Neyman и Egon Sharpe Pearson, 
•склонность: Karl Raimund Popper, David W. Miller, Ronald N. Giere и James Henry Fetzer, 
•алгоритмическая: Ray Solomonoff;

2. доказательственная (evidential) вероятность: 
•классическая, эпистемологическая или индуктивная: Reverend Thomas Bayes, Pierre Simon Laplace, Frank Hyneman Knight, Richard Threlkeld Cox, 
•логическая: John Maynard Keynes, Rudolf Carnap, 
•субъективная: Frank Plumpton Ramsey, Bruno de Finetti, Leonard Jimmie Savage, Francis John Anscombe и Israel Robert John Aumann, Daniel Kahneman и Amos Tversky, 
•интуитивная: Bernard Osgood Koopman, Irvin John Good, George Lennox Sharman Shackle, Kenneth Joseph Arrow и Gerard Debreu, Edi Karni, 
•байесовская: Edwin Thompson Jaynes, Jose Miguel Bernardo, 
•информационно - рационалистическая: John Charles Harsanyi, 
•неточная (imprecise): Peter Walley, Gert de Cooman, Arnold Neumaier.

Исходя из этого, опираться в оценке на одну частотную интерпретацию - означает махровую безграмотность.Однако, если отдавать себе отчёт, что оппонирующий тебе в суде оценщик может быть «более в теме вероятности», разбить частотное понимание и объяснить судье, что того самого (в курсе логики) на юрфаке учили именно доказательственной вероятности, и именно из неё (например, в варианте логической вероятности) в условиях отсутствия фактических цен, нужно исходить в процессе оценки рыночной стоимости о которой идёт спор, то, наверное, своё отношение к необходимости развития профессиональных навыков надо будет отнестись серьёзнее (мягко говоря).

Помимо всего прочего, оценка представляет собой классический вариант научной индукции, а индукция по любому даёт только вероятностный результат, в отличие от дедукции, дающей результат истинный.

Александр Анатольевич, согласно законодательству, оценщик определяет «наиболее вероятную стоимость» объекта оценки. Каким образом можно определить диапазон, в котором и лежит это «наиболее вероятная стоимость»? Зависит ли процесс определения данного диапазона и вообще его наличие от вида объекта оценки?

Не думаю, что, с учётом сказанного выше, кто-либо сможет однозначно ответить на вопрос о том, как определить диапазон (что бы там кто не говорил или писал). Здесь мы только в начале процесса.

Здесь, по моему мнению, в первую очередь надо определиться со следующим: что определять в первую очередь - число или диапазон?
По моим наблюдениям, те, кто «исповедует» частотное представление о вероятности ответят на него однозначно: число, а вокруг него будут «городить» всяческие «доверительные интервалы при заданной доверительной вероятности». И малые и сверхмалые объёмы выборок «недоверительных» (в смысле недостоверных) данных их не остановят. Однако, дать какие либо гарантии продажи по цене, равной рыночной стоимости (ими же и рекомендуемой) минус доверительный интервал, такие люди откажутся. Хотя, так или иначе, по этой цене продажа состояться практически обязана. А иначе, зачем эти псевдоумные цифры? В заблуждение относительно перспектив продажи заказчика и потребителя ввести? Это прямое нарушение и 135ФЗ и ФСО. А кроме того, в соответствии с ранее приведённой цитатой из Документа - это «лженаука».

Я считаю с точностью до наоборот. В таких условиях достоверно мы можем судить, в первую очередь, о диапазоне цен, в которых виртуальная сделка произойдёт с точностью до «почти наверное» (математический термин). Далее, возможно - и я в статье про технику группы инвестиций (Слуцкий А.А. Метод прямой капитализации: техника группы инвестиций // Библиотека оценщика LABRATE.RU ) показал для случая коммерческой недвижимости, каким образом - мы сможем указать интервал, в котором сделка скорее произойдёт, нежели не произойдёт (51% против 49%, что соответствует принципам доказательственной вероятности). И уж затем, если нас припрут к стенке, что называется «из-под ножа», «скрипя сердцем» и т.д. можем, обязательно приведя хотя бы какие-то хотя бы вербальные обоснования, или сославшись на «свой богатый опыт участия в сделках купли/продажи аналогичных объектов», но никак не на «информацию, полученную по телефону от «риэлтора Сергея», назвать число, по возможности, сняв с себя всяческую ответственность.

По моему мнению, ширина диапазона «почти наверное» однозначно зависит от вида объекта оценки. Например, исходя из отсутствия данных о ценах сделок, мы можем, отвечая карманом за свои слова, утверждать, что наиболее вероятная цена будущей (подчеркнём) сделки с новым станком любого типа будет «почти наверное» лежать в диапазоне от цены по прайсу, до цены, по которой этот станок можно сдать в металлолом (за дополнительным вычетом некоторых расходов). Думаю, что это утверждение не опровергнет никто, хотя, по моей практике оно вызывает отторжение. Неудивительно, поскольку, согласно данным уважаемого С.А. Смоляка, последняя цифра составляет менее 10% от стоимости нового станка. А диапазон, соответственно - превышает 90% от стоимости нового. Вот такова в моём понимании неопределённость и риск в соответствии с Документом. А вот далее я, как не специалист, снизить неопределённость не могу. Но мне доводилось читать довольно красивые и ясные рассуждения на этот счёт продвинутых специалистов (например, уважаемой О.В. Тевелевой). Могу сказать, не всё плохо в этом отношении. А если целенаправленно работать в этом направлении, то результаты будут, и будет лучше.

Что есть, на Ваш взгляд, понятие «достоверность»? Можно ли сказать, что оценщик в процессе своей работы ищет достоверную стоимость? Какие факты в работе оценщика являются достоверными? Или же понятие «достоверность» и «оценка» взаимоисключающие?

Поизучав вопрос о «достоверности», многочисленные её определения, я для себя остановился на двух.

Первое, видимо, бытовое - как достойность веры - прямо следует из правил русского языка. Верю, значит достоверно. Но это не термин для массовой услуги, которой является оценка, хотя, на мой взгляд, именно с этим связана практика аккредитаций оценщиков при самых разных структурах.

Второе, «достоверность = обоснованность» я встретил в одной из экономических статей посткейнсианской направленности. Собственно, на нём для себя и остановился пока. В этом случае, две разные оценки изначально достоверны. Судить может только тот, кому следует, лицо, принимающее решение. Вот он сопоставляет обоснования и принимает решения. При наличии спора источником истины является суд. Любой эксперт СРОО для меня в этом отношении авторитетом являться не будет, поскольку он является просто третьим оценщиком, на мнение которого всегда гарантированно найдётся другой эксперт СРОО, и так до бесконечности ... А на возражения в том духе, что суд может только всё ещё больше запутать, я отвечу, что такова институциональная среда и конвенция, другой не будет «почти наверное».

Для меня же, в первую очередь, важен вопрос не достоверности, а честности, порядочности, с которой оценщик делает свою работу, насколько хорошо он готов теоретически. Он вообще способен отстоять свои результаты, добавить аргументации и т.д? Дорожит ли он тем, что выдаёт в мир жёстких бизнес-отношений?

В целом же думаю, что достоверность результата должна быть целью, но принципиален вопрос интервала, в котором результат находится. Об этом я уже сказал ранее.

Довольно часто в Ваших высказываниях на форуме  у Вас встречается формулировка «третейская оценка». Что включает в себя данное понятие? Что Вы подразумеваете под ним?

Этот термин принадлежит уважаемым В.Б. Михайлецу и отцу и сыну Артеменковым. У них есть статья на эту тему: О необходимости разделения профессиональной оценки на третейскую и ценообразующую (Артеменков А.И., Артеменков И.Л., Михайлец В.Б. (2007), О необходимости разделения профессиональной оценки на третейскую и ценообразующую, Вопросы оценки, №4, 39-41).

За оригинальными определениями направляю к оригиналу, поскольку я вкладываю в два эти термина, как выяснилось, несколько иной смысл.

Под третейской оценкой я понимаю оценку для целей, в которых акта купли/продажи не планируется (взнос в уставный капитал, залог, раздел имущества, некоторые судебные вопросы и т.д.), т.е. виртуальная сделка остаётся виртуальной. Напротив, под третейской я понимаю оценку для продажи объекта оценки определённым образом, например, на аукционе, в процессе прямых переговоров или иначе. В этом случае, как минимум, контекст способа продажи наложит очень сильный отпечаток и на процесс оценки и на его результат. Кроме того, определению должна подлежать не рыночная или ликвидационная стоимость на дату оценки, а, например, начальная продажная цена аукциона.

Последний вид оценки, как мне представляется, в России не имеет место, несмотря на его насущную необходимость, например, для целей реализации заложенного имущества на публичных торгах, весь процесс которого строго регламентирован законодательством, но неоправданно привязан к базе рыночной стоимости. Я в этом вижу реализацию абсолютно ложной идеи, заключающейся в том, что рыночная стоимость может быть инструментом решения абсолютно любых задач. Эдакая рыночная стоимость, как фетиш.

Александр Анатольевич, насколько важна репрезентативность выборки в рамках сравнительного подхода? Как лучше оценщику, на Ваш взгляд, сделать выбор аналогов из генеральной совокупности?

Что называется, «Спасибо за вопрос».
В той парадигме сравнительного подхода, которая в мире имеет место сейчас, и в соответствии с которой он развивается, репрезентативность выборки не имеет никакого значения. В сравнительный подход заложен фундаментальный логический метод нестрогой научной аналогии, а не логический метод статистического обобщения, как бы нам и (Вам) не пытались «промыть мозги» «апологеты» корреляционных аналитический методов.

Логические рассуждения по аналогии, в свою очередь, имеют свои правила. Главным из этих правил является то, что чем подобнее два объекта, тем достовернее будет перенос некоторого свойства, например, стоимости, с аналогичного объекта с известной характеристикой, на аналогичный объект с неизвестной характеристикой. Т.о. важно не количество, в первую очередь, а степень подобия.

Говорю это со всей ответственностью и на основании очень серьёзного изучения зарубежной оценочной литературы. Более того, метод статистического обобщения имеет очень отдалённое отношение к термину «сравнение», если вообще имеет, а стало быть, его использование в «сравнительном» подходе, как минимум, спорно, скорее, очень спорно. Так он фактически нигде и не используется в тех индивидуальных оценках, которые, например, в США регулируются стандартами USPAP. В массовых, да, используется.

А уж если вернуться к размеру выборки для статистического обобщения, то тут всё просто: она должна быть так велика, чтобы добавление любого количества новых данных не изменяла ни сам результат, ни его точность. Т.е., если некий «враг» предъявляет ещё один сопоставимый объект, который изменяет результат, то он (результат) оказывается полностью недостоверным. В этом и смысл использования статистического обобщения в процессе индуктивного вывода: выборка должна быть максимально близка к генеральной совокупности. Исключение объектов из выборки для повышения точности результата не допустимо. Исходя из этого, статистические обобщения, претендующие на высокую вероятность истинности результата можно делать на больших (даже огромных) выборках, например, на всех продажах всех квартир за несколько лет в Москве - такой результат будет очень не точен, но устойчив и, следовательно, достоверен.

Наглядный пример индуктивного статистического обобщения - коэффициент торможения цены, про который можно сказать, что он точно меньше единицы. А насколько? Говорят, что он составляет вплоть до 0,7. Но это показатель степени, и от того принять его равным 0,7 или 0,9 зависит очень многое.

А уж индуктивное статистическое обобщение на недостоверных данных о ценах предложений - это, по моему мнению, вообще за гранью ... 

.... » 

Поделиться:
Читать далее
В соответствии с пунктом 27 положения о совете по оценочной деятельности, утвержденного приказом Минэкономразвития России от 5 ноября 2014 г. № 700, 20 января 2016 г....
В последнее время все чаще сталкиваешься с рассуждениями «об участии оценщика в судебном процессе», «о статусе оценщика в арбитражном, гражданском ...
Комментарии5

"... А уж если вернуться к размеру выборки для статистического обобщения, то тут всё просто: она должна быть так велика, чтобы добавление любого количества новых данных не изменяла ни сам результат, ни его точность. Т.е., если некий «враг» предъявляет ещё один сопоставимый объект, который изменяет результат, то он (результат) оказывается полностью недостоверным. В этом и смысл использования статистического обобщения в процессе индуктивного вывода: выборка должна быть максимально близка к генеральной совокупности."

Полностью совпадает с тем выводом, который я сделал по вопросу об оптимальном размере выборки в одном из постов в моем блоге . Этот момент очень важен, поскольку про него очень часто забывают многие оценщики, которые используют КРА на малых выборках.

Насчет трактовки А.А. Слуцким понятия "достоверность" в оценке. На мой взгляд, оно не совсем удачно. Исходя из лексического построения формулировок в ФЗ-135 мы можем сделать вывод о том, что законодатель разделял эти два понятия (вкладывал в них разный смысл). Разный смысл, вложенный в эти понятия , на мой взгляд, довольно четко проявляется, если обратить внимание на сложившуюся оценочную практику. Мы часто слышим (особенно от экспертов СРОО), что такой-то отчет хорошо обоснован, но его результаты не достоверны (вызывают сомнения). На мой взгляд, под понятием "обоснованность" (в том смысле, в котором его использовал законодатель) понимается некая мера соответствия отчета и его результатов сложившейся методологии, стандартам и практике оценки, а в понятие "достоверность" - некая мера соответствия отчета и его результатов рынку и окружающим реалиям. На практике такие ситуации, при которых различные отчеты и отраженные в них результаты с точки зрения сложившейся методологии, федеральных стандартов и практики являются обоснованными (др. словами выполненными в полном соответствии, сложно оспоримыми), но при этом их результаты вызывают у специалистов недоверие и сомненияв их способности отражать действительность (достоверность), довольно часты. Тем самым, на мой взгляд, законодатель, разделяя в рамках ФЗ эти понятия лексически, учел и указал на возможность ситуации, в которой текущая методология в каких-либо областях оценки может плохо работать, показывать плохие результаты и т.д.

Поддержали0
Гость
15 мая 2013 в 22:23:34

То, что законодатель вкладывал, то только ему и известно. Нам он об этом предоставил догадываться. Посему имеем право толковать так, как учёные толкуют.

Сложившаяся оценочная практика на пару с гнилой методологией скидок на торг и кумулятивами порочна насвозь вместе с экспертами, которые в своей массе не читали ничего, кроме букварей, написанных такими же неучами. Я об этом сказал. Экспетры - ноль. На каждого такого эксперта за умеренную плату найду другого эксперта, который скажет, что первый эксперт дурак, а мы с ним умные. Мало будет - двух экспетров найду, будет нас трое умных.

Доверие специалистов - в печь. Выставили на продажу и проверили кто прав ... Кто не прав - пусть купит, почём наоценивал. Вся недолга. Не можешь за свои слова отвечать, займись разведением кроликов.

Либо суд.

А то, что законодатель не знает, что такое методология и как она будет работать, рупь за сто даю.

А.А.Слуцкий

Цитата:
Гость
 — 
15 мая 2013 в 22:23:34:

То, что законодатель вкладывал, то только ему и известно. Нам он об этом предоставил догадываться. Посему имеем право толковать так, как учёные толкуют.

Вы безусловно правы, он мог иметь всё, что угодно. Нам остается только догадываться. Но, на мой взгляд, судя по ФЗ-135 можно сделать два вывода: либо в эти понятия заложен разный смысл, либо закон написан лексически куцо (собственно, и то, и другое имеет место быть, но первый вариант всё же, на мой взгляд, выглядит предпочтительнее или, если так можно сказать, конструктивнее).

Цитата:
Гость
 — 
15 мая 2013 в 22:23:34:

Сложившаяся оценочная практика на пару с гнилой методологией скидок на торг и кумулятивами порочна насвозь вместе с экспертами, которые в своей массе не читали ничего, кроме букварей, написанных такими же неучами.

Про кумулятивы я как-то тоже высказывался в своем блоге, тут наши точки зрения опять совпадают, да и, на мой взгляд, с каждым днем специалистов, которые продолжают верить в кумулятивное построение всё меньше и меньше. Но кумулятивы и скидки на торг - это неизбежность, с которой скорее всего ещё долго придется мириться с учетом специфики наших рынков.

Поддержали0
Гость
16 мая 2013 в 09:24:15

Нет. Кумулятивы, скидки на торг и экстракция из цен предложения - не неизбежность. Я уже полностью эту гадость опроверг. Просто почитайте про ТГИ две статьи на Лабрейте.

Там проблемка возникает у мошенников от оценки - не подгонишь результат. Всё становится очевидным. Завышение дикое, раза в два. Ну и неликвид есс-но.

Так же читал, как без этой гадости обходится О.Тевелева. Но она не публикует, видимо это на семинарах рассказывает.

Так что не надо поощрять недопустимую оценочную практику.

Вот именно поэтому я за уголовную ответственность оценщиков за использование заведомо недостоверных данных. И готов СледКому в этом помочь. Откровенно говорю. :-)

А.А.Слуцкий

Со статьями я ещё пока не успел ознакомиться. Обязательно прочту и поделюсь впечатлениями на досуге.

Цитата:
Гость
 — 
16 мая 2013 в 09:24:15:

Так что не надо поощрять недопустимую оценочную практику.

Вот именно поэтому я за уголовную ответственность оценщиков за использование заведомо недостоверных данных.

Я и не поощряю, иначе периодически не поднимались темы, в которых обсуждаются "достоинства" существующей методологии. Вот только можно ли признать "заведомо недостоверными" те данные, на которые обучают ссылаться оценщиков в институтах и которые приводятся как примеры в современных учебниках? Вина ли в этом оценщиков? На мой взгляд, нет. Большинство из них не имеет достаточных знаний и опыта, чтобы судить о корректности тех или иных методов. На мой взгляд, нужно развивать методологию, актуализировать её с учетом последних знаний и практических результатов, постепенно перестраивая программы обучения в ВУЗ-ах и меняя сложившуюся оценочную практику. Думаю нужно проводить большую работу именно в этом направлении.

Поддержали0