?

Log in

No account? Create an account

Previous Entry | Next Entry

Сегодня опубликовал свои данные британский рейтинг топ-200 университетов мира - THE (Times Higher Education World University Rankings). Наибольшее удивление вызвало появление МИФИ в рейтинге Университетов. Раньше МИФИ не входил в рейтинг по одной простой причине: число научных статей в реферируемых изданиях по Web of Science за год не превышало 200. А именно это число является пороговым значением, после которого Times рассматривает университет в качестве участника рейтинга.

Самое удивительное, что МИФИ в рейтинге почти сразу догнал МГУ и почти вступил в элитный клуб топ-200 университетов мира. Почему это произошло? Чтобы ответить на этот вопрос необходимо взглянуть на то, из чего складывается рейтинг МИФИ:

MIFI12


Удивительным образом показатель цитируемости у МИФИ составил 100%. Этот показатель имеет кумулятивную природу. По определению Times это означает, что с вероятностью 100% любой другой случайно взятый университет, попавший в этот рейтинг, будет иметь цитируемость меньшую (или равную) МИФИ. Народ сегодня на ФБ припух: "Это, конечно, замечательно, что альма-матер так преуспела, но более пристальный взгляд привел меня в недоумение: по всем параметрам МИФИ оценен очень низко. А вот по "цитируемости" (которая дает 30% вклада в общий результат) не просто высоко - получена максимально возможная оценка ('100'), которой достиг (если мой беглый взгляд верен) еще только Rice Uni. Ни один из элитных университетов во главе списка такого успеха не добился! При этом, за research (тоже дает 30%) получено (из тех же 100 возможных) у МИФИ всего лишь 10.6 (это очень низкий показатель)."

Сразу закралось подозрение, что это - технический сбой программы обработки данных. Чтобы развеять это сомнение я тут же связался с редакцией Times и вот, что прояснилось.

1. Это не технический сбой. У МИФИ есть две выдающиеся научные статьи, индексированные в базе данных WoS с индексами цитируемости в 3306 и 4916. Да, да никто не ошибся, хотя у Нобелевских лауреатов цитируемость на порядок ниже. Это справочники по элементарным частицам, Particle Data Group. По традиции справочник обновляется каждые два года и публикуется в журнале Phys Lett B. В состав группы, готовившей этот справочник к печати, в 2008 и 2010 годах входил сотрудник МИФИ. Но как же так получилось, спросите вы, ведь в группу PDG входят и представители других университетов, в частности, представитель Калтеха, занявшего первое место в рейтинге университетов? А показатель цитируемости у Калтеха ниже 100%. Где же справедливость?

2. Справедливость кроется в повышающих коэффициентах. Чтобы как-то уровнять разные страны, регионы и традиции Times вводит дополнительную нормировку для цитируемости научных работ. Действительно, средняя цитируемость статей американских университетов будет гораздо выше, чем средняя цитируемость статей университета из Анголы. Не потому что в Анголе плохие ученые, а просто потому что их статьи гораздо реже читают. По этой же причине для Российских университетов Times вводит повышающий коэффициент. Опущу здесь подробности его вычисления, но в результате данные МИФИ были усилены относительно данных Калтеха в 1.44 раза. А поскольку и для МИФИ и для Калтеха эти справочники делают всю статистику и определяют показатели относительно других университетов, то имея в кармане гандикап в 44% МИФИ с легкостью обставляет более слабого противника и выходит на первое место по цитируемости научных результатов в мире.

3. МГУ повезло гораздо меньше - его сотрудники не попали в группу соавторов PDG. Поэтому по цитируемости своих научных работ Московский Университет еле дотягивает до 20%.

Мораль: Рейтинги - это хорошо. Но к их результатам надо относиться осторожно, с пониманием ))

Comments

( 27 comments — Leave a comment )
runixonline
Oct. 4th, 2012 01:19 pm (UTC)
Грамотно хакнули рейтинг ;)
valchess
Oct. 4th, 2012 01:19 pm (UTC)
Т.е. получается, что один(!) учитываемый источник справочного типа для одной из многочисленных наук определяет расстановку в глобальном рейтинге университетов всего мира по такому важному аспекту как "research influence (or research impact)" (так официально трактуется смысл фактора "citation" самими создателями рейтинга THE)?

Какой-то абсурд. Тут ведь даже дело не в МИФИ и не в его "гандикапе". Пусть даже этого гандикапа не будет. А в методологии, в которую встроены процедуры, чрезвычайно искажающие общую картину. Именно чрезвычайно! Ведь получается, что убери эти два тома из рассмотрения - и вся картина (по идее учитывающая "12,000 academic journals" "6 million journal articles" рейтинга изменится)?! Очень странно.

А у Вас имеются и числовые детали методики расчета (со всеми этими коэффициентами)? Что-то в публичном доступе я их не вижу.
afrikanbo
Oct. 4th, 2012 01:28 pm (UTC)
Отвечу пока кратко.

1. числовые детали методики расчета - приватная информация, по крайней мере, до того момента, кода поступит официальным ответом в каждый из университетов.

2. Абсурд - да. В России в серьезных анализах цитирования такие справочные материалы изымаются из листинга. Подход чисто формальный. Сегодня по моей просьбе Times отправил соответствующий запрос в Thomson Reuters (WoS).

3. Есть еще важный пункт. Кроме справочных материалов имеются еще много статей с заведомо неправильным, но скандальным научным результатом. Цитируемость таких статей также зашкаливает. Но их научный вклад - отрицательный. Примеров много.

Edited at 2012-10-04 01:33 pm (UTC)
valchess
Oct. 4th, 2012 01:47 pm (UTC)
Да, проблемы со всеми этими индексами цитирования хорошо известны (а я их чувствую на своей шкуре, ибо там, где я работаю, это вполне себе учитываемый показатель). Но меня (который об университетских рейтингах, да и наукометрии, немало написал и в прессе, и в жж) в данном конкретном случае удивило, что единичный, сам по себе невеликий факт, оказывается столь значимым в весьма глобальном контексте. Все-таки обычно хочется считать: мелкие флуктуации каких-то индексов (даже когда они противоречат здравому смыслу) случаются, и даже неизбежны, но сама статистическая природа глобальных расчетов их более-менее нивелирует. А тут - с редкой наглядности проявился тот самый "эффект бабочки".

Я сам было собрался писать запрос в THE, но теперь, пожалуй, не буду - Вы все сделали. :)
afrikanbo
Oct. 4th, 2012 01:56 pm (UTC)
Читаю Ваш ЖЖ )))
afrikanbo
Oct. 4th, 2012 02:36 pm (UTC)
Еще прикольный пример (Вам более близкий)

Royal Holloway, University of London, University of London - 119 место в рейтинге.
Research - 27%
Citation - 99% - как Вы полагаете, почему?
Royal Holloway - соавтор того же справочника. От части по этой причине.

valchess
Oct. 4th, 2012 03:06 pm (UTC)
Вот я сейчас получил THE в бумажном виде (роскошная цветная вкладка в 64 стр. о рейтинге). Тут таблицы в наглядном виде, многое сразу видно. Например:

Tokyo Metropolian - 97.1 (research: 9.8), Florida Institute of Technology - 92.5 (research: 11.9)...

Думаю, создателям рейтинга на недоуменные вопросы ответить придется. Потому что уж больно они в последнее время шумно свой рейтинг продвигают.
afrikanbo
Oct. 4th, 2012 03:31 pm (UTC)
Тоже, наверное, какие-то "выдающиеся" статьи )) Иначе трудно объяснить такое несоответствие. Если у Вас есть доступ к WoS то легко проверить, на чем держится такой высокий рейтинг.
(Deleted comment)
afrikanbo
Oct. 4th, 2012 05:06 pm (UTC)
К сожалению, сейчас флагманская тенденция "чем хуже, тем лучше" у чиновников на первом месте. Так что, ни за что они бороться вообще не собираются, кроме как за толщину своего кошелька. ))
nataly_demina
Oct. 5th, 2012 07:24 am (UTC)
Приклеила Ваши пояснения в P.S.
http://polit.ru/article/2012/10/04/ranking/
afrikanbo
Oct. 5th, 2012 07:37 am (UTC)
Спасибо, может быть, это немного подвинет народ в сторону подумать над справедливой оценкой по цитированиям. По крайней мере, сейчас редакция Times обратилась с запросом к Thomson Reuters.

МИФИ в этом не виноват. Кроме МИФИ в рейтинге из-за этого справочника и подобных ему изданий много похожих казусов. Всплыл заштатный Royal Holloway, University of London с цитируемостью 99% (они тоже соавторы с МИФИ в этом справочнике), Университеты во Флориде и Токио - оба с оценкой их научных исследований в районе 10% и меньше, а с цитируемостью около 90%.
(Deleted comment)
afrikanbo
Oct. 8th, 2012 08:39 pm (UTC)
Сильно промасштабированное. Если будет интересно - в личку кину описание алгоритма.
(Deleted comment)
afrikanbo
Oct. 8th, 2012 09:00 pm (UTC)
Отправил. Это то, что я получил недавно от организаторов рейтинга. В двух словах: они нормируют по областям наук (цитируемость в био и в искусстве отличается на порядок) и по географическому положению (Берег Слоновой Кости получает дополнительное усиление парад Калифорнией)
(Deleted comment)
kvzh
Oct. 10th, 2012 05:24 pm (UTC)
Все эти рейтинги - лажа голимая, рассчитанная на западную систему научного творчества, где образование и наука находятся под одной крышей.
Например у ФизТеха Research и Citations будут около "0", потому как все работы преподавателей и студентов будут записаны на базовые кафедры, располагающиеся в профильных НИИ АН РФ. Но никто же не скажет, что Физтех или МИФИ дают образование хуже, чем какой нибудь университет из зажопинской Австралийской Аделаиды...
afrikanbo
Oct. 10th, 2012 05:27 pm (UTC)
О чем и спич!

Только не лажа, а просто к ним надо с пониманием подходить.
kvzh
Oct. 10th, 2012 05:37 pm (UTC)
Мы-то понимаем причину, надо чтобы составители рейтингов это поняли. Этого легко добиться, если бы в НИИ, после фамилии автора печатали название его ВУЗа. Даже если российский ученый в Кембридже или Оксфорде в скобках печатал название российского ВУЗа, где он получал образование, рейтинг бы серьезно "покраснел".)) А там и International Outlook поползли бы вверх. Не только Citations и Reserch.
afrikanbo
Oct. 10th, 2012 06:19 pm (UTC)
Такое во всем мире принято делать, только если home-institution (ВУЗ) взял тебя на работу, хотя бы частично. Наши ВУЗы по большому счету стараются избавиться от своих выпускников (ну, или предложить им смешные условия), а те которые остаются работать на кафедрах, имеют минимальные возможности интегрироваться в мировое сообщество.
Две известные проблемы - малый бюджет и неготовность интегрироваться. Так, что в мировые рейтинги нам трудно вписаться на достойные места.
kvzh
Oct. 10th, 2012 06:43 pm (UTC)
Надо чтобы за бесплатное образование ответственность была)) Хотя бы для того чтобы в скобочках писать название home-institution...
afrikanbo
Oct. 10th, 2012 07:02 pm (UTC)
У нас нет бесплатного образования также как и нет бесплатной медицины - всё это оплачивается рентой на природные ресурсы и налогами.
besbal
Oct. 11th, 2012 08:12 pm (UTC)
А низкий research - это не технический сбой ? Не спрашивали Times?
afrikanbo
Oct. 11th, 2012 08:21 pm (UTC)
Судите сами:
30% - Research

18% - престиж ВУЗа в области научных исследований по данным опроса более чем 16 000 географически равномерно распределенных респондентов
6% - годовой доход университета (по паритету покупательной стоимости), связанный с научными исследованиями, нормированный на число сотрудников
6% - число опубликованных статей (по WoS) за последние 5 лет, нормированное на число сотрудников университета.


Два главных недостатка - никто о "research" МИФИ в мире не знает (если не согласны, то приведите хотя бы одну хорошо известную работу) и плохое финансирование этого "research".
besbal
Oct. 12th, 2012 01:43 pm (UTC)
то,что никто в мире МИФИ не знает , я не могу не согласиться. Почему? Вот пример: http://subscribe.ru/archive/science.news.astrophnews/200811/03115027.html. Сергей Попов, автор этой заметки , знал об участии МИФИ в описываемом им эксперименте, но видимо решил не писать об очевидных вещах.
afrikanbo
Oct. 12th, 2012 03:14 pm (UTC)
Конечно, никто не утверждает, что о МИФИ никому в мире ничего неизвестно. Но всё познается в сравнении. Сравнение дано объективно в рейтинге.

Кстати, 2009 2010 МИФИ не смогло преодолеть минимальный порог паблисити - всего 200 научных статей за год на весь институт! Поэтому в рейтинге вообще не участвовало. А Вы говорите...(((
( 27 comments — Leave a comment )

Profile

Golden Gate
afrikanbo
Андрей Ростовцев

Latest Month

July 2014
S M T W T F S
  12345
6789101112
13141516171819
20212223242526
2728293031  

Tags

Powered by LiveJournal.com
Designed by Michael Rose