You are viewing afrikanbo

Previous Entry | Next Entry

Golden Gate
Нам выпало жить в эпоху информационных революций. На каждом новом этапе появляются инструменты, позволяющие существенно более быстрый и удобный способ получения информации. Телевидение, интернет... как только интернет-сеть разрослась до неперевариваемых размеров, появились поисковики, организовались wiki-педии, соцсети и вики-сообщества. Но даже это не спасает от превращения сети в общую помойку, в которой найти достоверную и нужную информацию становится всё труднее. Поэтому, я уверен, что следующий большой скачок в развитии связан ни с чем иным, а с интеллектуальными анализаторами текстов. Это большая тема, включающая в себя и автопереводчиков с одного языка на другой, и анализ многих текстов, основанный на их сравнении друг с другом...

Как это работает уже сегодня на примере модной темы "написание диссертаций" интересно с методологической точки зрения разобрать на конкретном примере. Сразу скажу, что пример этот хоть и основан на реальных фактах, но не имеет своей целью никого скомпрометировать или в чем-то обвинить. Чисто наука о нарождающихся "интеллектуальных анализаторов".

Так случилось, что волею судеб в ходе известного процесса "Андрияновгейт" кто-то обратил мое внимание на диссертацию, написанную в 2007 году (теперь уже одним из сотрудников ректората МГУ) "Особенности социально-политических процессов в Республике Ингушетия".. и я любопытства ради запустил ее в такой "анализатор". Через несколько секунд "анализатор" выплюнул мне другую диссертацию, написанную в том же МГУ, но годом позже: "Особенности социально-политических процессов в Республике Северная Осетия-Алания". Почему? Оказалось, что машина при сравнении текстов этих научных трудов пофразно обнаружила массу совпадений, которые высыпались на мня с экрана ноутбука, как из рога изобилия.

Немного доавтоматизировав свой "анализатор" мне удалось составить портрет более поздней диссертации (про РСО-Алания) с закрашиванием тех страниц, на которых совпадений оказалось слишком много. Получилось что-то в стиле обожаемого мной немецкого народного проекта VroniPlag:

Vrd


В принципе, все страницы на (на оригинальной схеме по ссылке сверху) должны быть кликбл, но до такой автоматизации пока дело не дошло. Для примера я сделал только одну страницу №111. Кликайте ее на здоровье.

Вот какие интересные открытия можно сделать на пороге следующей информационной революции ))

Comments

( 28 comments — Leave a comment )
sv_mironova
Mar. 7th, 2013 06:25 am (UTC)
111 не кликается(
afrikanbo
Mar. 7th, 2013 06:28 am (UTC)
так не на скриншоте же :) (надо пройти на оригинальную страницу по ссылке)
sv_mironova
Mar. 7th, 2013 06:32 am (UTC)
Спасибо:)
stranger9
Mar. 7th, 2013 06:35 am (UTC)
ЗдОрово.
olkol
Mar. 7th, 2013 08:57 am (UTC)
Следует отметить, что во второй работе все статьи липовые, как мы много раз наблюдали, в то время как по исходной работе 1 публикация присутствует. Следует отметить, что обе диссертации защищались в МГУ, правда, на разных советах. Злые языки поговаривают, что автор первой диссертации внезапно больше не сотрудник ректората ;)
afrikanbo
Mar. 7th, 2013 09:12 am (UTC)
Липовые? О как интересно! Их липовый автор - эксперт комитета ГД по национальной политике. )) Хреново у нас с политикой национальной (да и не только с ней).

А про Кобринского, конечно я знал. ))
olkol
Mar. 7th, 2013 10:03 am (UTC)
У него в elibrary числятся только автореферат и диссертация, заявленные статьи в Вестнике МГУ отсутствуют не только в elibrary, но и на сайте журнала. Можно попробовать получить официальный ответ. Журнал внутренний, потому крайне интересно поглядеть на реакцию его руководства.
olkol
Mar. 7th, 2013 11:51 am (UTC)
Особенно прекрасно в свете http://smena.ru/news/2013/02/25/21709 ;)
afrikanbo
Mar. 7th, 2013 12:02 pm (UTC)
ужас, ужас, ужас!
В понедельник мы узнаем, у кого он списал свои диссертации. Доживем до понедельника.

Edited at 2013-03-07 12:05 pm (UTC)
olkol
Mar. 7th, 2013 08:42 pm (UTC)
Еще в копилку:
http://historyofsuccess.ru/index.php?option=com_content&view=article&id=59:kobr&catid=36:2009-11-17-13-51-31&Itemid=40
Чем-то он неуловимо напоминает к.п.н. Бурматова...
А что ожидается в Пн, коли не секрет?
gorynych_007
Mar. 7th, 2013 09:30 pm (UTC)
Параллельные биографии
Мне одному кажется, что это - калька вот с этой творческой биографии?

http://www.vestnik.com/issues/97/0527/win/toom.htm

На секундочку, чтобы два раза не вставать: этот герой всю войну работал наседкой:

http://www.lebed.com/1997/art118.htm

Интересно, Кобринский согласился бы на такое?

Совок просто штамповал таких. В промышленных масштабах :(

lpauzner
Mar. 7th, 2013 09:52 pm (UTC)
По вашей ссылке вышел на "Кбр":
http://dissernet.org/index.php/DISSERNET.ORG:%D0%9A%D0%B1%D1%80/171-180
А как получилось что в левом столбце почти в каждом абзаце грубейшие опечатки, а в правом столбце ничего подобного не наблюдается? OCR разного качества? Тексты взяты из разных источников? Просто любопытно.
afrikanbo
Mar. 7th, 2013 10:55 pm (UTC)
"Очепятки" и слева и справа. Это то с каким качеством оцифровываются pdf тексты диссертаций.
glas_predkov
Mar. 8th, 2013 06:35 pm (UTC)
dissernet.org - блеск! Посмотрел на детальное сравнение текста Кобринского с оригиналом - хороша-а-а! Удовольствия было бы еше больше, если бы заимствования выделялись другим, например желтым, фоном, всюду, - наверняка, ты это уже запланировал!
afrikanbo
Mar. 8th, 2013 06:38 pm (UTC)
Паша привет!

конечно запланировал, )) но завтра срочно вылетаю в Камбоджу. Так что пока...
С другой стороны - там всё дозапятотно будет покрашено в один густой цвет. Я это уже прикидывал - смотрится отвратно )
glas_predkov
Mar. 8th, 2013 06:41 pm (UTC)
может, цвета нежного детского шоколада, так, не очень густого?
olkol
Mar. 7th, 2013 09:04 am (UTC)
Также следует отметить первого оппонента - уже нам хорошо знакомого профессора МГУ - http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B1%D1%80%D0%B8%D0%BD%D1%81%D0%BA%D0%B8%D0%B9,_%D0%90%D0%BB%D0%B5%D0%BA%D1%81%D0%B0%D0%BD%D0%B4%D1%80_%D0%9B%D1%8C%D0%B2%D0%BE%D0%B2%D0%B8%D1%87, который в своем интервью от 27 февраля резко негативно отзывался об анонимных блогерах )
gorynych_007
Jun. 14th, 2013 07:23 pm (UTC)
Ну почему же об анонимных?
У меня полное ФИО есть.
И не только ФИО, но и даже целая творческая биография:
http://www.logic-books.info/node/580

Но вот прочесть ее гражданин Кобринский, видимо, не удосужился.
Удовлетворился той гадостью, которую ему налили в уши, как я полагаю, наши общие знакомые. Увы, так бывает - не в 6 рукопожатий, а только в два. Впрочем, отношение "пожал бы руку" нетранзитивно, так что мне нечего волноваться. Пусть профессор Кобринский лучше подумает о следующем месте своей работы.

Ибо, если бы он знал про подробности биографии, скорее всего, не рискнул бы нарываться.
gorynych_007
Jun. 14th, 2013 07:25 pm (UTC)
Когда писал коммент, как-то забыл даже имя адресата... Бывает. Забавно. Но пусть остается.
leghe
Mar. 7th, 2013 09:16 am (UTC)
Вот полюбуйтесь: http://leghe.livejournal.com/58428.html
olkol
Mar. 7th, 2013 10:07 am (UTC)
Хмм, нет ли у кого друзей в Ростове? Зайти через пару недель и поспрошать? Впрочем, если поднять шум - то человек может и сам слиться, подобно Феоктистову в МПГУ.
leghe
Mar. 7th, 2013 10:12 am (UTC)
К сожалению, никого нет. Но в Ингушетии начнут поздравлять чиновника, можно по информационному эху узнать.
там вообще в том совете похоже большинство работ таких
dmitrykogan
Mar. 7th, 2013 01:57 pm (UTC)
Отличный инструмент. А я-то думал, вы вручную ищете через гугл.
Герман Лукашин
Mar. 12th, 2013 09:59 am (UTC)
Уважаемый Андрей!
Не могли бы Вы проанализировать диссертацию директора одного из предприятий ядерно-оружейного комплекса? Если да, то мой адрес:
atomgulag@yandex.ru
У меня нет инструментов для такого анализа.
В свое время проходила информация о том, что эта диссертация куплена. Вопрос проверки наличия публикации трудов этого "ученого" беру на себя, т.к. в университете есть знакомые.
Интересно также проверить диссертацию его сына, занимающего сегодня руководящий пост в ВНИИА им. Духова.
тексты диссертаций имеются в формате pdf.
Constantin V Nickolaev
Mar. 12th, 2013 10:59 am (UTC)
Интересно здесь не прикладная часть "достижений" ИТП
Есть два вопроса.

1) Где найти описание математической модели механизма сравнения текстов.

2) Где найти работу такую как диплом или диссертация в открытом доступе.
afrikanbo
Mar. 12th, 2013 11:04 am (UTC)
Re: Интересно здесь не прикладная часть "достижений" ИТП
Отвечу пока коротко, из-за плохой связи
1) Мат модель это громко сказано. Что Вы имеете в виду.
2) Диссертации есть в РГБ в зале диссертаций в Химках и по подписке на год (3000 руб) в электронном виде.
Constantin V Nickolaev
Mar. 12th, 2013 11:47 am (UTC)
Re: Интересно здесь не прикладная часть "достижений" ИТП
1) Описание хотябы алгоритма сравнения текстов. Насколько я понимаю частотными характеристиками здесь не отделаться.
2) в РГБ я смогу посмотреть скажем на свой диссер? (не московский)
afrikanbo
Mar. 12th, 2013 04:25 pm (UTC)
Re: Интересно здесь не прикладная часть "достижений" ИТП
2) Если он прошел через ВАК, то без разницы в каком городе проходила защита.
1) Пока достаточно индексирования на уровне того что делают поисковые системы. то помогает сравнивать тексты, находить близкие, и тд.
По сути ситуация как в ботанике до Линнея. Необходимо построить сеть из связей между текстами и тогда в результате появится новое качество знания.
( 28 comments — Leave a comment )

Profile

Golden Gate
afrikanbo
Андрей Ростовцев

Latest Month

July 2014
S M T W T F S
  12345
6789101112
13141516171819
20212223242526
2728293031  

Tags

Powered by LiveJournal.com
Designed by Michael Rose