Здравствуйте,
Имя пользователя или электронная почта:

Пароль:



[ ]
Forums
 
« Предыдущая тема | Следующая тема »
На майском бёрдинг- ралли будет опробована новая система оценки видов
Модератор(ы): www.birder.ru
Автор Пост
kom
пт окт. 04 2013, 05:20PM
kom
Присоединился: вт янв. 11 2011, 09:37AM

Посты: 39
Anatol цитата от: ...
При определении балла за каждый вид, безусловно, надо учитывать встречаемост ь данного вида, у нас, кроме наших собственных данных, других (будем считать с точки зрения любителей) нет, по этому, система вполне пригодна для определения "цены" вида, в виде первоначальн ой экспертной оценки и последующей её коррекции по результатам соревнований .

На самом деле, новая система, как мне кажется, имеет очень большой перекос именно в сторону переоценки встречаемост и (точнее, " невстречаемо сти"). Достаточно посмотреть количество параметров, которые эту встречаемост ь так или иначе учитывают. Особенно если еще вспомнить, что " краснокнижно сть" вида по определению сильно коррелирует с физической встречаемост ью вида.
Между тем, для каждых данных конкретных соревнований , проводимых в достаточно ограниченном географическ и районе, " встречаемост ь" каждого вида априори одинакова для любой команды.
Есл и белые цапли встречаются с частотой белых трясогузок, то это значит, что все (ну, или почти все) команды их снимут и правильно определят. А если аисты уже улетели, то и с этим ничего не поделаешь - опять же, для всех команд.
Изменено пт окт. 04 2013, 05:28PM
Вернуться наверх
Иван Рекубратский
пт окт. 04 2013, 04:32PM
Иван Рекубратский
Присоединился: чт нояб. 30 2006, 07:21PM

Посты: 731
Очевидно, что совершенствование технического обеспечения соревнований (речь идёт о разработке компьютерной программы, которая работает на сервере и позволяет через локальную сеть собрать результаты участников, продемонстрировать их Жюри и подвести итоги - о ней же писали весной Михаил и Анатолий), также потребует существенной переработки регламента. Многие аспекты пока трудно предусмотреть, но мне интересно ваше отношение к некоторым возможностям, которые было бы не очень трудно реализовать при внедрении подобного инструмента:
  • Работа Жюри вслепую. Жюри предъявляются только снимки птиц, при необходимости описывается (каким-то образом указывается) область снимка, где находится птица) без указания названия команды и её версии о том, что это за вид. Жюри определяет вид птицы на снимке или признаёт снимок непригодным для определения. Затем компьютерная программа сравнивает мнения Жюри и команды и подсчитывает очки.
  • Предварительный просмотр результатов работы Жюри. Сразу после окончания работы Жюри через локальную сеть становятся доступны для просмотра странички со снимками птиц и результатами их определения Жюри и участниками. Какое-то время до подведения итогов (например, утро воскресенья) можно было бы использовать для открытой дискуссии по спорным вопросам определения птиц между Жюри и участниками.
  • Предварительный просмотр результатов всех команд. Странички со снимками птиц и результатами их определения участниками становятся доступны для просмотра через локальную сеть сразу после их загрузки или после окончания приёма результатов соревнований от всех участников.
Меня особенно интересует ваше отношение к возможности просмотра результатов соперников, до окончания приёма результатов, когда и у вас, и у них ещё есть возможность внести исправления. Очевидно, что последняя возможность противоречит первой, так как при её реализации снимки утратят анонимность. С другой стороны, полная анонимность труднодостижима: снимки можно идентифицировать по марке фотоаппарата. Ещё несколько соображений для обсуждения:
  • Мне нравится предложение Анатолия штрафовать за несвоевременную сдачу результатов, но , похоже, при внедрении компьютерной системы обработки результатов, оно станет неактуально - Жюри просто будет рассматривать только снимки представленные к часу "Ч".
  • Старый и больной вопрос поднял Михаил: что делать со случайно обнаруженными Жюри видами? На первый взгляд, кажется, что справедливее всего их не засчитывать (Во-первых, участники их не заявили, а значит не видели. Во-вторых обнаружены они случайно, то есть могут быть не учтены незаявленные виды у других команд). С другой стороны, учитывая эти виды, мы повышаем объективность оценки их встречаемости на соревнованиях. Опять же непонятно: справедливо ли давать очки за виды, которые участники вписали в графу "вид неопределён"? Мне кажется, что главный мотив для помещения вида в эту графу - это нехватка времени или недостаточное качество снимка для определения.
  • Мне кажется, что необходимо закрепить в регламенте, что, при определении вида, Жюри должно руководствоваться только различимыми на предоставленном снимке определительными признаками и не принимать во внимание аргументы типа "видел в бинокль", "слышал голос", "полёт характерный для ..." и т.п.. По моему, это будет стимулировать участников делать и/или выбирать из серии снимки достаточного для определения качества качества. Жюри должно воспринять в качестве аргумента представление серии снимков одной особи. Но участники должны доказать, что это одна особь. Изменено пт окт. 04 2013, 04:40PM
Вернуться наверх
None
пт окт. 04 2013, 02:21PM
None
Присоединился: ср февр. 02 2011, 11:26AM

Посты: 355
kom цитата от: ...

Напомню регламент. Основной целью участников считается " сфотографиро вать и определить наибольшее число видов птиц встреченных на маршруте." Точка.
С оценкой этой цели вполне справляется простейший критерий: общее число сфотографиро ванных и правильно определенных видов. Все остальное - это то самое "враг хорошего", от которого безболезненн о можно отказаться.
При определении балла за каждый вид, безусловно, надо учитывать встречаемост ь данного вида, у нас, кроме наших собственных данных, других (будем считать с точки зрения любителей) нет, по этому, система вполне пригодна для определения "цены" вида, в виде первоначальн ой экспертной оценки и последующей её коррекции по результатам соревнований . С другой стороны, я ничего страшного не вижу в том, чтобы вообще отказаться от первоначальн ой экспертной оценки, а также не учитывать краснокнижно сть, редкось и т.п., а основываться только на статистическ их данных наших соревнований , например - вид встреченный первый раз за всю историю соревнований - 10 (например), а дальше линейное снижение оценки, например, до 2-х, в зависимости от наших статистическ их данных, без учета времени года, места и т.п. При этом чек-лист должен содержать только те виды, которые уже встречались на соревнования х. Да, такая система не наукообразна , но зато спортивна, понятна и прозрачна.
Вернуться наверх
kom
чт окт. 03 2013, 06:49PM
kom
Присоединился: вт янв. 11 2011, 09:37AM

Посты: 39
На самом деле, мне эта система очень нравится.

Н о.

Есть несколько принципиальн ых моментов.

П ервое.
Систе ма трудна для восприятия и понимания многими участниками. А это значит, что имеется повышенный шанс для возникновени я (возможно, беспочвенных ) подозрений в ее необъективно сти или ошибочности.

Второе.
Си стема использует комбинацию критериальны х функций и их весовых коэффициенто в, подобранных с достаточной степенью произвольнос ти. По факту, это ничем не отличается от предыдущей системы, когда для каждой птицы "назначался" произвольный , хотя и "экспертный" балл. Говоря иными словами, спор о том, почему за эту птицу дают два балла, а за ту - три, просто переходит в другую плоскость: почему этот критерий имеет вес 0,5 а не 0,7, а вон тот - имеет вес 1, а не 0,9. Поскольку критериев много, такие споры можно вести вполне бесконечно.

Третье. И, пожалуй, самое главное.
Рез ультат (то есть, баллы, заработанные командой) в спортивном соревновании (коим, все-таки, считается бердинг- ралли) не может зависеть от результатов других участников. Анатолий не раз озвучивал эту мысль и, на мой взгляд, абсолютно прав. Представим себе футбольный матч: хорош он был бы, если бы число голов, забитых одной командой зависело бы от числа голов, забитых другой. А учитывая высказанное выше второе соображение, можно представить себе матч, в котором команда, проигрывая со счетом 0:1 и сравнивая счет, внезапно видит на табло результат 0,9:1. Ничего страшного, говорят арбитры, просто пока вы играли, изменился коэффициент.

Есть еще ряд моментов, связанных в основном, с недостаточно й репрезентати вностью выборок, используемых для подсчета, но на них сейчас не стоит останавливат ься, вышеприведен ные соображения важнее.

Под водя итог, можно сказать, что, несмотря на привлекатель ность и проработанно сть системы, она не может использовать ся для оценки результатов спортивного соревнования . Это не значит, что от нее надо отказываться . Для нее найдется масса применений. Например, для разработки индивидуальн ых рейтингов команд/ участников, качества мест соревнований , оценки долгосрочных трендов по встречаемост и птиц и т.д. и т.п.
Система же оценок в бердинг- ралли должна быть гораздо более простой.
Нап омню регламент. Основной целью участников считается " сфотографиро вать и определить наибольшее число видов птиц встреченных на маршруте." Точка.
С оценкой этой цели вполне справляется простейший критерий: общее число сфотографиро ванных и правильно определенных видов. Все остальное - это то самое "враг хорошего", от которого безболезненн о можно отказаться.
Вернуться наверх
Kelena
вт окт. 01 2013, 04:17PM
Kelena
Присоединился: пт февр. 01 2013, 11:35AM

Посты: 55
Лучше бы я этого не видела...Гал ыч все же был прав - лучшее враг хорошего.
Вернуться наверх
kom
вт окт. 01 2013, 01:39PM
kom
Присоединился: вт янв. 11 2011, 09:37AM

Посты: 39
Все, спасибо, понятно, мне этого достаточно.
То есть, в любом случае используется достаточно произвольный (хотя и широкий) набор критериев и статистическ их весов.
Вернуться наверх
Михаил
вт окт. 01 2013, 10:45AM
Михаил
Присоединился: пн мар. 26 2012, 07:31PM

Посты: 157
Принцип расчета прост и интуитивно понятен. Сложность состоит только в большом количестве вычислений, но мы их перекладываем на "могучие плечи компьютера". wink Вот, табличка критериев и коэффициентов:
Критерий
(Функция)
ОписаниеКоэффициент
(Баллы)
f0Встреча (фотофиксация) вида (1)1,00
f1Правильное определение вида (факт: 1 или 0)1,00
f2Встречаемость на прошлых соревнованиях (текуший сезон)0,50
f3Встречаемость на прошлых соревнованиях (все сезоны)0,75
f4Регулярность встречаемости на прошлых соревнованиях (текущий сезон)0,50
f5Регулярность встречаемости на прошлых соревнованиях (все сезоны)0,75
f6Встречаемость на текущих соревнованиях2,50
f7Красная Книга Региона (факт включения)0,25
f8Красная Книга Региона (функция категории статуса)0,50
f9Красная Книга России (факт включения)0,25
f10Красная Книга России (функция категории статуса)0,50
f11Первая встреча за историю соревнований, все сезоны (по факту: 1 или 0)0,15
f12Первая встреча за историю соревнований в текущем сезоне (по факту: 1 или 0)0,10
f13Резерв 10,00
f14Резерв 20,00
f15Определяемость на прошлых соревнованиях0,50
f16Определяемость на текущих соревнованиях0,75
Баллы расчтитываются как сумма произведений значений критериальных функций на соответствующие весовые коэффициенты. В качестве примера - табличка значений критериальных функций и расчитанный балл: (реальный результат из расчета 15 участников)
Баллы Вид f0 f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12 f13 f14 f15 f16
2,9722 Большая синица 1 1 0,192022792 0,231036864 0 0,181818182 0,214285714 0 0 0 0 0 0 0 0 0,061728395 0
7,0782 Орлан-белохвост 1 1 1 0,833333333 1 0,909090909 0,5 1 0,8 1 0,4 0 1 0 0 0 0,428571429
Вернуться наверх
kom
пн сент. 30 2013, 02:19PM
kom
Присоединился: вт янв. 11 2011, 09:37AM

Посты: 39
Скажите, а где я могу посмотреть техническую часть новой системы подсчета (формулы, примеры счета)?
Мы не присутствова ли на весеннем ралли, где, очевидно, рассказывало сь об этой системе, а в текущем регламенте осеннего ралли, это, к глубочайшему сожалению, никак не отражено.
Вернуться наверх
Иван Рекубратский
пт июн. 14 2013, 10:36AM
Иван Рекубратский
Присоединился: чт нояб. 30 2006, 07:21PM

Посты: 731
В результате тотальной перепроверки чек-листов выявлены ошибки в ранее опубликованных результатах четырёх команд:

Команда

"плюс"

"минус"

Мандаринки Большая поганка (4,55)
Жёлтая трясогузка (5,51)
Молния Mc Queen Канюк (3,79)
Чёрный коршун (5,84)
Неспортсмены Луговой конёк (1,00)
Пента-белки Обыкновенный гоголь (4,61)
Обыкновенный снегирь (1,00)
Речная крачка (5,54)
Соответствующие изменения были внесены в таблицы "Результаты команд", "Команды-виды", "Список видов". Изменено пт июн. 14 2013, 10:37AM
Вернуться наверх
None
пт июн. 07 2013, 11:47AM
None
Присоединился: ср февр. 02 2011, 11:26AM

Посты: 355
Да, еще, в таком сценарии жюри может работать практически синхронно с участниками, по мере поступления материала, если участникам рекомендоват ь отсылку фото по мере определения вида. Изменено пт июн. 07 2013, 11:55AM
Вернуться наверх

Перейти к:

Powered by e107 Forum System
© 2006-2026 НП «Птицы и Люди»