Кому интересно: выпущена версия 2.0.001.

Тест создает множество фоновых сеансов и выполняет ими одинаковые действия, например создание элементов справочников или запись наборов записей регистров. Он позволяет оценить, насколько "производительна" данная связка 1с - субд, а также насколько она "масштабируема", т.е. количество активных пользователей, при котором система еще будет работать, но "низенько-низенько".

Эмпирическим путем получено число в 400-500 попугаев на поток (не учитывая временные таблицы), при котором работа терпима. Благодаря механизму "глобального обмена"  можно повторить тест с чьии-то настройками и сравнить результаты.

Полный тест выполняется от получаса до часа на стандартных настройках, примерно в 2 раза меньше на "быстрых" и в 2 раза дольше на "точных". Естественно, проводить не все тесты, то время пропорционально уменьшится.

почитать историю версий и скачать можно на http://infostart.ru/public/173394/ (пока на модерации), просто скачать можно на http://fragster.ru/perfomanceTest/

Раньше тест работал веселее. В процессе работы отображал результаты. Сейчас просто ушел в себя и всё.

(29) да, это из-за того, что я готовлюсь к тому, чтобы на файловой можно было бы запускать и мерить... уже понял ошибочность решения, в будущем поправлю, чтобы в клиент-серверной оставалось также, как было в версии 1.
В файловой, к сожалению, замерзать будет в любом случае.

{Справочник.Тесты.Форма.ФормаЭлемента.Форма(19)}: Поле объекта не обнаружено (ПрофилиРезультатов)
               Стр = Объект.ПрофилиРезультатов.Добавить();


Это зачем? 2.0.002

(31) ой :)

обновил до 2.0.003 с исправлением - это я снял галочку "использовать всегда" с таблицы "профиль результатов". Эта таблица показывает распределение по времени ОДНОЙ операции, может показать "выбросы", например

(31) ну что, как там?

(34) http://i.imgur.com/6wa59E5.png

(34) автообновления конфиги как в типовых когда ждать?

(36) pfgbcfk d dbikbcn

записал в вишлист

обновил до 2.0.004 (на сайте, на ИС - на модерации). Исправлена ошибка работы на платформе 8.2.14

На файловой работает? У меня ругается, что "менеджер заданий не активен"

(40) файловая к версии 2.1 будет. но вряд ли оно будет работать в 112 потоков

(41) А зачем тогда стоит выбор файлового варианта? :-)

(42) просто все варианты :)

А так - никто не мешает тебе на файловой скачать результаты с сайта.

(43) А зачем мне чужие результаты?

(44) посмотреть на размер чужих писек, например, если задумываешь апгрейд или выбираешь, какой сервер СУБД использовать, или там, ставить на 1 комп сервер 1с и СУБД или нет.
К сожалению, пока результатов не много, а на ДБ2 - так вообще ни одного отчета нету :(

интересные результаты в комментах на ИС: http://forum.infostart.ru/forum24/topic79742/message894718/?result=reply#message894718

До 9го мая будут на дб2

(47) будет здорово, если на той же машине еще тест на постгре/мсскуле сделаешь

нет, не сделаю... нет там ни того ни другого

(49) жалко. ну хоть на кривую посмотрим.

УПП 60 fps дает?

(51) тестить УПП и прочие конкретные конфы надо с помощью тестцентра. данный тест предназначен именно для тестов железа/субд/сервера 1с.

Переделал обмен - теперь сайт выплевывает по 10 результатов, надо нажимать на кнопку обмена несколько раз, пока не перестанут приходить новые результаты (поступили сообщения о том, что обмен не работает, видимо, при формировании XML упирался в лимит памяти).

Версия 2.0.005

Обработка "Обмен результатами" теперь получает все результаты в цикле (в связи с ограничением хостинга недавно пришлось ввести "порционный обмен" результатами, в более ранних версиях приходилось несколько раз нажимать кнопку обмена)

Добавлен отчет "сравнение результатов", колонки - тесты, строки - результаты. Предложения по работе доработке этого и других отчетов приветствуются.

Форма списка справочника тестов, теперь она же является формой выбора/подбора.

Разрешен множественный выбор в форме списка - можно быстро сформировать отчет сравнения, выделив несколько строчек и выбрав его в меню "сформировать на основании"

Обработка "проверка синхронизации" заменена соответствующим отчетом (ради показа графика с распределением времени прихода сигнала синхронизации к потокам теста)

Во все отчеты по тестам добавлен быстрый отбор по видам тестов (по кнопке "настройки").

Сообщения от потоков теперь приходят через регистр сведений (подготовка к реализации файлового варианта теста).

Потоки теперь стартуют порциями с паузами между ними (вроде как должно повысить стабильность).

Проведена чистка кода, удалены неиспользуемые функции.

Немного причесан интерфейс, теперь все окна открываются единообразно.

почему rmngr столько жрет? http://wstaw.org/m/2013/05/14/снимок3.png

по поводу (55) есть мысли?

Версия 2.0.006

Очистка результатов после выполнения тестов теперь также проходит многопоточно, это значительно снизило паузы при проведении тестирования.

Также при очистке данных регистров накопления и сведений теперь выключаются итоги.

Традиционно, на ИСе на модерации, на http://fragster.ru/perfomanceTest/ - обновил

(57) лучший тест 100 набивальщиц расходных накладных.

(58) никогда не ставил 1ску в магазине на 20 касс?

нет, мене достаточно 20 манагеров на производстве

к слову никогда не делал базу ЖКХ на 20 тыр клиентов, на п1 64 мб ?

а расчет зп на 7 тыр на ес ?

(61)(62) все возможно, дело в реализуемых алгоритмах. Например для ЗП - если убрать всякое рекурсивное вытеснение и т.п., то летать вполне будет на сколь угодном количестве данных.

(63) была практика ?

(64) на 7.7 мини ЗП на оборотных РН было, правда давно

Сейчас в тесте из (0) используется синхронизация старта вычислений в потоках через установки управляемой блокировки на константу - такой способ показал лучший результат по сравнению с "примерной паузой на время запуска" - 112 потоков на одном сервере синхронизируются за 300-400мс (для ненагруженного сервера).

Однако проводя исследования масштабируемости кластера 1с выяснилось, что данный способ неудовлетворителен при использовании нескольких физических серверов 1с, объединенных в 1 кластер:
для 16 потоков 1 сервер 1с показывает синхронизацию за 30-50мс, 2 сервера 1с в кластере, соединенные гигабитом 250-300мс,
для 64 потоков: ~200мс и 8 секунд (это максимальное время, среднее 180мс и 1 секунда)
для 128 потоков: 400мс и 15 секунд соответственно.

при этом "одинокий" сервер слабее любого из 2-х в "двойном" кластере.

Вопрос знатокам - каким образом обеспечить приемлемую синхронизацию старта вычислений в разных потоках в кластере из нескольких физических серверов 1с? ведь чем больше разброс старта - тем меньше потоки работают одновременно и менее показателен тест.

Будет ли приемлемо использование внешнего "синхронизатора" (который потребует установки доп. софта), будете ли вы пользоваться тестом в таком случае?

Релиз ядра Linux 3.10
http://www.opennet.ru/opennews/art.shtml?num=37315

Главным образом это интересно из-за такого изменения:

В ядро интегрированы наработки ветки 'ipc-scalability', в которой проведена работа по чистке и увеличению масштабируемости реализации SysV IPC. В частности, переработана система организации блокировок. Если ранее поддерживалась установка одной ipc-блокировки на массив семафоров, то теперь блокировки более гранулированы и могут быть установленных для отдельных семафоров. В итоге, некоторые тесты производительности показывают прирост производительности при работе с семафорами до 10 раз. Прирост производительности в тесте Pgbench составил 100%;

Внесены оптимизации в код семафоров чтения и записи (rwsem), что позволило заметно повысить производительности для некоторых типов нагрузки. Например, прирост производительности в тесте Pgbench составил 100%;


У кого на линупсе/постгре крутится - по идее в многопользовательском режиме должно лучше стать. Буду благодарен, если кто-нибудь проверит, есть ли изменения.

фу спамер

(68) это цитата из анонса

(66) Если действительно интересно, пиши в личку. Готов поделится информацией.

Господа, можно ли провести аналогию данного теста с функциональностью Тест-центра 2.03?
http://v8.1c.ru/expert/tc/tc_overview.htm

Интересует:
1. Можно ли тестировать производительность конкретного параметра ПК, например дисковую подсистему (насколько быстро создаются индексы в базе MS SQL при вставке и сохранении новых значений)?
2. Существует ли возможность детектить дохлые блокировки (dead locks), как в Тест-центре?
3. Существует ли возможность модернизации теста за счёт запуска заранее сохранённого сценария (например, через SQL Profiler)?

(72) тест центр предназначен для тестирования конкретных конфигураций путем эмуляции работы пользователей. с одной стороны - это хорошо, так как результаты получаются более приближенными к "реальности", но с другой стороны - он требует исследования характера нагрузки и правильной скурпулезной настройки - подготовки данных, очистки за собой и т.п.

конфигурация из (0) - это синтетический тест, который показывает потенциальную производительность и масштабируемость системы, т.е. просто

это немного другой инструмент, он ближе к тесту TPC от Гилева, но он многопоточный :).

Если этот тест показывает при 16 потоках 1000 баллов на поток, а тестцентр, прикрученный к работающей конфигурации - показывает дедлоки и кучу ошибок, или при реальной работе десятка пользователей возникают эти самые дедлоки и ошибки - то тут становится понятно что сама конфигурация написана очень неоптимально и есть, что менять и куда расти.

ну а дедлоки при работе теста возникнуть вроде как не могут (по крайней мере на практике ни одного раза не возникли).

(73)

Спасибо. Очень подробно описали. Постараюсь использовать в работе.

(67)>>У кого на линупсе/постгре крутится - по идее в многопользовательском режиме должно лучше стать. Буду благодарен, если кто-нибудь проверит, есть ли изменения.

Проверил, не стало, ни на твоем тесте, ни на тесте Вячеслава(Гилева). Результаты один в один на разных ядрах. Правда, проверялось на обычном десктопе, не самом свежем к тому же. СУБД+сервер приложений+клиент платформы 8.3.3.658. Ядра 3.8.13 и 3.10.0 память 8 ГБ, процессор i3-2130 3.4 GHz. Так что ускорение откладывается, для 1С, по крайней мере.
Надо будет еще бухгалтерию погонять, может перепроведение какое-нибудь побыстрее будет...

(75) если есть UPS - можно в fstab прописать barrier=0 для раздела с базой - должно помочь при большой нагрузке

в качестве апа и чтобы ветка не протухла - теперь я считаю, кто у меня скачал конфигурацию...

Версия 2.0.007

В результатах тестов убрана колонка "номер потока", теперь результаты хранятся только в разрезе количества потоков теста. Это в десятки раз сократило количество строк в ТЧ Результаты и Профиль Результата, так что теперь собственные тесты открываются с такой же скоростью, как и тесты, полученные из интернета (ранее была задержка в несколько секунд, в результатах интернета для сокращения трафика изначально информация о номере потока была опущена изначально). Также немного ускорилось формирование отчетов.

Исправлены ошибки при запуске в режиме "Толстый клиент управляемое приложение". При запуске в этом режиме интернет на сервере не обязателен для обмена.

Если вы делаете обновление, то теперь возможно обновление только с версии >= 2.001 (при попытке обновления версии 1.х.ххх будет ошибка). Возможно позже сделаю поставку, чтобы корректно это контролировать.

хотя про интернет я не уверен, админы у нас оказывается разрешили инет на серверах...

(79)Не думал о том чтобы прикрутить сбор минимальных данных о системе?
Ось, разрядность, процессор, диск?
Для наглядности сравнения?

(80) минимальные данные сервера 1с - снимаются

        Инфо = Новый СистемнаяИнформация();
        Объект.ВерсияКонфигурации = Метаданные.Версия;
        Объект.ВерсияПлатформы = Инфо.ВерсияПриложения;
        
        Если Объект.Сервера.Количество() = 0 Тогда
            Стр = Объект.Сервера.Добавить();
            Стр.Сервер1с = Истина;
            Стр.Описание = "1с " + Инфо.ВерсияПриложения + " / " + Инфо.Процессор + " / " + Формат(Инфо.ОперативнаяПамять / 1024, "ЧДЦ=2") + " ГБ / " + Инфо.ТипПлатформы + " (" + Инфо.ВерсияОС + ")";
        КонецЕсли;

как получить данные сервера СУБД - оно хз

perfomanceTest_2.0.007

{ОбщийМодуль.ОбновлениеКонфигурации.Модуль(110)}: Ошибка при вызове метода контекста (Выполнить)
    Результат = Запрос.Выполнить();
по причине:
{(7, 21)}: Поле не найдено "Тесты.Результаты._УдалитьТест"
И Тесты.Результаты.<<?>>_УдалитьТест <> ""

(83) мля, счас поправлю

поправил, перегрузите .cf-ку

Версия 2.0.008

Теперь при запуске в режиме "Толстый клиент управляемое приложение" обработка обмена работает целиком на клиенте, и в таком случае точно не нужен интернет на сервере.

проверил :)

Отчет по тесту (все значения - "по умолчанию") - кнопка "Сформировать":

Ошибка при исполнении запроса набора данных
по причине:
{(12, 29)}: Не задано значение параметра "Ссылка"
И ТестыРезультаты.Ссылка = <<?>>&Ссылка

После показа панели ошибки и нажатия кнопки "Завершить" - аварийный выход из программы. Платформа 8.2.18.104, толстый клиент.

Мелкие придирки :)

"Баланс точность/время:" - наименования значений, имхо, лучше будет если типа "низкая/быстро", "оптимальный", "высокая/долго"

"Размер создаваемых объектов" - "минимальный", "средний","большой"...

(88)  отчет по тесту - он по тесту :) установи значение параметра или запускай его из формы списка/элеамента тестов

а вот почему аварийный выход - непонятно

(89) Настройка теста - Выбор значения "Ссылка" - невозможен. Панель - есть, список - заполнен, кнопка "Выбрать" - выход, значение не выбирается (не заполняется в настройке)

(91) опа, и правда... кажется я там что-то с множественным выбором накосячил. сегодня ждите 2.0.009 а пока пользуйтесь кнопками в меню "создать на основании"

(91) + Из списка тестов, по кнопке "создать на основании" - все пункты подменю работают корректно.

"Выполнить тест"
После сообщения - "Старт теста Регистры бухгалтерии в 4 потоков" ошибка:

{ОбщийМодуль.Тестирование.Модуль(140)}: Ошибка при вызове метода контекста (ОжидатьЗавершения)
    ФоновыеЗадания.ОжидатьЗавершения(МассивЗаданий);
по причине:
Выполнение одного или нескольких заданий завершилось с ошибкой

Продолжаю третировать тест (и автора) :)

Не совсем понятная ситуация:

Действие "Записать и выйти" при сохранении нового теста с галочкой "Сервер1С" и без галочки "Сервер СУБД":
Предупреждение "Пожалуйста, заполните информацию о серверах".

Вообще-то тестируется только один сервер.

Ну ок, жму кнопку "Согласен" - действие "Записать и закрыть" отменено... и с чем я был только что "согласен"? И что должно было быть далее и что мне с этим делать? :)

(95) поставить галочку "сервер СУБД", если это один сервер с сервером 1с или добавить строку и в ней уже прописать параметры сервера СУБД

но, конечно, конструктивная критика всегда полезна

Когда запускаешь тест в рабочеевремя (во время работы серверов с пользователями), очень часто тестирование генерит сообщение "Не получилось синхронизировать потоки за 30 секунд!" (общий модуль Тестирование, стр.54)
Также очень часто возникает ошибка (написанная тоже с ошибкой:) - "Деление на 0ОбщийМодуль.Тестирование.Модуль599"

(98) Такое может возникать, когда запущено много рабочих процессов, даже когда тест выполняется в 2-4 потока. А один рабочий процесс больше 48-и потоков не тянет(у меня, по крайней мере), сервер приложений наглухо подвисает(при одном пользователе). Пробовал с 4-мя рабочими процессами на 16 ядер без HT, остановился на 2-х,  так синхронизация проходит. Для работы, конечно, хватает и одного рабочего процесса.

Можно мне сотку? - Можно.

Версия 2.0.009

Изменен способ старта фоновых заданий, теперь менее вероятна ошибка "Не получилось синхронизировать потоки за ХХ секунд!"

Исправлены ошибки невозможности выбора параметра в отчетах "Отчет по тесту" и "Профиль результата"

Изменены варианты ответов на запрос заполнения информации о серверах на более понятные.

(98) деление на ноль потому что падал тест справочников. как обойти пока не придумал :(

в чем прикол?
Версия  2.0.009
при первом запуске не создает узел обмена. Причина:

Если ПланыОбмена.ОбменРезультатами.НайтиПоКоду("www") <> Неопределено Тогда Возврат; КонецЕсли;

Метод НайтиПоКоду возвращает не НЕОПРЕДЕЛНО а пустую ссылку и дальше вываливается из процедуры так и не создав узел. Как бы косяк?

ни дня без косяка :)
поправил на ЗначениеЗаполнено

2.0.010

ansh15 выйди на связь (email), пожалуйста

(105) Вышел. почту посмотри.

(0)К сожалению тест сломался: http://smages.com/?v=rirrir.jpg

(107) на партнерском рекомендуют обновить платформу, а связано это, как ни странно, с управляемыми формами. Если это веб/тонкий клиент, то можно попробовать в толстом.

а также, если доступ тонкий через http - попробовать напрямую к серверу 1с

(109)Так а платформа самая последняя, клиент толстый. Подключал базу на локальной машине к серверу 1С (127.0.0.1)? Т.е. MS SQL и 1С на одно машине стоят, там и запускал тест. Попробую еще поэкспериментировать.

(110) а на скольких потоках падает?

(111) А где увидеть? А, ну так на одном вроде...в окне сообщений видно.

(112) в окне сообщений видно, что в 4 потока все тесты проходят и есть полоса прокрутки, которая дает надежду, что падает в районе 64 или около того потоков.

а само по себе падение стабильное?

(14)>>А в чем смысл?
А смысл в том, что 1сники сделали себе всевдо-СУБД, псевдо-RAD, вот теперь очередь псевдо-тестов, где псевдо-показатели производительнеости рисуют красивые псевдо-графики для оболванивания "как-бы директоров".

(113)>>а само по себе падение стабильное?
о, да, что если и есть незыблемо-стабильное в 1С - это падения :)

(0)" 400-500 попугаев на поток " это сферический конь в вакууме, есть мнение пользователей и есть мнение специалиста о затратах на оборудование и на оплату труда для улучшения ситуации. продолжим: тест показал 550 попугаев а заказчик кричит что всё всегда тормозит и иногда висит. твои действия? естественно предполагается ответ с использованием результатов тестов этой вашей приблуды.

(114)толсто )))

(116) если приблуда показывает приемлемый результат, а документы проводятся субъективно долго - то следует рассмотреть вопрос об аудите:
регламента обслуживания рабочих баз
исходного кода, его тормозящих мест, причин торможения

к вопросу v8: PgSQL быстрее, чем MSSSQL
"Тест на PG только останавливается на 4 потоке." - так не должно быть, ключ на сервер установлен?

к вопросу "в каком виде дать данные" -
есть отчет "отчет по тесту" и отчет "профиль выполнения". Вызвать их можно либо из меню слева, либо через меню "создать на основании" в списке результатов тестов.

Также в меню есть обработка "обмен результатами" позволяет выгрузить свои результаты на сайт и загрузить чужие результаты себе.

Для сводной оценки достаточно таблицы данных "отчета по тесту".

(118) Или дело не в коде :)

(119)
MS - http://yadi.sk/d/pawqhVNC88Ilw
PG - http://yadi.sk/d/vhO0BWb388Isy

(121) во первых - мсскуль в 2 раза быстрее, а во вторых - виртуалка, видимо, не очень подходит - видно, что очень быстро проседает, на таком сервере не должно быть такого. Ну и то, что на большом количестве потоков результат растет - говорит о том, что синхронизация потоков плохо отрабатывает (они все работают по 10 секунд, просто при плохой синхронизации некоторые стартуют раньше-позже основной массы и работают в одиночестве).

опять же - отмечу себе - Гилев PG ~ 13, MSSQL ~ 24. коррелирует с результатами по временным таблицам сабжа

(123) т.е. нужно смотреть план запроса и копать именно в эту сторону?

(24) это я для себя отметил, надо будет на досуге поковырять, почему по справочникам и регистрам нет разницы (ну, почти), а по временным таблицам - есть и соотношение похоже на соотношение TPC_A

Протестил наш новый сервер 1С.

1378 попугаев на 4 потоках
1334 попугаев на 8 потоках
939 попугаев на 16 потоках

Это я так понимаю отличная производительность?

(126) вы протестили свои потоки. Т.е. сколько попугаев дадут то или иное количество потоков.
Теперь вы знаете, сколько попугаев получаете, и что чем больше потоков - тем меньше попугаев они выдают.
И можете со знанием дела рассуждать о влиянии количества потоков на количество попугаев, рекомендовать тесты и советовать, как и что лучше запустить, чтобы попугаев было больше.
Но к производительности 1С это не имеет ровным счетом никакого отношения - 1С не работает на попугаях.

(127) :D