Компании Microsoft и SoftPoint объявили о том, что совместное использование решений Microsoft SQL Server 2012 и SoftPoint Data Cluster для платформы «1С:Предприятие» версии 8.X повышает производительность и отказоустойчивость базы данных и системы в целом. Это продемонстрировали результаты совместного тестирования, которое было проведено в Технологическом центре Microsoft в феврале-марте 2013 г.

Во время тестирования необходимый уровень информационного потока обеспечивался 125 конкурирующими сессиями пользователей «1С:Предприятие» (около 9000 запросов/секунду, 4000 операций), 250 конкурирующими сессиями (около 17000 запросов/секунду, 8000 операций) и 250 конкурирующими сессиями с повышенной нагрузкой (около 25000 запросов/секунду, 18700 операций).

Важным результатом тестирования стало подтверждение увеличения совокупной производительности информационной системы при добавлении дополнительных узлов в кластер серверов баз данных на платформе Microsoft SQL Server 2012. Реальный прирост производительности при добавлении одного или двух дополнительных узлов составил 90-95% и 180-185% соответственно. При этом было отмечено равномерное распределение нагрузки между физическими серверами/узлами кластера и линейное (пропорционально количеству добавляемых узлов в кластер) уменьшение времени выполнения большинства операций тестирования.

Графики:
http://www.microsoft.com/global/ru-ru/news/publishingimages/archive/2013/05/SoftPoint_14-05_Web.jpg

http://www.microsoft.com/ru-ru/news/archive/2013/05/Microsoft_and_SoftPoint_confirm_efficiency_of_their_product_collaboration.aspx

А как у Вас с базулькой? Не тормозит?

Заканчивается аудит от SoftPoint.
Ребята адекватные. Узнали много нового.
База не тормозит :)

Рабочая база на MS SQL.

(0) сколько будет загружать в базу номенклатуру 300 000 элементов. УТ11.
А также сколько будет загружать прайс с синхронизацией в 1С при 3 миллионах элементов в номенклатуре, при загрузке 20 прайсов по 100 тысяч строк.

Тестовые и разработка на PostgreSQL.

Билли рулит!

Типа использование Оракла или Дибиту производительность исключительно понижает :-(, а уж о Постгре и говорить не приходится...

(3) Маня, мир гораздо богаче, чем массовая загрузка прайсов.

(4) Вы рискуете получить неожиданные ошибки из-за этих различий.

А вообще был бы счастлив, если бы 1С сделала бы наконец работу с Постгре нормальной...

(7) Например?
Нагрузочного тестирования не делаем.
Функциональное работает корректно.
Были проблемы когда был SQL server 2005. На 2008 проблемы исчезли :)

Еще пару прорывных продуктов скоро выйдет. Первый - Шина данных для обмена в одной транзакции между гетерогенными структурами. Можно будет разные конфигурации между собой быстро и эффективно дружить, ну и соответсвенно внедрять.(Допустим CRM + УТ и т.п.) Второй - экспертная система которая будет сама собирать и оптимизировать запросы.После обучения,проверки будет предлагать вместо неоптимальных запросов оптимальные(включая индексы разумеется и не только).
Ну и плюс пару акций, например ускорение востановления последовательности на УПП, в 30-50 раз за счет параллельных вычислений(независимо от естественного уровня параллелизма данных).

(1) цена вопроса?

естественно, все всегда

(0) Ты в Софтпоинте работаешь?

ну и да, реклама согласована?

(11) определяется индивидуально после первичного бесплатного обследования

(15) у (1) какая цена вопроса, спрашиваю. Про конкретный случай (0).

Про конкретный случай (1).

(17) это информация не разглашается.

+ да и вопрос очень странный, чтобы сказать цену любого проекта требуетсЯ очень большие согласования всех сторон

(19) ну фиг знает, у веб студий вполне можно спросить, какой порядок цены за сайт, подобный вот такому, который вы делали для ххх (ссылка на портфолио)

(10) ответ на (3) будет?

(21) вопрос в (3) некорректен

+1

(21) да кому интересен твой прайс на 300 000 позиций?

(3) Зависит от оборудования.А также от алгоритма загрузки.

Кластер балансирует нагрузкой на чтение, а у вас "загрузка" - а это изменение

(13) Нет. Они дают рекламу на мисте.

(14) Это вообще-то IT-новость от Microsoft

(24) всем фирмам у которых такие прайсы. Например автозапчасти. сколько контор работает в автозапчастях???

или в 1с инвалиды работают, или софтпойнт звездоболит..."в 30-50 раз" - а че не в миллион, еще стесняемся?

(21) да причем тут даже прайсы. ВОзмем тривиальную задачу. Загрузка в новую базу остатков выгруженных ИЗ СКД. Соответственно в базе остатки по 300 000 товаров.

Обычный перебор создание номенклатуры - запись.
Никаких циклов и тп.

Просто идет

НовыйТовар = СпрНоменклатуры.СОздатьЭлемент();
НовыйТовар.траляляРеквизит = траляля
...
....
...
...
и тд
В конце
НовыйТовар.записать();

Или например просто проведение РегистрацияНоменклатураПоставщиков с 90000 строк.

(28) Это к вопросу о параллельных вычислениях. Можно поддобрать такое оборудование и так реализовать алгоритм что будет заливаться не более минуты. Больше будет уходить времени на заливку данных из внешнего источника. Да и то если он структурирован то при параллельной загрузке этот процесс можно очень ускорить.

Загрузка в новую базу остатков выгруженных ИЗ СКД. - выгруженных из другой базы.

PostgreSQL + Java ))

(30) как раз это в 10 раз ускорить можно запросто

(31) В случае с обработкой Мани основное время будет уходить на бесполезных циклы и условия.

(31) ну вот у меня сервер нулевой. Ноль пользователей. Пустая база.
12 ядер, 128 гиг оперативка, SSD диски. 64 сервер 2008.
Что то создается не пять минут а 4 часа.

(29) В миллион объективно не получится. Реальное количество ядер не более 64. Да и шпинделей в дисковых стойках ограниченное количество. Смысл в том что объективно в торговой системе уровень параллелизма не более 5-и. Но это ограничение можно обходить.

(36) используй BULK LOAD из файла средствами SQL Server и не сношай нам мозг

(35) Убираем все лишние условия.
Имеет чистую заполненную таблицу значений в 1С.
По ней 1 цикл в котором тупо идет запись новой номенклатуры.
Далее все это попадает в документ регистрации цен и проводится.

(39) Загружай сразу в регистр, документ не проводи. Отключи журнал регистрации и итоги по регистру. В документ это грузить вообще не надо

(28) Есть такие сумасшедшие, что работают с автозапчастями на УТ???)

(40) это как. в УТ - регистр привязан к регистратору. и никак иначе.

(39) Используй светлую сторону силы:) Короче разбей на секции товар и запускай то же самое что в (30) только в фоновых задачах. Т.е. у тебя будет идти параллельно создание 10- и справочников. В зависимости от оборудования может быть эффект до 10-и раз. Ну , конечно могут блокировки возникнуть , но их можно обойти.

(42) Мальчик, ты про наборы записей слышал?

(41) у торгашей компьютерной техникой тоже номенклатура исчисляется сотнями тысяч.

(44) конечно слышал. Однако ставим сразу жесткое условие - все что мы делаем выполняется согласно типовой.

(44) :))) Более того он даже про КД не слышал и про то как работает обмен, и про то что в 8.х записи в регистры "не связаны" с регистраторами.

(45) По существу (43) , есть чего ответить?

(46) Со своими жёсткими условиями ты сам себе злобный буратино

(45) ну я так понял что короче ваше решение в таких случаях не помогает ускорить 1С.

(50) к (48). а жаль. а то может рекомендовал бы всем.

(46) Сделай хотя бы 10 фоновых заданий, выполняющихся параллельно. Ускорение будет сразу раза в 2-3.

А когда есть параллельность, тут как раз на помощь приходит решение от SoftPoint.

Наверняка, в твоей "недоработке" на Инфостарте параллельность вообще не предусмотрена. Я прав?

(51) Ах, как жаль, что Маня опять не стал человеком, а остался злобным ростовским одинэсником, только и умеющим, что последовательно грузить стотысячные прайсы через задницу.

(52) 2-3 это мало. не оправдывает затрат.

(50) У нас много решений. Конкретно это не может и конкретно в этом случае. В этом случае решение лежит на поверхности. Как то даже разжевывать лень. Человекодень программиста и твое решение станет параллельным!:)

затрат на разработку и соответственно дальнейшее сопровождение. тук придется фоновые лепить в конфу. делать изменения конф и так далее.

(55) решили уходить от 1С и делать все во внешнюю базу MySQL
База с 30 миллионами записей летает со скоростью звука.

(53) я предлагал Eugeneer при четких критериях (ускорение в х раз на тестовых данных на тестовом сервере) помочь, но нет.

Винда рулит,
если кто не видел.
https://www.youtube.com/watch?feature=player_embedded&v=QG-ORLkMiyY

(54) В зависимости от реализации(фоновые задачи можно по разному сделать) а также от оборудования ускорение может быть приближено к количеству потоков.
(56) Ну извините. Потому кстати в 1С и не пишут, не потому что не могут. Просто это сложнее сопровождать.

(58) несколько раз ниочем. даже 10 раз ниочем. Данных еще больше а поставщиков больше 100.
И все это ежеминутно используется так как заказов 2000 в день.
ЦЕны с прайсов должны грузится моментально.
10 раз = фигня. надо в 10 000 раз.

Обмен и получение заказов с сайта каждые 13 минут. каждые час запускается робот формирования заказов поставщикам которые по всем заказам клиентов анализирует прайсы и автоматически полностью формирует заказы.

(60) >> фоновые задачи можно по разному сделать
В чём различие?

(61)Это как в анекдоте про мужика на приеме у уролога. Жалуемся или хвастаемся?

(63) В реализации. Можно данные не равномерно распределить, можно потоками плохо менеджерить и т.п.

(61) 3 часа (условно 10000 секунд) в 10000 раз - это одна секунда....

(61) А ты в курсе что в MYSQL те же самы принципы работают?

(66)+ возможно, только если исходный вариант совсем уж через жопу написан. Я думаю, тут не совсем тот случай, хотя чисто алгоримически (без параллельности) несколько раз, судя по предыдущим темам, можно получить тоже

(66) По моему таких потоков даже в сбербанке нет:)

(62) обмен только изменившейся информацией организовать слабо?

(61) всего понемноггу.

на всякий случай тут тоже положу v8: Многопоточный тест производительности 1с

(70) Суровые ростовские одинэснеги игнорируют очевидные топорные решения. Им далеко до тонкого тюнинга от Софтпоинта.

(61) Судя по постановке задачи структурно что то не то. Я не по наслышке знаком с бизнесом по продаже автозапчастей. Не бывает объективно в бизнесе таких объемов изменений.

(73) Они работают для многопользовательских сред, тогда как весь мир стремится в автоматизации и сокращению пользователей.
Теже самые интернет магазины - сейчас стремительно растут и открываются с каждым днем.
Весь бизнес автозапчастей уже давно в интернете.
Манагеры в офисе только нужны для звонков и общения по вопросам.
Все же торговые процессы по цепочке - заказ -заказ - готов отгрузке - автоматические.

(74) emex.ru, http://www.exist.ru/

(76) прочитай (74) внимательно

(77) значит он не знаком. или знаком с ларьками.

(76)Ну я вообще то изначально хотел сказать что даже у екзиста нет таких объемов. Сам посчитай количество изменившихся сущностей? Зачем такой объем изменений в БД? Это все равно что(гротеск но тем не менее) для справочника в 10-ть тысячь позиций, с 10-ю вариантами скидки и 10-тью вариантами бонусов создавать каждый день миллион новых позиций.

(75) Ты хочешь сказать что обслуживаешь екзист?!

(79) Это типичный ростовский клиент Мани. Когда Маня приедет в Питер, будет типичный питерский клиент.

+(80) И что они работают на 1С?!

(82) на УТ11, не?

(3) Ну, во-первых 1Ска не предназначена для таких объемов. 1С как была программой учета, так ей и осталась. Если тебе нужны большие объемы - от 1Ски нужно уходить.

Во-вторых, кому нужен справочник номенклатуры с 3мя миллионами элементов? Кто с ним будет работать?

Ну и по сабжу: Софтпоинт - красавцы!

(30) ты мне напоминаешь колхозника стоптанных кирзачах, обильно умащенных навозом и драной фуфайке, который впервые в жизни протрезвел и нечаянно увидел мерседес: "Бесполезная приблуда: вожжи отсутствуют - как на нем ездить?"

От оно че, МуМу специализируется на лорьках, а клоун ростовский мега конторы афтаматизирует.
Аффигеть.

Только что то про клоуна то не кто и не знает, кроме самого клоуна.

(87) чо это ни кто? вся миста копит лулзы и с нетерпением жден новых высе... выступлений

(88) ага, обычно вечером когда скучно почлушать выступления клоуна про миллиарды и триллионы записе.
И при этом сейчас овноподелки грузят уй знает по скольку времени, и ускарение в 10 рас это авно.
Ну грузит счас поделка 10 часов ну и пусть (а веть с ускарением будет всего 1 час, но это не серьезно)
воопщем клоун

(11) Так скажем, для результатов и качества работы адекватная цена.
Серьезный подход. Серьезные отчеты. Серьезная организация работ (есть с чем сравнивать, намного лучше большинства крупных интеграторов).

Лдано. я не в тему видимо влез. Просто о наболевшем. Думал какие то ускорения будут и по работе с записями в базу.

Рад за Софтпоинт!

(91) Тебе уже накидали с десяток решений, как ускорить твою несчастную загрузку, а тебе всё мало.

(81) Нах, нах... Своих альтернативно-одаренных хватает..

(93) Он просто не придумал еще какую-нибудь мегазадачу-убийцу 1С. Ждем-с...

(93) я с таким же успехом могу накидать сотню решений - типа купите десяток серваков брендовых по 700 штук, кластеры, SQL, агрегаты и прочее. Тоже летать будет на 150 юзерах.

У меня вообще мелкий бизнес)) вернее клиенты.
КРупный только там где я веду проект, но мы тут не грузим в 1С прайсы)

(1) Что такого нового узнали ребята из Софтпоинта?

(95) Ладно, проехали.

У меня вопрос к Софтпоинту. Когда к вам стоит обращаться? Когда кластеризация сервера СУБД и сервера 1С уже не помогает или можно раньше? Т.е. лучше кластеризовать что-то из штатных звеньев трёхзвенки или лучше ввести четвёртое звено из вашего кластера?

Тьху ты пакость. Прочитал как Микрософт и Шарепоинт. И пытался вьехать при чем здесь 1С с их играми

(99) Завязывай с веществами.

Сто, кстати

1.5 года назад прибегали к софтпоинту, сейчас сами;

(101) Вот! Именно в этом и их огромный плюс.
Они кроме всего еще и обучают.
Вообще очень серьезно подумываем брать у них в аренду их ПО по мониторингу на критические периоды.
Ну и на аудит другой системы обязательно позовем.

(98)
К нам стоит обращаться в разных ситуациях,
даже если ничего не беспокоит в текущий момент, но
чувствуете что система развивается и скоро можете столкнуться
с проблемами производительности и качества работы системы.
Обычно это процедура бесплатная и мы в зависимости от конкретной ситуации
предлагаем множество решений (все можно посмотреть на сайте), одно из них кластер SDC.

Раньше (до 2012 MS SQL) и возможностей кластеризовать сервер БД не было, только обеспечить отказоустойчивость.
Рассказать все боюсь форума не хватит (мы просто осенью скорее всего запланируем мероприятие бесплатное, где все желающие
могут познакомиться в нашими новыми решениями), но общий план внедрения SDC следующий:

1. Выбор архитектуры внедрения (зависит от требований со стороны заказчика) - это как раз к вопросу ввести четвертое звено, или разместить кластер на сервере приложения 1С...

2. Расчет эффекта балансировки (прогнозирование уровня увеличения производительности)

3. Внедрение в рабочую систему SDC

4. Регламентное обслуживание и периодический анализ эффективности (позволяет настраивать кластер под новый информационный поток)

Предполагается, что после второго этапа у вас есть достоверная информация на сколько увеличиться производительность для конкретно вашей системы.

5. Не тормозит.

(0) Стоимость системы с SoftPoint Data Cluster и без него, стоимость оборудования, на котором производились тесты и пр. Где это? Что мне показывать финансовому?:)

(105) из (103) - на первом этапе "Выбор архитектуры внедрения (зависит от требований со стороны заказчика) - это как раз к вопросу ввести четвертое звено, или разместить кластер на сервере приложения 1С" - получаем ваши будущие аппаратные и программные ресурсы и их стоимость.
На втором: "Расчет эффекта балансировки (прогнозирование уровня увеличения производительности) " - четко показывается эффект увеличения производительности по вашему текущему трафику (специальным ПО) - тем самым вы получаете информацию для принятия взвешенного решения.

Информацию, на котором проводились тесты, можно получить на первой встречи и она не так важна для вашего оборудования, так как важен сам принцип (эффект будет на любом оборудовании).

Например, у вас есть 3 сервера по 16 ядер стоимостью 200000 рублей, их совокупная производительность может достигать производительности 48 ядерного сервера совсем другой стоимости.

Простите если не в тему.
СофтПоинт - дословно мягкая точка? Почему выбрано такое название?

(108) Фирма занимается производительностью, обычно во всех информационных системах есть узкие места (точки в системе для оптимизации). + название простое и было не занято))

(9) сортировки по умолчанию разные

(84) "1Ска не предназначена для таких объемов" - опа. А мужики-то и не знают...

(0) это те самые, что баннер не могут запилить?

Му-му, а что можешь сказать по вопросу нормализации таблиц в 1с? Вот была ветка, ты решил там ничего не писать. почему? v8: v8: Нормализация таблиц в 1С смотри сообщение №3 ветки

(113) Во первых много текста а во вторых - ни о чем. Это все философия а точнее софистика. Мне интересно практическое применение а рассуждать почему в 1С так, или не так - не интересно. 1С заняла большую долю рынка, и пока большая часть потока клиентов связаны с 1С. Поэтому я ее люблю не смотря на все недостатки. Получится выйти на запад и ориентироваться на другие системы - буду любить их больше. Последнее дело какая  нормализация и какие недостатки.

(114) Не трать время. Я его там полностью опроверг в (153) сообщении
v8: v8: Нормализация таблиц в 1С

(114) ну оно и понятно, для твоего бизнеса выгодно чтобы 1С медленно работала и чтобы доля рынка была большая
Но нормализация это важнейшая вещь, причем практическая, без нее строить реляционные БД вряд ли возможно
Получается у тебя цель деньги, а не оптимизация

(114) Две страницы текста это много? :) Придумай другую отмазку

(116) Если 1С будет работать слишком медленно, то его доля рынка тоже уменьшится. Ему выгодно, когда 1С работает с приемлемой скоростью для большинства приложений, но когда возникают затыки из-за большой нагрузки 1С бы тормозила. Вот это и есть его доля рынка.

Кстати, да. У МуМу цель деньги, как у любого бизнеса. А деньги он получает за оптимизацию (предоставляет благо другим людям-бизнесменам, у которых цель тоже деньги и они упёрлись в недостаточную производительность 1С при высокой нагрузке). Как запутан этот мир...

А чего запутанного? Умышленно создаются проблемы. На этом рубят бабки.

(120) Умышленно создают блага как могут. На этом рубят бабки.

(120) по твоей логике болезни создают врачи, чтобы их лечить:-)

(122) Это уже твоя трактовка. Тем не менее вирусы (компьютерные) отчасти создаются и для зарабатывания денег.

Точнее не так - болезни специально делают пациенты, чтобы врачи зарабатывали деньги. Нет чтобы вести здоровый образ жизни

(122) Врачи создают антибиотики, которые устраивают естественный отбор среди бактерий. В итоге выживают самые злобные бактерии.

Кстати на сегодняшний день(сегодня в утренних новостях смотрел) Билл Гейтс опять самый богатый на планете. Акции Microsoft поднялись на 30%. Уж не знаю совпадение это или нет:)

http://www.cnews.ru/top/2013/05/17/bill_geyts_stal_samym_bogatym_chelovekom_v_mire_529038