четверг, 17 января 2013 г.

Второе сравнение.

Ещё до нового года я анонсировал второе сравнение систем мобильной торговли, на этот раз путём жребия был выбран Агент + 2.0 ,далее по уже стандартной схеме была загружена с сайта разработчика демонстрационная версия и начали мы сравнение с уже знакомых 2х критериев. Это: время загрузки приложения и время необходимое для загрузки приложения и создания заказа из 10 позиций из разных директорий.
Сказать по правде, я переживал, что сравнение может получиться не интересным и смазанным, мне казалось, что приложение официально представленное 12 апреля 2011 года (почти 2 года уже) должно быть по скорости и удобству работы близко к нашему, несколько релизов только способствовали этому пониманию. Моя коллега Анна, помогавшая в записи ролика, пробежалась по функционалу, освоила базовые задачи по созданию заказа и мы начали съёмку сравнения. Никакой тренировки, только экспромт, мы так всегда делаем.
В первом дубле, когда была задача максимально быстро выполнять действия - случился конфуз. Вот отрывок первого дубля сравнения.

Случилась лёгкая истерика, приложение нас тролило! Ну да ладно.
Уже после, экспериментальным путём мы выяснили, что быстрые нажатия в поле количества подвешивают приложение, и в данном конкретном случае надо исключительно один раз коснуться поля и подождать. При этом, чтобы раскрыть группу надо было 2 раза тапнуть, что внесло немного путаницы в действия (кстати, почему одного раза недостаточно?). Ну да ладно, дадим второй шанс, вот полная запись второго дубля сравнения:

Наверное, опять, что то не так сделали, именно по этому калькулятор открывался 2 раза (да, там количество в первом случае а во втором цена), как это получилось – не знаю, именно по этому 2 раза надо было сохранять документ, возможно там было 2 документа, какой первым, а какой вторым был сохранён (и был ли сохранён) – убейте не знаю.
Очень неоднозначное впечатление получили от этого сравнения, мы старались быть честными, не предвзятыми, но этот процесс всё же заставил вспомнить фразу "делали Чужие для Хищников", настолько это было… нет, не плохо, скорее непонятно. Если не брать во внимание скорость, то зачем столько всего на экране, так и хочется потеряться, вертикальный скроллинг хранит много тайн, хер догадаешься, что там скрыто (и скрыто ли именно сейчас?), зачем эти даблклики, в память о версии 1,5?
Хотел сравнить программы, а получилось - обгадили Агент +, чего мы старались избежать.
Возможно, мы чего то не понимаем, возможно, нам надо было изучить огромную инструкцию, но вот сейчас мне кажется, что программа ST Мобильная торговля 3.0, которую недавно сравнили - реально клеевая (она, кстати, быстрее!!!), мы сразу въехали в интерфейс и в возможности программы, все действия однозначные и без сюрпризов, у тебя есть понимание, что ты делаешь сейчас, а Агент + не даёт таких ощущений. Почему? Хрен его знает! Ну не даёт и всё тут!
Во время прошлого сравнения в комментариях были попискивания, что, дескать, скорость запуска приложения или скорость создания заявки сравнивать не правильно, а надо мериться функционалом, возможностью интеграции и прочим наживным. Скажу так: если вместо какашек будет конструктив и кто-то предложит адекватные критерии сравнения – с радостью добавлю их в наш тест. Но, ни за что не уберу имеющиеся критерии, не нужен никакой суперфункционал, если работа в программе сравнима с испытанием, она в первую очередь должна быть удобная, и не препятствовать работе пользователя, что думаю для всех посмотревших эти видео станет очевидно.


З.Ы. Мы немного подумали и провели второе сравнение с Агент плюс




12 комментариев:

Анонимный комментирует...

Здравствуйте. Честно скажу НЕ УБЕДИТЕЛЬНО =) Поясню почему:
1. Начнем с того, что сравнивать скорость запуска программы конечно можно и нужно, но с практической точки зрения это параметр не является критическим. На практике ТП запускает программу один раз в день - утром, причем ДО начала работы. Поэтому по большому счету 5 секунд там или 25... Главное что не 5 минут =)
2. Если взять Ваш критерий - время создания заказа, то его оценка проводится не совсем корректно. Исходя из соображений изложенных выше, прибавлять к этому времени время старта, считаю не правильно. Вы же уже сделали вывод о том, какое ПО быстрее стартует... Тут мне кажется должна быть оценка "чистого" времени - без запуска программы.
3. Тестирование проводится не при равных условиях. Агент+ тестовая версия содержит полный функционал, вплоть до фотографий товара. Это требует дополнительных ресурсов несомненно. Ваша же версия, как я понял из видео, обеспечивает только pre-seling. Если не прав - поправьте.
4. Что бы Вы не говорили, четко виден разрыв в УРОВНЕ ПОДГОТОВКИ пользователей =) Девушка только под конец видео освоилась более или менее нормально.
5. Четко видно, что Агент+ НЕ НАСТРОЕН. Отсюда и "второй калькулятор", что приводит к необходимости дополнительных манипуляций и соответственно увеличению времени создания заявки =) в среднем потери на эту операцию составили 2-3 секунды. В общем на 10 позиций - порядка 25-30. Вычтите это время из общего результата....

Подводя итоги:
Время Создания заказа в Агент+ = 165-25-23 = 117 (убираем время старта и лишние операции из-за не правильной настройки ПО). Накрутили почти минуту =) А если Агент + еще и поднастроить и девушку Вашу подучить...

Я все это к чему, собственно... Не с того начинаете. Мобильные части всех систем (имею опыт работы с ST-МТ, Агент+, Оптимум и некоторыми другими не прошедшими в тираж) по функционалу примерно одинаковы. Вопрос лишь в удобстве пользования. И даже разница в быстродействии на самом деле не является определяющей. Ну делается Заказ не полторы, а 3 минуты, пусть даже 5. Это вполне приемлемо, главное, что не 25. Это вопрос можно свести по сути к проблеме ОБУЧЕНИЯ СОТРУДНИКОВ.
Говорю это не с точки зрения разработчика, а с точки зрения "эксплуататора" данных систем =)

Вам бы зайти с другого конца - насколько Ваша система интегрируется с УС предприятий, простота ее настройки и обслуживания, схема обмена данными с БД, работа с неустойчивыми каналами связи и т.д. и.т.п Но вы почему-то считаете замечания такого рода "какашками"... Ну что ж - успехов...
Краснов Кирилл, сервис-инженер, г.Новосибирск

Владимир Сальников комментирует...

Здравствуйте Кирилл.
Спасибо за конструктив, приятно читать такие аргументированные комментарии. Сначала немного в поддержку текущего сравнения, которое и мне показалось излишне эмоциональным, по этому то и было второе сравнение http://1msale.blogspot.ru/2013/01/2.html , где в А+ работал я сам, при создании заказа, а девушка - в Наполеоне.
Итак:
1. Запуск программы, как вы правильно заметили, не имеет критического значения, однако он наглядно показывает, сколько ресурсов необходимо на выполнение простых действий, а что будет со сложными?
2. Время запуска и создания заказа.
3. Вообще то в первом сравнении используется демка с фото-презентором, и прайсом, минимум в 5 раз (!) превышающим прайс в демке А+. Во втором сравнении я запускал версию с как минимум сопоставимым функционалом и 64000 товарной номенклатуры (да, это реальный прайс, реальной организации с которым работают), у меня до сих пор есть большие сомнения в возможности такого в А+ (готов проверить, если сможете предоставить).
4. Во втором сравнении я быстрее девушки был.
5. Мы скачали, запустили, пару раз создали документ и начали запись (сравнение). Скажите, зачем надо что-то настраивать, у Наполеона, например не надо, второй калькулятор появился случайно, что повлекло запуск этого формата работы - не понятно, программа не сказала и не предупредила (а выбор мерчандайзинга был незаметным и не очевидным).

Организация обмена с КИС, связь по неустойчивым каналам - это здорово, но требует сравнения исключительно в контексте реальной задачи (или кейса), я планирую в скором будущем так же сравнить стоимость приобретения и владения системой, а так же перевести дальнейшие сравнения опробованных систем в плоскость решения кейсов.
Ещё раз спасибо за комментарий.

Анонимный комментирует...

Владимир, спасибо за ответ. Однако вопрос методологии не снимаю =)Если замерять "чистое" время создания заказа получим: Наполеон-75, Агент+ 106-23=83. По мне так эта разница не принципиальна =)

А по поводу настройки, он у вас там цену наверное запрашивал, а это можно отключить, если такой функционал не нужен.

А так второе сравнение у Вас более правдоподобным получилось. Ждем сравнения по другим описанным Вами критериям. Думаю будет интересно. Удачи!

Краснов Кирилл, сервис-инженер, г.Новосибирск

Владимир Сальников комментирует...

Спасибо, думаю в марте успею добавить новое сравнение.

Анонимный комментирует...

Из практики переходов с одной системы на другую (а такое в течении крайних 5ти лет сплошь и рядом) из-за принятия решения производителя, дающего дистрибуцию, ввести единый продукт для торговых представителей на всех дистрибьюторах, пришел к следующему выводу:
1. В соревновании по бегу в мешках побеждает не тот, кто быстро бегает, а кто быстро бегает в мешках. От двух до пяти недель сплошной матершины при переходе с одной программы на другую и торговые с отвращением вспоминают опыт работы на предыдущем продукте.
2. Методология сравнения продуктов по трем параметрам (по мне, так притянутых за уши типа сравнения мощности автомобиля по цвету кузова) - это ваще што-та...
3. Сам подход сравнения моего и плохого продукта вызывает бурный скепсис.
Чтобы мой пост не был воспринят, как скрытая реклама, не называя наименования продуктов расскажу о замеченных мною "косых" моментах.
1. "Пятое колесо". Для проведения обмена серверу (зачастую оператору) необходимо выполнить 2 действия: КИС - БД и БД - файл обмена, а потом еще торговому это все получить. В обратную сторону тот-же паровоз.
2. Соотношение заместительное - аддитивное обновление данных выбирается по конкретным задачам. Когда полный пакет данных занимает несколько мегабайт при малостабильной сети (критично для областников)- это трэш. Это при том, что некоторые программы под Андроид в принципе не расчитаны на такие объемы. А торговый, продающий 65000 товаров - родственник сказочного эльфа, различающего 64М цветов.
3. 90% информационного потока, зависающего на сервере обмена (тоже немалых денег стоит) и стандартными средствами в КИС не вытягиваемые, только приданными мобилизаторами средствами. Готовьте кошель к каждой новой требуемой аналитике и будьте готовы, что при апгрейте, затыкая 5 багов разработчики ляпнут 10.
Для затравки пока все. Если кого заинтересует - можно продолжить.

Владимир Сальников комментирует...

Ухты, не стесняйтесь представляться и НАЗЫВАТЬ другие решения, обещаю, удалять не буду.
1. про мешки - в общем соглашусь, но по правде сказать обычно вспоминали ОПТИМУМ, реже Агент+, ещё реже моби-с. Наполеон, по понятным причинам, не слышал, чтобы кто-то упоминал в негативном контексте.
2. Предложите критерии.
Пишите ещё, пожалуйста, готов дискутировать.

"Готовьте кошель к каждой новой требуемой аналитике и будьте готовы, что при апгрейте, затыкая 5 багов разработчики ляпнут 10"
-Вот, кстати не всегда, например :)
В день у нас в среднем релизов 5 выходит (совершенно разных клиентских веток), на протяжении какого срока мы должны были заткнуться на исправлении багов и остановиться в развитии?

Анонимный комментирует...

Называться не то что не хочу - интерфейс не предусматривает. Аккаунтами не богат, а просто так назваться особо и некуда.
По поводу решений. Универсально прекрасных решений не существует так-же, как и бухгалтерской программы с одной кнопкой "сделать все", как-бы бухгалтера о ней не мечтали. Поэтому предлагаю не тест хуже - лучше, а тест - анкету под "крыж". На вскидку предлагаемые пункты следующие:
1. Необходимость выделенного сервера.
2. Заместительный обмен с КПК.
3. Доступность внедрения (в баллах. 1 - только силами разработчика, 5 - даже сторож).
4. Необходимость сопутствуещего платного софта: MS SQL, WS и т.д. и т.п.
5. Доступность доработки аналитики (отчетов) 1-5.
6. Доступность доработки форм мобильной части 1-5.
7. (!!!СВЯТОЕ!!!) Поддержка 1-5.
8. Возможность ВАН.
9. Работа с трекингом на карте (без карты трекинг, кажется, уже у всех есть).
10. Наличие логистических алгоритмов.
11. Производитель используемой векторной карты.
12. Средний объем данных обновления КПК.
13. Католагизация справочников в КПК.
14. Поддерживаемые ОС.
15. Поддерживаемые протоколы обмена.
16. Стоимость клиентской части.
17. Стоимость серверной части.
18. Наличие управленческой компоненты (у Оптимума, например, его называют АРМ Менеджер, у других два варианта - хттп и "Супервайзер" на Андроиде).
19. Стоимость управленческой компоненты.
20. Возможность работы с индивидуальными прайсами.
21. Возможность ВАН печати на передвижные печатные устройства.
Это коротенечко для близиру... Предполагаю, если структурировать, подкорректировать, дополнить, может получиться приятная таблица, позволяющая выбрать оптимальный продукт под конкретные цели и задачи.
По поводу багов - камень не в ваш огород ))) Справедливости ради должен отметить, что из озвученных Вами, не сталкивался только с вашей разработкой. Это не значит, что не сталкивался с теми, что Вы не озвучили.

Владимир Сальников комментирует...

Хм, есть open ID, если же опасаетесь ZOG - напишите просто имя, как первый комментатор к этому посту в теле коммента.

Критерии - интересные, я знаю, что минимум несколько озвученных тут разработчиков имеют такие листы и не стесняются их демонстрировать, единственное НО, критерии свои и естественно в лучшем свете. Я кстати по критериям уже пробовал проводить сравнение, вот http://blog.grsoft.ru/2013/04/blog-post_4008.html
НО, будем честны, набор критериев утверждаться должен после утверждённого списка соревнующихся, и конечно с оглядкой на задачу. Так например, критерий "наличие логистических алгоритмов" и "производитель векторных карт" могут быть применимы, когда это требует задача (а задача это требует крайне редко) и естественно это будет не у всех, у ОПТИМУМ будет, например. Получается что в этой части сравнения выиграл ОПТИМУМ, а если этого нет в постановке задачи, то ещё и дополнительно обрекает на значительное увеличение бюджета - парадокс. Или например, мы узнаём что будет участвовать в сравнении моби-с, тогда обязательно добавляются критерии стабильности обмена. А если Агент + - сразу производительность, ну не будем мечтать о 100500 товарах, всё просто, способно приложение будет переварить 2000 фотографий товаров (приём и демонстрация в режиме презентации, как тут например http://blog.grsoft.ru/2013/12/blog-post.html ), в сознании заказчика это вроде бы пустяк, а я вот сомневаюсь :)

Но я понял ход ваших мыслей.
Озвучьте интересующие продукты, обязательно включи их в сравнение, а оно будет, обещаю.

Анонимный комментирует...

Цитирую:
"Универсально прекрасных решений не существует ... получиться приятная таблица, позволяющая выбрать оптимальный продукт под конкретные цели и задачи."
Т.е. наличие векторных карт, идущих в комплекте не может являться плюсом для того, кому они не нужны т.к. переплачивать за то, что не нужно - скорее минус, чем плюс.
Повторяюсь: вопрос стоит не о соревновании, а о сводном чек-листе для помощи конечному потребителю в принятии объективно оптимального решения об использовании того или иного продукта.

Пластинин Глеб.
г. Брянск.
P.S. Минимум два "первых блога" - это прикольно )))
P.P.S. Некоторые критерии, указанные в другом первом блоге субъективны(сложность внедрения Оптимум определялась(в моем случае) крайне хамской техподдержкой и перекошенными методологическими материалами. После получения адекватных пояснений от коллеги внедрение по сложности сравнялось с А+) или не актуальны (например А+ в настоящее время использует лицензирование на рабочее место т.е. ее восстанавливать (как, собственно и в Оптимум) вообще не требуется).

Владимир Сальников комментирует...

"Повторяюсь: вопрос стоит не о соревновании, а о сводном чек-листе для помощи конечному потребителю в принятии объективно оптимального решения об использовании того или иного продукта." Глеб, это невозможно, вернее возможно, но не правильно. Если будет некий чек-лист, содержащий некие фишки, которые присущи конкретному решению и более никому - это не плюс или минус, это размытие результата. К тому же нельзя оценивать вне задачи, иначе что получается?
Берём для примера те же векторные карты, об использовании которых в мобильной торговле (не в логистике)я только слышал, но на практике не видел почему то... Зачем они нужны в мобильной торговле, давайте подумаем. Вероятнее всего для автоматического расчёта маршрута посещения торговых точек, так? Показать трек можно и на простых онлайн/оффлайн картах и даже детально разобрать, то-есть для этой задачи векторные карты не требуются, OKAY! Тогда, если мы применяем векторные карты для формирования маршрута то у нас по логике вещей должны быть: инструменты контроля соблюдения маршрута, отчёты по отклонению от маршрута и т.д. А у заказчика должны быть отлажены бизнес процессы завязанные на прохождение ТП по маршруту в том порядке, в котором рассчитала система, так как в дальнейшем через это организуется логистика.
По факту: 1. наличие одной возможности (функции) тесно связано с наличием других, иначе она бесполезна. 2. Наличие возможности без наличия соответсвующих бизнес- процессов это либо: а) трата денег, б) трата времени (внедрение, попытка использования, неудобство в работе), в) снижение эффективности проекта, г) ошибка в первоначальной оценке претендентов.

"P.S. Минимум два "первых блога" - это прикольно )))" - а где второй? можно ссылку? если это не зеркало этого блога.

Если вы по вот этому сравнению то во первых, смотрим на дату, во вторых вспоминаем, что у Агент + на тот момент было долгое и не всегда бесплатное восстановление лицензий, ну кстати и сейчас этот сервис не бесплатный :) в случае с Оптимум - тут просто как повезёт, часто слышал про разные ключи для винды и андроида, и про то, что их сложно различить и про нестабильную привязку лицензий (возможно был частный случай).
О, к слову, у нас текущий вариант лицензирования уже 3 года работает и стабильно и бесплатно.

Анонимный комментирует...

Пытаясь противоречить мне, Вы сами привели пример варианта рассуждения потенциального приобретателя. ))))))))
Наличие "фишки" не дает какого-либо абсолютного преимущества, как Вы акцентируете. В идеале на данный момент, если нашлось приложение, в котором используется хотя-бы 80% в конкретном бизнес - процессе, это большая удача. В реальности в удачно подобранном приложении 50% функционала не используется, а еще 20% желательно доработать (это,кстати, чуть-ли не единственная причина триумфа 1С: берем полено и строгаем из него буратино, мальвину или артамона - кому что надо). Вот я и предлагаю протестировать под чеклист для того, чтобы сократить эти проценты, а не расставлять оценки, как в школе. Продукты, как и люди, не бывают абсолютно плохими и хорошими, они просто РАЗНЫЕ. А вот насколько они подходят для конкретного потребителя, предлагаю оставить решать самому потребителю.
А векторные карты... Так это сегодняшний день и утро уже настало. Я пару лет назад тоже не видел ни одного нормального бизнес-приложения под андроид, а сейчас на ВинМоб смотреть не могу )))
По поводу агента. Это еще мягко сказано. Система восстановления в свое время чуть не стала причиной отказа от использования этого продукта. Тем приятнее стало пользоваться новой возможностью. И платить за нее пару тыс. в год как раз-таки не жалко, ибо есть за что.
По поводу Оптимума. Там все нормально работает при разнесении подсистем на минимум 3 разных сервера: лицензирования, собственно скула и веб. Вместе они почему-то периодически отказываются корректно работать на уровне использования аппаратных ресурсов (в первую очередь сетевых).
На данный момент практически любую систему есть за что попинать (иначе не было-бы новых релизов) и похвалить (иначе не вышли-бы на рынок). Мог-бы и дальше холиварить на эту тему но... и фонтану надо отдохнуть.
На сем умолкаю.
Удачи.
Пластинин Глеб.
г. Брянск.

Владимир Сальников комментирует...

Глеб, по порядку.
"Наличие "фишки" не дает какого-либо абсолютного преимущества, как Вы акцентируете."
- и я с этим соглашусь, но оценивать с т.з. фишек НЕ правильно, так как они имеют разный вес значимости, разную стоимость, могут повлечь дополнительные издержки или профит, по этому ещё раз - только применительно к конкретной задаче. Заканчиваем пинать векторные карты. Если у одного решения есть 2 плюса это умение создавать заказ и наличие векторных карт а у другого только создание заказа - какое лучше для клиента которому нужно только создание заказа?

"В реальности в удачно подобранном приложении 50% функционала не используется," - именно по этому у нас "маленькая" базовая версия и куча доп. функционала большая часть из которого добавляется в проект крайне несложно. И вы знаете, 50% функционала не используется - для нас это крайне хреновый показатель, так как обычно выше, и даже знаю проекты где используется практически 100% (база + доп. функции).
Ещё раз напоминаю нашу бизнес модель
вот вам базовая версия:
- заказы,
- фото отчёты,
- долги и
- мерч.
- GPS
Вот вам 4 бесплатных часа специалиста и каталог того, что делали ранее. Не нашли нужного? скажите что надо - не проблема.
Да, мы не делаем покерфейс, когда нас просят что-то добавить или убрать из программы, просто делаем, для нас это действительно просто, но делаем только мы, не как с 1С, что тоже считаем плюсом.

"А векторные карты... Так это сегодняшний день" - как по мне, так круто это было в середине нулевых, а сейчас ещё пара лет и их актуальность совсем сократится до редких, специфических или узко-отраслевых решений, но ни как не связанных с мобильной торговлей. Альтернативой могут быть те-же онлайн карты, совершившие за последние несколько лет реально приличный скачок как по охвату территорий, так и по функционалу.

"По поводу агента. Это еще мягко сказано. Система восстановления в свое время чуть не стала причиной отказа от использования этого продукта. Тем приятнее стало пользоваться новой возможностью. И платить за нее пару тыс. в год как раз-таки не жалко, ибо есть за что."
- повторюсь, никогда пользователей не принуждали проводить процедуры восстановления, никогда не брали деньги за новые "ключи" взамен старых утеряных, с 2010 года в каждом проекте бесплатный контроль версий, и лицензий :) То, что разработчики ранее (не осталось уже вроде таких из распространённых) вынуждали собирать справки, проходить долгие и иногда унизительные процедуры на мой взгляд обусловлено либо их мелочностью, либо их глупостью, либо и тем и тем. Ссылку уже давал на пост про лицензирование, там как раз и описывали ситуацию, когда были коды лицензирования которые мы давали без тотального учёта не говоря уже о каких-то справках и прочей ненужной фигне, а когда мы перешли на новый тип лицензирования (кстати, опять бесплатно) не зафиксировали ни одного случая явной нехватки лицензий. С заказчиками работать надо, а не в полицию за справкой посылать.

"На данный момент практически любую систему есть за что попинать" - вот это я и делаю, не исключая, что кто-то явно (крайне редко) или не явно (что чаще) пинает нашу.