TWIN - Наблюдается некорректная работа сервиса Ботов – Incident details

All systems operational

Чтобы получать уведомления в Телеграм, подпишитесь на наш канал

Наблюдается некорректная работа сервиса Ботов

Resolved
Partial outage 80 %
Started 25 days agoLasted 4 days

Affected

TWIN

Partial outage from 8:32 AM to 9:51 AM, Degraded performance from 9:51 AM to 4:28 PM, Partial outage from 4:28 PM to 10:09 PM, Degraded performance from 10:09 PM to 7:29 AM, Partial outage from 7:29 AM to 10:15 AM, Degraded performance from 10:15 AM to 6:11 PM

Сервис бота

Partial outage from 8:32 AM to 9:51 AM, Degraded performance from 9:51 AM to 4:28 PM, Partial outage from 4:28 PM to 10:09 PM, Degraded performance from 10:09 PM to 7:29 AM, Partial outage from 7:29 AM to 10:15 AM, Degraded performance from 10:15 AM to 6:11 PM

Updates
  • Update
    Update

    Изменение времени ожидания ответа от ChatGPT:

    На время некорректной работы чатов вводили ограничение ожидания ответа до 5 секунд.

    Сейчас увеличили время ожидания ответа от ChatGPT до 30 секунд. То есть через 30 секунд запрос автоматически прерывается по таймауту, а бот уходит в ветку "ошибка BPL".

  • Resolved
    Resolved

    Решено.

    Отправка сообщений в чат соответствует порядку, заданному в сценарии. Если в сценарии несколько блоков с текстом (текст 1 - текст 2 - текст 3), то Бот отправит их именно в таком порядке.

    Напоминаем, что за работами по восстановлению запросов к chatGPT можно следить в статус панели OpenAI: https://status.openai.com/

  • Update
    Update

    Обновление по инциденту:

    В текущий момент запросы к ChatGPT обрабатываются крайне медленно. Это создает высокую нагрузку на наш сервис чатов. Это затрагивает всех пользователей чат-ботов, вне зависимости от факта использования интеграции с ChatGPT.

    ❔Как это проявлялось

    Боты в чатах не отвечали/отвечали с задержкой.

    Мы внесли изменения в работу наших сервисов - снизили зависимость от стороннего вендора. Теперь если бот не получает ответ от ChatGPT в течение 5 секунд, запрос автоматически прерывается по таймауту, а бот уходит в ветку "ошибка BPL".

    ❔Когда проблема с OpenAI будет решена

    Так как проблема находится на стороне OpenAI - вы можете отслеживать статус решения по адресу: https://status.openai.com/

    ❔Когда проблема с порядком сообщений будет решена

    В данный момент мы работаем над решением. Ориентировочно до обеда завтрашнего дня мы внесем изменения для корректной отправки сообщений и их порядка.

    Если вы используете интеграцию с ChatGPT - настоятельно рекомендуем:

    Убедитесь, что в местах использования функций gpt.ask и gpt.assist предусмотрены ветки обработки ошибок "Ошибка BPL". Если такие ветки отсутствуют — оперативно добавьте их, чтобы избежать сбоев и завершения сессий при долгих ответах ChatGPT.

  • Update
    Update

    Обновление по инциденту:

    Зафиксирована высокая нагрузка не сервис Бота. Бот может не отвечать в чатах на сообщения человека. Могут не начинаться сессии в чате.

  • Identified
    Identified

    Обновление по инциденту:

    Чаты продолжают работать. Бот отвечает на сообщения клиентов.

    Дополнительно было определено: Бот может присылать сообщения в чат не в том порядке, который указан в сценарии. Если в сценарии несколько блоков с текстом (текст 1 - текст 2 - текст 3), бот может прислать человеку сообщения в другом порядке (текст 3 - текст 1 - текст 2 и т.д.).

    Наши специалисты уже работают над корректировкой порядка сообщений.

  • Monitoring
    Monitoring

    Обновление по инциденту:

    Были внесены изменения в работу сервиса Бота. На данный момент высокой нагрузки на сервис не наблюдается и он работает в штатном режиме. Бот отвечает на сообщения в чатах.

    До конца сегодняшнего дня продолжаем наблюдать за состоянием сервиса Бота и его работой.

    ⚠️Если вы столкнетесь с некорректным поведением Бота (не отвечает, долго отвечает, дублирует сообщения в чате и др.), то просим обязательно и как можно скорее сообщить об этом в техническую поддержку.

  • Update
    Update

    Обновление по инциденту:

    На данный момент работа сервиса Бота частично восстановлена и он отвечает на сообщения.

    В ближайшее время возможны кратковременные снижения доступности ответа со стороны бота. Чат-бот может не отвечать на сообщения в разное время суток.

    Мы в курсе проблемы и активно работаем над её устранением. После окончательного решения мы обязательно сообщим об этом. Приносим свои извинения за доставленные неудобства.

  • Identified
    Identified

    Обновление по инциденту:

    Замечена деградация в сервисе Бота. В чатах бот не отвечает или отвечает очень долго.

  • Monitoring
    Monitoring

    На данный момент работа сервиса Бота частично восстановлена и он отвечает на сообщения.

    Наблюдаем за состоянием сервиса. Будем сообщать об изменениях.

  • Investigating
    Investigating

    Как проявляется: замечена деградация в сервисе Бота. Бот может не отвечать на сообщения в чатах, сообщения приходят с большим опозданием. По звонкам могут не отправляться вебхуки.

    Наши специалисты уже работают над решением.