Настроить Сookie (куки) 🍪
Мы используем куки, чтобы вам было удобнее.
И чтобы маркетолог не грустил.
Настроить Сookie (куки) 🍪
Настройки (куки)
Cookies (куки) необходимые для корректной работы сайта нельзя отключить. Остальные вы можете настроить.
Обязательные Cookies (куки)
Без них никак 🙂
Эти cookie (куки) отвечают за базовую работу сайта. Они сохраняют ваши настройки, помогают войти в аккаунт и обеспечивают работу форм. Отключить их нельзя, а то сайт частично перестанет работать.
Аналитические Cookies (куки)
Disabled
Печеньки, которые помогают 🍪
Эти cookie (куки) собирают анонимную статистику о работе сайта. Благодаря им мы понимаем, что вам нравится, что можно улучшить и какие наши идеи действительно работают. В общем, делаем сайт удобнее с помощью данных.
Рекламные Cookies (куки)
Disabled
Чтобы реклама была интересной 🎯
Эти cookie (куки) помогают рекламным сервисам показывать вам объявления, которые хотя бы имеют отношение к вашим интересам. А еще следят, чтобы одна и та же реклама не преследовала вас до конца интернета. Ну, по крайней мере, стараются.
Параллельная работа над двумя треками: перенос данных и развертка нового контура для хранения.
Особенность проекта
Финансовые инструменты

Биллинговое ядро с нуля: как мы перенесли данные из AWS и исключили ошибки плавающей запятой

Задача

Перенести данные из AWS в собственную инфраструктуру и заменить устаревшее биллинговое ядро на PHP.

О проекте

Проект для платформы управления интернет-рекламой. Нужно было решить две задачи одновременно: перенести данные из AWS в собственную инфраструктуру и заменить устаревшее биллинговое ядро на PHP.

Мы разделили работу на два параллельных трека. В одном переносили данные и разворачивали новый контур хранения. В другом проектировали сервис, который должен был точно учитывать внутренние балансы, распределять средства между рекламными системами и сохранять историю каждой операции.

Устранили зависимость от иностранного вендора и заменили монолитную архитектуру

Пользователь пополнял единый баланс во внутренних единицах, распределял средства между рекламными системами и следил за кампаниями в одном кабинете.

Инфраструктура работала в Amazon Web Services. В марте 2022 года Amazon перестал регистрировать новых клиентов AWS из России и Беларуси. Официальное сообщение касалось новых регистраций, а не немедленного отключения действующих аккаунтов. Однако зависимость от зарубежного облака стала для проекта инфраструктурным риском.

За учёт балансов отвечал монолит на PHP. За годы в нём накопились изменения, а часть сбоев требовала ручного вмешательства инженеров. Развивать такой контур становилось всё сложнее: каждое новое правило повышало связанность кода и риск ошибки.

Два трека: миграция и разработка

Первый трек — перенос данных и развёртывание хранилищ в собственной инфраструктуре заказчика.

Второй — разработка биллингового ядра с нуля. Оно отвечало не за эквайринг, а за внутренний финансовый учёт платформы: балансы, распределение средств, операции с рекламными системами и историю изменений.

Готовый продукт нельзя было просто установить и настроить. У платформы была собственная логика внутренних единиц, тарифов, согласований и интеграций, поэтому типовое решение потребовало бы глубокой переработки.

Главный вывод: цель проекта также важна, как и технологии

Ограничение на проекте возникло не в технологиях, а в управлении проектом. Команда строила промышленную систему, а бизнес ждал прототип.

Команда общалась с заказчиком через двух технических руководителей. Задачи поступали уже сформулированными, прямого контакта с бизнесом не было. Мы не видели исходных сроков, ограничений и критериев приёмки, поэтому проектировали ядро как промышленную систему с повышенными требованиями к надёжности.

Бизнес, как выяснилось позже, в первую очередь ждал быстрый прототип. Для него важнее было раньше проверить рабочий сценарий, даже если часть механизмов надёжности появится позднее.
Из-за разного понимания цели пришлось на ходу пересматривать приоритеты и откладывать часть работ по надёжности. Проект продолжался, но команда и заказчик потратили время на согласование того, что следовало определить до разработки.

Теперь договорённости о целевом состоянии продукта, критериях приемки и готовности к старту создают общую систему координат: команда понимает, какой уровень качества проектировать, а бизнес что именно и в каком состоянии получит.

Архитектура проекта

Для операций выбрали PostgreSQL, для аналитики — ClickHouse
Данные поступали через Apache Kafka. Мы настроили их передачу в новый контур и развернули PostgreSQL и ClickHouse на серверах заказчика.

PostgreSQL использовали для операционных данных, где важны транзакции и согласованность изменений. ClickHouse внедрили для аналитики и статистики по рекламным кампаниям: агрегирования больших объёмов событий и быстрых выборок для отчётов и кабинета. Так мы разделили нагрузки: биллинговые операции не конкурировали с тяжёлыми аналитическими запросами.

Ядро переписали на Kotlin и Spring
Технологический стек выбрали технические руководители платформы: Kotlin и Spring. Архитектуру проектировали с опорой на принципы предметно-ориентированного проектирования Domain-Driven Design, или DDD.

В центре модели были не таблицы и интеграции, а бизнес-сущности и правила: баланс, операция, распределение средств, рекламная система и согласование. Это упростило работу с системой в будущем.

Особенности финансового контура

Суммы сохранили в целых микроединицах
Для денежных расчётов нельзя безоговорочно использовать float и double: многие десятичные дроби нельзя точно представить в двоичном формате. В цепочке вычислений это может привести к расхождениям.

Поэтому каждую сумму хранили как целое число с фиксированным масштабом. Одной внутренней единице соответствовал миллион микроединиц. Например, значение 1,25 сохранялось как 1 250 000.

Такой подход исключал ошибки представления чисел с плавающей запятой и делал вычисления воспроизводимыми. Само округление при этом не исчезает: для операций всё равно нужно заранее определить масштаб и правила округления. Для точных денежных значений документация Java рекомендует использовать BigDecimal либо хранить сумму как масштабированное целое число.

Одно ядро связало несколько рекламных систем
Биллинговое ядро интегрировалось с внешними рекламными сервисами: передавало данные для пополнения их балансов и получало статистику по расходам и кампаниям.

Для пользователя процесс остался единым:
Пополнение внутреннего баланса → распределение средств → пополнение балансов в рекламных системах → расходы на кампании → сбор статистики → отображение данных в кабинете

Для каждой операции сохранили аудитный след
В финансовом учёте недостаточно знать только текущий баланс. Нужно восстановить, из каких операций он сложился: когда изменился, на какую сумму и по какому основанию.

Поэтому отдельно проектировали журнал операций. Он позволял проследить движение средств и использовать историю для сверок, расследования расхождений и подготовки отчётности.

Логику согласований отделяли от основной бизнес-логики. При дальнейшем развитии процессы можно было вынести в отдельный процессный движок и описывать моделями BPMN, не переписывая биллинговое ядро целиком. BPMN — это стандартная графическая нотация для описания бизнес-процессов, а не самостоятельная программная система.

Результаты

  1. Переработали устаревший сервис биллинга, который не подлежал модернизации. Теперь архитектура позволяет развивать систему без переписывания ядра. Каждая новая функция стоит дешевле, чем в монолите на PHP, где любое изменение повышало риск сбоя.
  2. Реализовали функционал системы платежей, типов подписок и движения денежных средств внутри системы биллинга. Уход от зарубежного вендора исключил риски, связанные с санкциями. Это прямая экономия на инфраструктуре и снижение операционных рисков.
  3. Разработали, отладили и покрыли тестами кастомное решение для миграции исторических данных из PostgreSQL в ClickHouse. В пиковые периоды система не деградирует, а пользователи не теряют доступ к балансам и статистике.
  4. Настроили интеграции с разными рекламными платформами, добавили различные пользовательские и бэкоффисные сценарии использования. Рост лояльности клиентов при пользовании системой.
  5. Создали решение для формирования отчетности. Настроили сбор метрик и логов. Сократили время на сверки, расследования расхождений и подготовку итогов.

Технологии: Kotlin Spring, Liquibase, Hibernate, Logback, Micrometer, Prometheus, Kafka, Rabbit, Grpc, Protobuf, Postgres, Clickhouse, Gradle, Monorepository, Docker, Kubernetes.
______________

Если у вас есть личный кабинет с балансами, расчётами и интеграциями, и вы задумываетесь о замене устаревшего биллинга или переносе инфраструктуры — оставьте заявку ниже на странице. Мы обсудим вашу задачу, предложим вариант реализации, оценим сроки и бюджет.