В эпоху стремительного развития технологий искусственного интеллекта всё больше компаний и разработчиков пытаются применить машинное обучение в своих продуктах и проектах. Однако зачастую процесс создания работающего продукта на основе моделей машинного обучения представляет собой «черный ящик» для новичков в этой сфере.
Эта книга ставит своей целью максимально подробно и пошагово рассказать о том, как создать полноценный проект в сфере искусственного интеллекта – от исследования идеи до готового веб-приложения с моделью машинного обучения. Мы возьмем за основу конкретный проект по текстовому обобщению (рафинированию) – это процесс создания более короткой версии длинного текста или диалога и увидим, как он был реализован от начала и до конца.
Эта книга станет настоящей «библией» для всех, кто хочет разобраться в прикладном применении машинного обучения и понять весь процесс от А до Я.
После ее прочтения вы получите бесценные знания о том, как подходить к разработке подобных проектов, что позволит вам:
Структурировать код проекта с использованием передовых практик
Организовать процесс исследования и поиска решения
Разрабатывать и обучать эффективные модели машинного обучения
Создавать тренировочные и прогнозирующие конвейеры
Развертывать модели в виде готовых веб-приложений
Автоматизировать процесс непрерывной интеграции и доставки моделей
Книга содержит реальный код, примеры и шаги по созданию проекта от начала до конца. Это позволит вам не только изучить, но и применить на практике паттерны и подходы разработки проектов в сфере ИИ.
После прочтения вы сможете использовать полученные знания как шаблон для создания собственных приложений и сервисов с машинным обучением.
Начало проекта по
Data
Science
Бизнес-постановка – основа любого коммерческого проекта по Data science
В 90% случаев коммерческие проекты по Data science начинаются с бизнес-постановки от заказчика. Это означает, что заказчик четко определяет, какую задачу необходимо решить с помощью данных.
Бизнес-постановка включает в себя следующие элементы:
Цель проекта. Что заказчик хочет достичь с помощью данных?
Задачи проекта. Какие шаги необходимо предпринять для достижения цели?
Данные. Какие данные необходимы для выполнения проекта?
Ожидаемые результаты. Что заказчик ожидает получить в результате проекта?
Дано:
Заказчик обратился с потребностью автоматически суммаризировать большие объемы текста, в особенности длинные диалоги. Основная цель состояла в том, чтобы пользователи могли быстро понять основное содержание предоставленного текста без необходимости читать его полностью. Это особенно актуально для быстрого анализа новостей, длинных документов или корпоративных диалогов.
Кроме того, заказчик предоставил специфические данные для обучения, чтобы модель лучше понимала и адаптировалась к уникальной специфике и структуре диалогов в компании заказчика.
Ожидание заказчика – Web API интерфейс для решения задач по суммаризации текста
Заказчик ожидает, что исполнитель предоставит Web API интерфейс для решения задач по суммаризации текста. Этот интерфейс должен соответствовать следующим требованиям:
Легкость использования. Интерфейс должен быть простым и понятным в использовании. Он должен быть доступен через стандартные методы HTTP, такие как POST, GET и PUT.