AI для PHP-разработчиков. Часть 2: практическое использование TransformersPHP

networks: ai-for-php-developers: driver: bridge services: app: build: context: . dockerfile: docker/Dockerfile volumes: - .:/var/www ports: - "8088:8088" command: php -S 0.0.0.0:8088 -t app networks: - ai-for-php-developers

# ------------------------------ # Install system dependencies # ------------------------------ RUN apt-get update && apt-get install -y \ libzip-dev \ zip \ unzip \ git \ libxml2-dev \ libcurl4-openssl-dev \ libpng-dev \ libonig-dev \ && rm -rf /var/lib/apt/lists/* # ------------------------------ # Install PHP extensions # ------------------------------ RUN docker-php-ext-install zip pdo_mysql bcmath xml mbstring curl gd pcntl # ------------------------------ # Enable FFI # ------------------------------ RUN apt-get update && apt-get install -y \ libffi-dev \ pkg-config \ && rm -rf /var/lib/apt/lists/* RUN docker-php-ext-install ffi RUN echo "ffi.enable=1" > /usr/local/etc/php/conf.d/ffi.ini # ------------------------------ # Install ONNX Runtime # ------------------------------ ENV ONNXRUNTIME_VERSION=1.17.1 RUN curl -L https://github.com/microsoft/onnxruntime/releases/download/v${ONNXRUNTIME_VERSION}/onnxruntime-linux-x64-${ONNXRUNTIME\_VERSION}.tgz \ | tar -xz \ && cp onnxruntime-linux-x64-${ONNXRUNTIME_VERSION}/lib/libonnxruntime.so* /usr/lib/ \ && ldconfig \ && rm -rf onnxruntime-linux-x64-${ONNXRUNTIME_VERSION} # ------------------------------ # Install Composer # ------------------------------ COPY --from=composer:latest /usr/bin/composer /usr/bin/composer # Set working directory WORKDIR /var/www # Copy existing application directory contents COPY . /var/www # Configure PHP RUN echo "memory_limit = 512M" >> /usr/local/etc/php/conf.d/docker-php-ram-limit.ini RUN echo "max_execution_time = 300" >> /usr/local/etc/php/conf.d/docker-php-max-execution-time.ini # Expose port 9000 and start php-fpm server EXPOSE 9000 CMD ["php-fpm"]

{ "type": "project", "minimum-stability": "stable", "prefer-stable": true, "require": { "codewithkyrian/transformers": "~0.6.2" }, "config": { "allow-plugins": { "codewithkyrian/platform-package-installer": true } } }

final class SemanticEventSearch { private string $model = 'Xenova/paraphrase-multilingual-MiniLM-L12-v2'; private string $cachePath; private string $defaultQuery = 'санкции против IT-компаний'; private int $topN; private ?string $query = null; /** @var list<array{id:int,title:string,description:string}> */ private array $events; /** @var array<int, list<float|int>> */ private array $eventEmbeddingsById = []; private $embedder; /** * Create a new semantic search instance. * * @param int $topN Number of results to return. */ public function __construct(int $topN = 3) { $this->cachePath = __DIR__ . '/../embeddings.events.json'; $this->events = []; $this->embedder = null; $this->topN = $topN; } /** * Inject events that will be indexed/searched. * * @param list<array{id:int,title:string,description:string}> $events * @return $this */ public function setEvents(array $events): self { $this->events = $events; $this->eventEmbeddingsById = []; return $this; } /** * Set the embeddings model identifier. * * Switching model invalidates in-memory embeddings. * * @param string $model * @return $this */ public function setModel(string $model): self { $this->model = $model; $this->embedder = null; $this->eventEmbeddingsById = []; return $this; } /** * Set the query to be searched. * * @param string $query * @return $this */ public function setQuery(string $query): self { $q = trim($query); $this->query = $q === '' ? null : $q; return $this; } /** * Run the end-to-end semantic search pipeline (cache -> embed query -> score -> top-N). * * @return array{query:string,results:list<array{score:float,event:array{id:int,title:string,description:string}}>} * @throws RuntimeException If events are not set or embeddings output is unexpected. */ public function run(): array { if (count($this->events) === 0) { throw new RuntimeException('Events list is empty. Call setEvents() before run().'); } if ($this->embedder === null) { $this->embedder = pipeline('embeddings', $this->model); } $this->loadEmbeddingsFromCacheIfCompatible(); $this->ensureAllEventEmbeddings(); $query = $this->query ?? $this->defaultQuery; $queryVec = $this->embedText($query); $results = $this->search($queryVec); return [ 'query' => $query, 'results' => $results, ]; } /** * Compute an embedding vector for a single text. * * @param string $text * @return list<float|int> * @throws RuntimeException */ private function embedText(string $text): array { $emb = ($this->embedder)($text, normalize: true, pooling: 'mean'); if (!is_array($emb) || !isset($emb[0]) || !is_array($emb[0])) { throw new RuntimeException('Unexpected embeddings output format'); } return $emb[0]; } /** * Cosine similarity between two vectors. * * @param list<float|int> $a * @param list<float|int> $b * @return float */ private function cosineSimilarity(array $a, array $b): float { $n = min(count($a), count($b)); $dot = 0.0; $normA = 0.0; $normB = 0.0; for ($i = 0; $i < $n; $i++) { $x = (float) $a[$i]; $y = (float) $b[$i]; $dot += $x * $y; $normA += $x * $x; $normB += $y * $y; } if ($normA <= 0.0 || $normB <= 0.0) { return 0.0; } return $dot / (sqrt($normA) * sqrt($normB)); } /** * Load a JSON file and decode to array. * * @param string $path * @return array|null */ private function loadJsonFile(string $path): ?array { if (!is_file($path)) { return null; } $raw = file_get_contents($path); if ($raw === false) { return null; } $data = json_decode($raw, true); return is_array($data) ? $data : null; } /** * Encode and save data to JSON file. * * @param string $path * @param array $data * @throws RuntimeException */ private function saveJsonFile(string $path, array $data): void { $json = json_encode($data, JSON_UNESCAPED_UNICODE | JSON_PRETTY_PRINT); if ($json === false) { throw new RuntimeException('Failed to encode JSON'); } $ok = file_put_contents($path, $json); if ($ok === false) { throw new RuntimeException('Failed to write cache file: ' . $path); } } /** * Load cached event embeddings only if they were produced by the current model. * * @return void */ private function loadEmbeddingsFromCacheIfCompatible(): void { $cached = $this->loadJsonFile($this->cachePath); if (!is_array($cached) || !isset($cached['model'], $cached['events']) || !is_array($cached['events'])) { return; } if ($cached['model'] !== $this->model) { return; } foreach ($cached['events'] as $row) { if (isset($row['id'], $row['embedding']) && is_array($row['embedding'])) { $this->eventEmbeddingsById[(int) $row['id']] = $row['embedding']; } } } /** * Ensure embeddings exist for all events and persist them to cache. * * @return void * @throws RuntimeException */ private function ensureAllEventEmbeddings(): void { $missing = []; foreach ($this->events as $event) { $id = (int) $event['id']; if (!isset($this->eventEmbeddingsById[$id])) { $missing[] = $event; } } if (count($missing) === 0) { return; } foreach ($missing as $event) { $id = (int) $event['id']; $text = (string) $event['description']; $this->eventEmbeddingsById[$id] = $this->embedText($text); } $toCache = [ 'model' => $this->model, 'events' => array_values(array_map( fn(array $event): array => [ 'id' => (int) $event['id'], 'embedding' => $this->eventEmbeddingsById[(int) $event['id']], ], $this->events )), ]; $this->saveJsonFile($this->cachePath, $toCache); } /** * Score all events against the query embedding and return the top-N results. * * @param list<float|int> $queryVec * @return list<array{score:float,event:array{id:int,title:string,description:string}}> */ private function search(array $queryVec): array { $scored = []; foreach ($this->events as $event) { $id = (int) $event['id']; $score = $this->cosineSimilarity($queryVec, $this->eventEmbeddingsById[$id]); $scored[] = [ 'score' => $score, 'event' => $event, ]; } usort($scored, static fn(array $a, array $b): int => $b['score'] <=> $a['score']); return array_slice($scored, 0, $this->topN); } /** * Render results as plain text. * * @param string $query * @param list<array{score:float,event:array{id:int,title:string,description:string}}> $results * @return void */ public function render(string $query, array $results): void { echo "Query: {$query}\n\n"; foreach ($results as $row) { $event = $row['event']; $score = (float) $row['score']; echo "[" . number_format($score, 4) . "] #{$event['id']} {$event['title']}\n"; echo " {$event['description']}\n\n"; } } }

$events = [ [ 'id' => 1, 'title' => 'Ограничения против технологических корпораций', 'description' => 'Введены новые экономические меры в отношении крупных технологических компаний.', ], [ 'id' => 2, 'title' => 'Развитие космических программ', 'description' => 'Несколько стран региона увеличили финансирование национальных спутниковых проектов.', ], [ 'id' => 3, 'title' => 'Эскалация политического конфликта', 'description' => 'Обострение конфликта на политической почве в нескольких провинциях.', ], [ 'id' => 4, 'title' => 'Ограничения против ИТ-сектора', 'description' => 'Правительство объявило о новых ограничениях для компаний, работающих в сфере информационных технологий.', ], [ 'id' => 5, 'title' => 'Рост инфляции и пересмотр ключевой ставки', 'description' => 'Центральный банк повысил ключевую ставку на фоне ускорения инфляции и роста цен на импортные товары.', ], [ 'id' => 6, 'title' => 'Запуск программы поддержки малого бизнеса', 'description' => 'Власти объявили о льготных кредитах и налоговых послаблениях для малого и среднего бизнеса в регионах.', ], [ 'id' => 8, 'title' => 'Утечка данных в сфере онлайн-ритейла', 'description' => 'Интернет-магазин расследует утечку персональных данных клиентов после компрометации учётных записей сотрудников.', ], [ 'id' => 9, 'title' => 'Прорыв в медицине: новый метод диагностики', 'description' => 'Исследователи представили метод ранней диагностики заболеваний по биомаркерам, сокращающий время анализа.', ], [ 'id' => 10, 'title' => 'Сезонный рост заболеваемости', 'description' => 'В нескольких городах отмечен рост заболеваемости респираторными инфекциями, клиники усилили приём пациентов.', ], [ 'id' => 12, 'title' => 'Засуха и риски для сельского хозяйства', 'description' => 'Из-за продолжительной засухи фермеры прогнозируют снижение урожайности, обсуждаются меры поддержки аграриев.', ], [ 'id' => 13, 'title' => 'Финал крупного спортивного турнира', 'description' => 'В решающем матче сезона команда одержала победу в дополнительное время, установив новый рекорд по посещаемости.', ], [ 'id' => 14, 'title' => 'Трансфер игрока и усиление состава', 'description' => 'Клуб подписал контракт с новым нападающим, рассчитывая усилить атакующую линию перед серией дерби.', ], [ 'id' => 15, 'title' => 'Новые правила для маркетплейсов', 'description' => 'Регулятор предложил требования к маркировке товаров и прозрачности комиссий на торговых онлайн-платформах.', ], [ 'id' => 17, 'title' => 'Сбои в поставках полупроводников', 'description' => 'Производители электроники предупредили о задержках поставок чипов из-за ограничений экспорта и перегрузки заводов.', ], [ 'id' => 18, 'title' => 'Открытие фестиваля современного искусства', 'description' => 'В столице стартовал фестиваль современного искусства с выставками, перформансами и лекциями художников.', ], [ 'id' => 19, 'title' => 'Крупная сделка на рынке недвижимости', 'description' => 'Инвестфонд приобрёл портфель коммерческой недвижимости, планируя реконструкцию и повышение энергоэффективности.', ], [ 'id' => 20, 'title' => 'Исследование океана и новые данные', 'description' => 'Научная экспедиция собрала данные о течениях и температуре воды, уточнив прогнозы по изменению климата.', ], ];

• Снаружи задаём:

  • список событий (setEvents)

  • модель (setModel)

  • запрос (setQuery)

  • topN через конструктор

• Дальше — обычная логика в run():

  • Поднимаем embedder (pipeline('embeddings', model)) если ещё не поднят.

  • .transformers-cache:

    • при первом использовании модель и файлы токенизации/весов скачиваются и кладутся в .transformers-cache

    • дальше они берутся оттуда, чтобы не качать заново и работать быстрее

  • embeddings.events.json:

    • это наш локальный кэш эмбеддингов событий

    • пытаемся его прочитать и использовать только если model в кэше совпадает с текущей моделью

  • Если для каких-то событий эмбеддингов нет:

    • считаем эмбеддинги для description

    • сохраняем обратно в embeddings.events.json

  • Эмбеддим запрос (эмбеддинги нормализуются, чтобы косинусная близость была стабильной и сравнимой)

  • Считаем близость запроса к каждому событию (cosine similarity)

  • Сортируем, берём top‑N, возвращаем результаты

  • Рендер (вывод) делается снаружи через render(query, results)