Pojawienie się takich modeli językowych jak Llama, DeepSeek oraz Bielik spowodowało, że możemy używać LLMów tak jak innego oprogramowania Open Source. Jak w takim razie skonfigurować swój własny model GenAI na serwerze? W tym artykule przejdziemy przez wszystkie niezbędne kroki, używając do tego przede wszystkim Pythona. Napiszemy prostą aplikację webową serwującą odpowiedzi z modelu w fastapi. Prawie identyczne kroki są aplikowalne do klasycznych modeli uczenia maszynowego, z tą różnicą, że musimy je wcześniej wytrenować sami...

Zagadnienia poruszane w tym artykule:

• Co jest wymagane do pracy?
• Wstępna konfiguracja (VPS);
• Wybór serwera (VPS);
• Pierwsze połączenie z serwerem (VPS);
• Konfiguracja kluczy SSH (VPS);
• Utworzenie dedykowanego użytkownika (VPS);
• Instalacja bazowego oprogramowania (VPS);
• Instalacja pip (VPS);
• Instalacja venv (VPS);
• Instalacja git (VPS);
• Ustawienie katalogów (VPS);
• Aplikacja serwująca predykcje (lokalnie i VPS);
• Fork repozytorium (VPS);
• Ustawienie zmiennych środowiskowych (VPS);
• Budowa aplikacji (lokalnie);
• Struktura wejścia i wyjścia endpointa (lokalnie);
• Struktura wejścia – request;
• Podłączenie modelu (lokalnie);
• Pierwsze uruchomienie na serwerze (VPS);
• Ollama na serwerze (VPS);
• Aktualizacja środowiska wirtualnego na serwerze (VPS);
• Finalny kod (lokalnie);
• Konfiguracja NGINX i Gunicorn (VPS);
• Pierwsze odpytanie serwera (lokalnie);
• Otworzenie API do pracy ciągłej (VPS).

Artykuł pochodzi z magazynu Programista nr 117 (2/2025). Szczegółowy spis treści wydania nr 117: https://programistamag.pl/programista-2-2025-117/

Autorem artykułu jest Szymon Moliński. Data Scientist, Data Engineer i architekt rozwiązań opartych na AI, mający w swoim portfolio wiele udanych wdrożeń jak i cennych lekcji. Entuzjasta Open Source i Open Science. Freelancer współpracujący z firmami z rynku kosmicznego, rolnictwa, e-commerce, marketingu, wdrażając pipeline’y ETL/ELT, rozwijając algorytmy AI albo wdrażając systemy AI. Aktualnie rozwija własny start-up budując produkt oparty na GeoAI foundation model.