php | Блог очередного разработчика

Когда пишешь на php, но хочется кушать

Опубликовано 22.06.2017

или Чем шифровать PHP для продажи и лицензирования?

https://toster.ru/q/436366

https://toster.ru/q/436447

и т.д.

Объясните, зачем он(ioncube)? Когда применяется? Приведите реальный пример.

(далее…)

VueJS/Laravel + Quill Editor handling base64 image upload

Опубликовано 05.04.2017

Hello,

Quill editor doing really great job with accepting images and putting it as base64.

But actually it doesnt good, especially for big images.

Your DB will be big AF and page load time will grow with each image in text.

I didnt find good or working solution from Quill side. Only some closed GitHub issues.

So i decided to make lilttle hack on backend.

My system info: VueJS Quill wrapper, Laravel 5.4

Now what we need.

Firstly install Symfony Dow Crawler

composer require symfony/dom-crawler

1	composer require symfony/dom-crawler

Then include it and some other classes in your model/controller.

use Symfony\Component\DomCrawler\Crawler;
use Illuminate\Support\Facades\Storage;
use Illuminate\Http\File;

use Symfony\Component\DomCrawler\Crawler;

use Illuminate\Support\Facades\Storage;

use Illuminate\Http\File;

And here code of extractor/file saver

$desc = $request->input('some_html'); // POST with html
$dom_desc = new Crawler($desc);
$images = $dom_desc->filterXPath('//img')->extract(array('src')); // extract images

foreach ($images as $key => $value) {
    if (strpos($value, 'base64') !== false) { // leave alone not base64 images
        $data = explode(',', $value); // split image mime and body
        $tmp_file = tempnam('/tmp', 'items'); // create tmp file path
        file_put_contents($tmp_file, base64_decode($data[1])); // fill temp file with image
        $path = Storage::putFile('public/items', new File($tmp_file)); // put file to final destination
        $desc = str_replace($value, $path, $desc); // replace src of converted file to fs path
        unlink($tmp_file); // delete temp file
    }
}

$desc = $request->input('some_html'); // POST with html

$dom_desc = new Crawler($desc);

$images = $dom_desc->filterXPath('//img')->extract(array('src')); // extract images

foreach ($images as $key => $value) {

if (strpos($value, 'base64') !== false) { // leave alone not base64 images

$data = explode(',', $value); // split image mime and body

$tmp_file = tempnam('/tmp', 'items'); // create tmp file path

file_put_contents($tmp_file, base64_decode($data[1])); // fill temp file with image

$path = Storage::putFile('public/items', new File($tmp_file)); // put file to final destination

$desc = str_replace($value, $path, $desc); // replace src of converted file to fs path

unlink($tmp_file); // delete temp file

}

And finally we got $desc html with converted base64 -> fs path

Saving to DB.

That’s all.

Full Code at gist: https://gist.github.com/S-anasol/5dde48f75a265d21123d0ab1f49d2e8a

URL pattern matcher/classificator

Опубликовано 25.09.2016

Problem:

I have many different URLs in database.

From many sites.

I dont know how these sites work and url structure.

So I need to get 500 URLs from each site then compare and group it by common static part.

Which should be automatically merged via replacing with {var} any dynamic URL parts.

And then get ~10 urls as result.

Final result: reduce database size

Solution:

Here is some kind Proof of Concept 🙂

Example with splitting URL by «?»

— Parse parameters.

— Calculate frequency for unique parameter values.

— Get Nth percentile.

— Build URLs and replace parameters which frequency is more than Nth percentile

For small data like here in sandbox 50 percentile is enough to group some URL.

For «big real data» 90-95 percentile.
For example: I use 90 percentile for 5000 links -> result ~200 links

<?php 
$stats = [];

$pages = [
    (object)['page' => 'http://example.com/?page=123'],
    (object)['page' => 'http://example.com/?page=123'],
    (object)['page' => 'http://example.com/?page=123'],
    (object)['page' => 'http://example.com/?page=321'],
    (object)['page' => 'http://example.com/?page=321'],
    (object)['page' => 'http://example.com/?page=321'],
    (object)['page' => 'http://example.com/?page=qwas'],
    (object)['page' => 'http://example.com/?page=safa15'],
]; // array of objects with page property = URL

$params_counter = [];
foreach ($pages as $page) {
    $components = explode('?', $page->page);

    if (!empty($components[1])) {
        parse_str($components[1], $params);
        foreach ($params as $key => $val) {
            if (!isset($params_counter[$key][$val])) {
                $params_counter[$key][$val] = 0;
            }
            $params_counter[$key][$val]++;
        }
    }
}

function procentile($percentile, $array)
{
    sort($array);
    $index = ($percentile/100) * count($array);
    if (floor($index) == $index) {
        $result = ($array[$index-1] + $array[$index])/2;
    } else {
        $result = $array[floor($index)];
    }
    return $result;
}


$some_data = [];
foreach ($params_counter as $key => $val) {
    $some_data[$key] = count($val);
}

$procentile = procentile(90, $some_data);

foreach ($pages as $page) {
    $components = explode('?', $page->page);

    if (!empty($components[1])) {
        parse_str($components[1], $params);
        arsort($params);
        foreach ($params as $key => $val) {
            if ($some_data[$key] > $procentile) {
                $params[$key] = '$var';
            }
        }
        arsort($params);

        $pattern = http_build_query($params);

        $new_url = urldecode('?'.$pattern);

        if (!isset($stats[$new_url])) {
            $stats[$new_url] = 0;
        }
        $stats[$new_url]++;
    }
}

arsort($stats);

var_dump($stats);

<?php

$stats = [];

$pages = [

(object)['page' => 'http://example.com/?page=123'],

(object)['page' => 'http://example.com/?page=321'],

(object)['page' => 'http://example.com/?page=qwas'],

(object)['page' => 'http://example.com/?page=safa15'],

]; // array of objects with page property = URL

$params_counter = [];

foreach ($pages as $page) {

$components = explode('?', $page->page);

if (!empty($components[1])) {

parse_str($components[1], $params);

foreach ($params as $key => $val) {

if (!isset($params_counter[$key][$val])) {

$params_counter[$key][$val] = 0;

}

$params_counter[$key][$val]++;

}

function procentile($percentile, $array)

{

sort($array);

$index = ($percentile/100) * count($array);

if (floor($index) == $index) {

$result = ($array[$index-1] + $array[$index])/2;

} else {

$result = $array[floor($index)];

}

return $result;

}

$some_data = [];

foreach ($params_counter as $key => $val) {

$some_data[$key] = count($val);

}

$procentile = procentile(90, $some_data);

foreach ($pages as $page) {

$components = explode('?', $page->page);

if (!empty($components[1])) {

parse_str($components[1], $params);

arsort($params);

foreach ($params as $key => $val) {

if ($some_data[$key] > $procentile) {

$params[$key] = '$var';

}

arsort($params);

$pattern = http_build_query($params);

$new_url = urldecode('?'.$pattern);

if (!isset($stats[$new_url])) {

$stats[$new_url] = 0;

}

$stats[$new_url]++;

}

arsort($stats);

var_dump($stats);

CloudFlare отдача и кеширование видео

Опубликовано 16.08.2016

Стриминг видео с сервера очень сильно кушает канал. Поэтому появляется мысль кешировать видео через CloudFlare.
При этом надо сохранить возможность перемотки и разбить файлы на небольшие куски, чтобы CF ничего не заподозрил, а так же не попасть под лимит который не кешируется.
Будем использовать Uppod плеер.

1. Разбить видео
2. Создать страницу сайта

UP 19.07 Трафик продолжает снижаться

(далее…)

Поменять IP на всех сайтах в Cloudflare

Опубликовано 27.07.2016

Заменяем старый IP на всех доменах добавленных в CloudFlare.

Ставим из композера: jamesryanbell/cloudflare

composer require jamesryanbell/cloudflare

1	composer require jamesryanbell/cloudflare

Создаем php файл

<?php
	include('vendor/autoload.php');

	$old_ip = "127.0.0.1";
	$new_ip = "127.0.0.2";

	$client = new Cloudflare\Api('user@cf.com', 'API_KEY');
	$zone = new Cloudflare\Zone($client);
	$dns = new Cloudflare\Zone\Dns($client);

	$zones = $zone->zones();

	foreach($zones->result as $zone){
		
		$dns_records = $dns->list_records($zone->id);
		foreach($dns_records->result as $record){
			if(strpos($record->content, $old_ip) !== false){
				echo $record->id.'-'.$zone->name.PHP_EOL;
				$dns->update($zone->id, $record->id, $record->type, $record->name, str_replace($old_ip,$new_ip,$record->content));
			}
		}
	}

<?php

include('vendor/autoload.php');

$old_ip = "127.0.0.1";

$new_ip = "127.0.0.2";

$client = new Cloudflare\Api('[email protected]', 'API_KEY');

$zone = new Cloudflare\Zone($client);

$dns = new Cloudflare\Zone\Dns($client);

$zones = $zone->zones();

foreach($zones->result as $zone){

$dns_records = $dns->list_records($zone->id);

foreach($dns_records->result as $record){

if(strpos($record->content, $old_ip) !== false){

echo $record->id.'-'.$zone->name.PHP_EOL;

$dns->update($zone->id, $record->id, $record->type, $record->name, str_replace($old_ip,$new_ip,$record->content));

}

Заполняем переменные: старый/текущий IP, новый IP, email аккаунта на CF, API ключ CF
Запускаем
…
Профит!

Eloquent query logging outside Laravel

Опубликовано 26.04.2016

Class db does not exist eloquent

A facade root has not been set

and other terrible errors.

This post for those who like me using Eloquent outside Laravel.
With config like this:

use Devio\Eavquent\Agnostic\BootEavquent;
use Illuminate\Database\Capsule\Manager as Capsule;
use Illuminate\Events\Dispatcher;
use Illuminate\Container\Container;
use Illuminate\Support\Facades\Schema;

$capsule = new Capsule;

$capsule->addConnection([
    'driver'    => 'mysql',
    'host'      => 'localhost',
    'database'  => 'dbname',
    'username'  => 'user',
    'password'  => 'password',
    'charset'   => 'utf8',
    'collation' => 'utf8_unicode_ci',
    'prefix'    => '',
]);

// Set the event dispatcher used by Eloquent models... (optional)

$capsule->setEventDispatcher(new Dispatcher(new Container));

// Make this Capsule instance available globally via static methods... (optional)
$capsule->setAsGlobal();

// Setup the Eloquent ORM... (optional; unless you've used setEventDispatcher())
$capsule->bootEloquent();

use Devio\Eavquent\Agnostic\BootEavquent;

use Illuminate\Database\Capsule\Manager as Capsule;

use Illuminate\Events\Dispatcher;

use Illuminate\Container\Container;

use Illuminate\Support\Facades\Schema;

$capsule = new Capsule;

$capsule->addConnection([

'driver' => 'mysql',

'host' => 'localhost',

'database' => 'dbname',

'username' => 'user',

'password' => 'password',

'charset' => 'utf8',

'collation' => 'utf8_unicode_ci',

'prefix' => '',

]);

// Set the event dispatcher used by Eloquent models... (optional)

$capsule->setEventDispatcher(new Dispatcher(new Container));

// Make this Capsule instance available globally via static methods... (optional)

$capsule->setAsGlobal();

// Setup the Eloquent ORM... (optional; unless you've used setEventDispatcher())

$capsule->bootEloquent();

Sometime need to log queries or just count it.
Almost all google results show code like this:

DB::listen(function($query){});

1	DB::listen(function($query){});

But outside Laravel you will get errors written above.

I spent some time to get it work.
And now i got solution 😀

To get work query logs outside Laravel use this 🙂

// Listening to all queries
$capsule->connection()->listen(function ($query) {
  var_dump($query);
});

// Enabling query log
$capsule->connection()->enableQueryLog();

// Getting array of executed queries
$capsule->connection()->getQueryLog();

// Listening to all queries

$capsule->connection()->listen(function ($query) {

var_dump($query);

});

// Enabling query log

$capsule->connection()->enableQueryLog();

// Getting array of executed queries

$capsule->connection()->getQueryLog();

How works deploy on my pet project

Опубликовано 18.03.2016

Hello, %username%.

First english post here. Just for lulz 😀
Actually post related to gift i’ve got from DeployBot
Here some stickers and postcard with handwritten message.

So I decided to write little post about deploy on my pet project — vboro.de.
I also have work project on deploybot, but it works almost same. Only difference is servers amount, but I found some great servers for e-commerce at https://blog.servermania.com/ecommerce-site-performance-tips/ which would help me great with this project.
I use DeployBot about 9 months totally and last 3 months with the paid account.

So my deploy script is not canonical and not safe, but it works 🙂
After commit on master — github send info to DeployBot.
Then it just pulling data from github and then run/install/update composer and depencies.

And here full script:

echo 'Changing dir';
cd /var/www/
echo 'Pulling git';
git pull origin master

if [ ! -f /usr/local/bin/composer ]; then
    echo 'Installing composer';
    php -r "readfile('https://getcomposer.org/installer');" | php
    mv composer.phar /usr/local/bin/composer
    echo 'Install depencies';
    composer install
else
    echo 'Update depencies';
    composer update
fi

echo 'Changing dir';

cd /var/www/

echo 'Pulling git';

git pull origin master

if [ ! -f /usr/local/bin/composer ]; then

echo 'Installing composer';

php -r "readfile('https://getcomposer.org/installer');" | php

mv composer.phar /usr/local/bin/composer

echo 'Install depencies';

composer install

else

echo 'Update depencies';

composer update

Thats all!
At current moment a have about 2500 deploys passed.

Не показывает русский в DLE после обновления php

Опубликовано 31.01.2016

При обновлении со старой версии php в DLE могут пропасть русские символы в заголовках и контенте админки.
Это происходит в случае использования кодировки windows-1251/cp1251
Для исправления необходимо явно указывать кодировку windows-1251 в вызове функции htmlspecialchars().

Список файлов для исправления

/engine/inc/editnews.php
/engine/classes/parse.class.php
/engine/inc/xfields.php
/engine/inc/include/functions.inc.php

Добавляем во всех функции кодировку из конфига.

Например:

$title = htmlspecialchars(stripslashes( $title ), ENT_QUOTES);

1	$title = htmlspecialchars(stripslashes( $title ), ENT_QUOTES);

$title = htmlspecialchars(stripslashes( $title ), ENT_QUOTES, $config['charset']);

1	$title = htmlspecialchars(stripslashes( $title ), ENT_QUOTES, $config['charset']);

Немножко гитхаба

Опубликовано 01.02.2015

История про регулярное выражение

Опубликовано 08.01.2015

Жил был один новостной сайт на вордпрессе.

Стал плохо жить и переехал к нам на хостинг на собственный выделенный сервер.

Но вот незадача он кушал ресурсы сервера так как-будто это был дешевый шаред хостинг, и сервер не выдерживал нагрузки в пиковые моменты.

А на сайт тот заходили по 10-20 тысяч человек в день и это было очень печально, ведь там стояли еще несколько почти таких же сайтов. Стали мы искать кто же так кушает наш сервер и почему все так плохо.

И нашли мы волшебную строчку в functions.php темы.

Какой-то добрый программист оставил там всего лишь одну строчку которая перед каждой новостью с помощью preg_replace добавляла блок адсенса в нужное место.

Всего лишь один preg_replace для всего контента перед выводом ставил дедик на колени и заставлял его молиться чтобы пронать gateway.

Надеюсь эта маленькая история научит вас любить и уважать функции и не использовать регулярки везде где только можно.

Конец.